mmlspark为apache spark提供了大量深度学习和数据科学工具,包括将spark machine learning管道与microsoft cognitive toolkit(cntk)和opencv进行无缝集成,使您能够快速创建功能强大,高度可扩展的大型图像和文本数据集分析预测模型。
微软开源了mmlspark,用于apache spark的的深度学习库。mmlspark可以与微软认知工具包和opencv完美整合。
微软发现,虽然sparkml可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层api上。mmlspark旨在简化pyspark中的重复性工作。
以uci的成人收入普查数据集举例,使用其他项目预测收入:
如果直接使用sparkml,每一列都需要单独处理,整理为正确的数据类型;在mmlspark中只需要两行代码:
深度神经网络(dnn)在图像识别和语音识别等领域不逊于人类,但是dnn模型的训练需要专业人员方可进行,与sparkml的整合也十分不易。mmlspark提供了方便的python api,可以方便地训练dnn算法。mmlspark可以方便地使用现有模型进行分类任务、在分布式gpu节点上进行训练、以及使用opencv建立可扩展的图像处理管线。
以下3行代码可以从微软认知工具集中初始化一个dnn模型,从图像中抽取特征:
mmlspark已经发布到docker hub上,使用下面的命令即可在单机部署:
mmlspark使用mit协议授权。
零地电压过高的原因 如何解决零地电压偏高的问题呢?
全球PC市场出货量逆势增长,AI PC将成为新增长引擎
深势科技获新一轮超7亿元融资,AI for Science引入大模型时代?
新冠疫情之下,制造业的发展将何去何从
要想衣服得到真正的清洁 你必须了解这些清洁洗衣机的方式
浅析微软的MMLSpark技术
基于NI CompactRIO和LabVIEW的海洋环境多物
威盛将芯片组技术卖给兆芯,已全力转进AIoT战场
AI内容审核“被迫”上岗 缓解疫情带来的人工压力
T3/E3/STS-1低成本中继器
智能网联汽车总线三合一测试利器,让偶发故障排查更简单
spring配置方式详细介绍
英特尔与大数据之间的联系和应用
2020年EeIE智博会再发“深圳之约” 8月6日至8日不见不散
法拉第未来产能缩水至一万辆每年 官方终于给出相关回应
全自动孢子捕捉分析仪的特点
OPPO和vivo印度7月销售骤降30%
华米Amazfit智能运动手表3评测 绝对算的上是一款没有明显短板的旗舰级运动手表
超级高铁公司已获超1亿美元投资 将加速建设超级高铁
黑莓开设自动驾驶汽车研发中心,投资金额高达7500万美元!