linux命令 mml,微软开源用于Spark的深度学习库MMLSpark

微软开源了MMLSpark，用于用于Apache Spark的的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。

微软发现，虽然SparkML可以建立可扩展的机器学习平台，绝大多数开发者的精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的重复性工作。

以UCI的成人收入普查数据集举例，使用其他项目预测收入：

如果直接使用SparkML，每一列都需要单独处理，整理为正确的数据类型；在MMLSpark中只需要两行代码：

model = mmlspark.TrainClassifier(model=LogisticRegression(), labelCol=” income”).fit(trainData)

predictions = model.transform(testData)

深度神经网络(DNN)在图像识别和语音识别等领域不逊于人类，但是DNN模型的训练需要专业人员方可进行，与SparkML的整合也十分不易。MMLSpark提供了方便的Python API，可以方便地训练DNN算法。MMLSpark可以方便地使用现有模型进行分类任务、在分布式GPU节点上进行训练、以及使用OpenCV建立可扩展的图像处理管线。

以下3行代码可以从微软认知工具集中初始化一个DNN模型，从图像中抽取特征：

cntkModel = CNTKModel().setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”)

featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’])

model = TrainClassifier(model=LogisticRegression(),labelCol=”labels”).fit(featurizedImages)

MMLSpark已经发布到Docker Hub上，使用下面的命令即可在单机部署：

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark

MMLSpark使用MIT协议授权。

查看英文原文：

linux命令 mml,微软开源用于Spark的深度学习库MMLSpark相关推荐

微软开源人工智能工具和深度学习框架
微软机器视觉.语音处理.视频检索人工智能开源工具和深度学习框架. 本文介绍了微软在人工智能领域的领先成果.产品线,开源人工智能框架和工具.读者可以运用这些工具快速开发机器视觉.语音处理.视频检索等丰富 ...
《Linux命令行大全》重点笔记——第一部分学习shell
<Linux命令行大全>重点笔记第一部分学习shell 第一章 shell是什么 1.3 简单命令 1.date:系统时间.日期. 2.cal:当月日历. 3.df:磁盘可用空间. 4 ...
未能加载程序集或它的一个依赖项_英伟达发布kaolin:一个用于加速3D深度学习研究的PyTorch库...
由于大多数现实环境是三维的,因此理想情况下,应针对3D数据训练旨在分析视频或现实环境中的完整任务的深度学习模型.诸如机器人,自动驾驶汽车,智能手机和其他设备之类的技术工具目前正在产生越来越多的3-D数 ...
亚马逊深度学习库_汽车Linux，8位社交，与Amazon的深度学习以及更多新闻
亚马逊深度学习库在本周的开源新闻摘要中,我们将介绍汽车Linux,社交8位,具有神经网络的深度学习等等! 2016年5月7日至14日的开源新闻摘要汽车用Linux等于大型汽车制造商的快速创新 Li ...
PCANet --- 用于图像分类的深度学习基准
PCANet --- 用于图像分类的深度学习基准 from: http://m.oschina.net/blog/275922 Ldpe2G 发布于 2年前,共有 37 条评论前言论文网站:htt ...
微软亚马逊联手发布深度学习库Gluon，适合所有段位的炼丹师
安妮编译整理量子位出品 | 公众号 QbitAI 昨天,亚马逊AWS和微软共同宣布推出深度学习库Gluon.Gluon为各种水平的深度学习开发人员设计,帮助炼丹师们在云端.App和其他设备上设计 ...
linux cmd 字体,微软开源Cascadia Code新字体，该字体针对命令行和代码编辑器
本周微软不仅开源了他们的C++标准库(STL),而且他们现在也开源了Cascadia Code的新字体. Cascadia Code主要针对开发人员,专门针对命令行应用程序和代码编辑器进行了优化.微软 ...
微软开源用于大规模查找并修复漏洞的开发者工具 Project OneFuzz 框架
聚焦源代码安全,网罗国内外最新资讯! 编译:奇安信代码卫士团队近日,微软发布公告宣布开源用于大规模查找并修复漏洞的自动化工具 OneFuzz 框架.如下为全文: 微软致力于和社区以及客户一起持续改 ...
【2018深信服醒狮计划】《Linux命令行与Shell脚本编程大全》学习笔记
2018深信服"醒狮计划"笔记第3周(5.02-5.13) 课程必修选修基本要求 Shell编程 <Linux命令行与Shell脚本编程大全> <Perl ...
Facebook又放大招！开源框架Pythia让深度学习更高效
https://www.toutiao.com/a6693693085001449995/ 2019-05-22 11:47:49 [新智元导读]Facebook的人工智能研究部门近期推出Pythia ...

linux命令 mml,微软开源用于Spark的深度学习库MMLSpark

linux命令 mml,微软开源用于Spark的深度学习库MMLSpark相关推荐

最新文章

热门文章