在机器学习建模时，除了准备数据，最耗时耗力的就是尝试各种超参组合，找到最佳模型的过程了。对于初学者来说，常常是无从下手。即使是对于有经验的算法工程师和数据科学家，也是很难把握所有的规律，只能多次尝试，找到较好的超参组合。而自动机器学习这两年成为了热门领域，它将机器学习过程中包括自动特征提取、模型选择、参数调节等过程自动化地学习，使学习过程在给定数据和任务上学习和泛化能力非常强大。NNI (Neural Network Intelligence) 是微软开源的自动机器学习工具包，与当前的各种自动机器学习服务或工具相比，有非常独特的价值。NNI着力解决超参调试过程的挑战，通过内置的超参选择算法、算力的强大支持和便捷的交互方式来加速和简化超参搜索的过程。更多详细内容和代码可以参考NNI的 github地址。
  本篇是NNI (Neural Network Intelligence) 系列文章的开篇，将首先介绍NNI 的特点和价值，然后用一个简单的mnist样例带您开启自动化机器学习之旅。后续系列文章还将从NNI的高效率——能够帮助节省时间和减少代码、NNI的分布式——支持OpenPAI等多端部署、NNI的可扩展性——支持多种tuner和assessor等特点介绍NNI。

NNI的众多特点

  1. 安装简洁：通过pip命令就能完成安装；
  2. 支持私有部署，用自己的计算资源就能进行自动机器学习；
  3. 支持分布式调度：NNI 可以在单机上进行试验，还支持多种分布式调度平台，如通过 SSH 控制多台 GPU 服务器协同完成试验，或通过OpenPAI, Azure, Kubernetes等在独立的 Docker 中运行；
  4. 对超参搜索的底层支持：大部分自动机器学习服务与工具的服务都是针对于图片分类等特定的任务。而NNI通过让用户提供训练代码和超参搜索范围， 依靠NNI内置算法和训练服务来搜索最佳的超参和神经架构，NNI为有一定模型训练经验的用户提供更加通用的调参方式，便于用户做出更多尝试、决策和加入思考，并完整参与整个训练过程；
  5. 随库自带众多实例和流行的调参算法；
  6. 架构简洁、对开发和扩展及其友好。

开启你的第一次NNI之旅

  这部分将以识别手写字体mnist为例介绍NNI如何在本地机器使用注释方式定义搜索空间提交训练任务而提高效率，并介绍NNI的基础功能与使用。要通过NNI进行实验，用户只需要三步即可完成实验准备，（1）定义搜索空间(search space)；（2）上传代码（codes）；（3）定义实验 ，用户可以使用一行命令行即可开始实验，并可使用webUI在网页端实时查看实验进程和结果。
  读完这部分，你将了解如何编写配置文件和通过注释形式定义搜索空间，你将了解如何使用NNI在本地机器上提交任务，并了解如何通过webUI清晰地检查实验结果和超参数的使用对结果的影响。nni提供的mnist代码示例文件已开源至github，克隆后可在目录~/nni/examples/mnist中查看，此外本例依赖tensorflow框架，还需要使用pip安装tensorflow。

$ git clone https://github.com/Microsoft/nni.git
$ python3 -m pip install tensorflow

· 安装

  介绍例子之前首先安装NNI，NNI提供简单快速的源码编译或pip安装方式，NNI目前支持在ubuntu 16.04及更高版本和Mac OS系统上进行安装，用户需要环境中安装有python高于3.5的版本，本例在ubuntu16.04系统上通过一行pip命令安装 ：

$ python3 -m pip install --user --upgrade nni

· 三步准备实验

  用户只需要三步即可完成实验准备，（1）定义搜索空间(search space)；（2）上传代码（codes）；（3）定义实验配置(experiment) 。

  代码结构非常简单，其中文件search_space.json代表定义搜索空间，代码mnist.py代表上传代码，配置文件config.yml代码定义实验，可在~/nni/example/trials/mnist目录中看到目录结构。

（1） 准备搜索空间

  首先使用json文件定义超参数的搜索空间，搜索空间包括搜索的变量名、搜索的类型和搜索的值范围。此例定义了网络的卷积层尺寸(conv_size)在（2,3,5,7）的范围中搜索，隐藏层的尺寸（hidden_size）在（124,512,1024）的范围搜索，学习率（learning_rate）在（0.0001,0.1）的范围搜索等等。

（2） 准备实验代码

  在实验代码中引入nni包，并以几行代码加入nni的参数传递和结果回传即可将nni与实验代码结合起来。

（3）定义实验配置

  通过yaml配置文件来定义实验， 配置文件中包含实验的基础信息、训练平台的选择、搜索空间的使用注释选择、协调器的选择和训练任务的配置等。此处定义方式是：在本地训练任务、使用注释方式定义搜索空间、使用TPE协调器， 其内容基本如下所示：

· 一行命令开始训练

  完成以上三步（定义搜索空间、上传代码、定义实验）后，你已经有配置文件、搜索空间和训练代码，配置文件的训练任务配置中连接了定义主代码的路径和执行命令、定义搜索空间定义方式及位置。此时，只需要一句命令即可提交任务。

$ nnictl create --config ~/nni/examples/trials/mnist-annotation/config.yml

· webUI查看结果

  提交训练任务之后终端会返回提交任务的索引ID及webUI的网址，在浏览器中打开url地址即可得到NNI解析出的实验信息及实验实时结果。
  首页可以所有训练信息和具体的超参组合，并支持对回传结果排序。

  优化进度页面可以看到按时序排列的精度或损失值（此图为精度）。可以看到，时间越靠后（右侧），精度高的越多，这说明选择的超参探索算法随着时间能找到一些好的超参空间继续探索。

  通过超参的分布图来直观地看到哪些超参值会明显比较好，或者看出它们之间的关联。通过下面的颜色图就能直观地看到红色（即精度较高的超参组合）线条所表达的丰富信息。如：卷积核大一些会表现较好；学习率小一些，表现基本都不错；Batch_size较大时变现更好等等。

  第一次NNI之旅的体验如何？本文通过阐述NNI 的特点、后续的安装和如何使用简单例程动手实践对NNI做了一个简单的介绍，但NNI的功能不止于此，它的多平台支持、多种配置方式、分布式调度模式、多种算法支持还等待你来发现和发掘，甚至你也可以作为NNI代码的贡献者来自己定义需求。

扩展阅读

· 基础定义

1.如何在你的机器上安装nni？
2.如何使用nnictl工具命令？
3.如何使用web UI?
4.如何定义搜索空间？
5.如何配置定义实验？
6.如何使用注释定义搜索空间？
7.如何写训练实验？

· 扩展训练

1.如何在本地训练任务？
2.如何在多个机器上训练任务？
3.如何在OpenPAI上训练任务？
4.如何在远程服务器训练任务？
5.尝试更多不同的tuners和assessors
6.自己定义一个tuner
7.自己定义一个assessor

· 更多

1.如何创建NNI环境？
2.如何贡献代码？
3.如何debug？

微软开源自动机器学习工具 – NNI安装与使用相关推荐

1. 微软nni_微软开源自动机器学习工具NNI安装与使用

   微软开源自动机器学习工具NNI安装与使用 发布时间:2018-12-29 11:51, 浏览次数:951 , 标签: NNI 微软开源自动机器学习工具 – NNI安装与使用 在机器学习建模时,除了准备 ...

2. 微软开源的自动机器学习工具上新了：NNI概览及新功能详解

   作者 | 宋驰 来源 | 微软研究院AI头条(ID: MSRAsia) 2018年9月,微软亚洲研究院发布了第一版 NNI (Neural Network Intelligence) ,目前已在 Gi ...

3. 微软自动调参工具—NNI安装与快速上手，AutoML必备工具

   文章目录 概述 直观的看看里面有什么 安装方法 NNI 快速入门与超参优化 设置超参数的搜索范围 配置config.yaml 听说点进蝈仔帖子的都喜欢点赞加关注~~ 老规矩官网送上: https:// ...

4. AI之AutoML：Ludwig(无需编写代码/易于使用的界面和可视化自动机器学习工具)的简介、安装、使用方法之详细攻略

   AI之AutoML:Ludwig(无需编写代码/易于使用的界面和可视化自动机器学习工具)的简介.安装.使用方法之详细攻略 目录 Ludwig的简介 Ludwig(无需编写代码/易于使用的界面和可视化自 ...

5. github可视化工具_Github标星2.6K！微软开源的可视化工具，未免太酷炫了吧

   开源最前线(ID:OpenSourceTop) 猿妹编译 链接:https://visualstudiomagazine.com/articles/2019/10/14/sanddance.aspx ...

6. 微软开源的 AI 工具，让旧照片焕发新生

   原文地址:Bringing Old Photos Back to Life 原文作者:Ziyu Wan 译者 & 校正:HelloGitHub-小鱼干 & 鸭鸭 写在前面 在 GitH ...

7. 微软自动调参工具—NNI—安装与使用教程（附错误解决）

   简介 NNI是微软的开源自动调参的工具.人工调参实在是太麻烦了,最近试了下水,感觉还不错,能在帮你调参的同时,把可视化的工作一起给做了,简单明了.然后感觉很多博客写的并不是很明白,所以打算自己补充一下 ...

8. 蚂蚁金服开源的机器学习工具 SQLFlow，有何特别之处？

   近日,蚂蚁金服副 CTO 胡喜正式宣布开源机器学习工具 SQLFlow,他在大会演讲中表示:"未来三年,AI 能力会成为每一位技术人员的基本能力.我们希望通过开源 SQLFlow,降低人工智 ...

9. 自动机器学习工具全景图：精选22种框架，解放炼丹师

   作者 Alexander Allen.Adithya Balaji 王小新 编译自 Georgian Impact Blog 量子位 出品 | 公众号 QbitAI 构建一个典型的机器学习项目,一般分 ...

最新文章

1. [FaceBook]测试、发布和分享小游戏
2. 2018html游戏引擎,跨平台三维游戏引擎Unity Pro 2018.1 Win x64
3. C# 使用正则表达式去掉字符串中的数字
4. Python基础教程：format 格式化字符串用法
5. 【算法竞赛学习】金融风控之贷款违约预测-特征工程
6. 网络：TCP通讯之 time_wait 状态
7. C#中的Dictionary字典类介绍（转载）
8. 前端直播与SRS视频流服务的使用
9. [Linux]文件的atime ctime mtime
10. 接口自动化测试系列之PHPUnit-POST请求接口测试方法
11. python画图代码-Python实战小程序利用matplotlib模块画图代码分享
12. 物联网应用中的数字孪生——一种实现物联网数字孪生的全面的解决方案
13. python如何设置当前工作路径？
14. vb.net 教程 5-21 拓展 如何给IE浏览器截图
15. 京东跨端组件库 NutUI 2.0 来袭
16. 关于pandas的这些干货，你也必须知道！
17. 手持6位半电压信号源产品级实现记录（一）
18. JS正则表达式实现简单的表单验证（账号，密码，手机号）
19. 51单片机八位数码管1到F动态滚动显示仿真及程序
20. VPX-M1 3U VPX 刀片计算机产品

热门文章

1. Spring体系常用方法（一）
2. MySQL GROUP BY 语句
3. maven 引入外部jar包的几种方式
4. SQL2012 附加数据库提示5120错误解决方法
5. （转）Some awareness before migrating from x86 to x64
6. Oracle 数据库
7. ArrayList的容量
8. android webview fragment,android studio中Fragment使用webview返回上一頁的問題
9. oracle跳过undo回滚段启动,[Oracle] 解析在没有备份的情况下undo损坏怎么办
10. 开启httponly之后登陆失败_二次元约会模拟《少女都市》正式版登陆Steam 橘势大好...