hello大家好，很高兴在新年的第一天成为CSDN的一员，虽然是一名专注于智能制造领域的hr，突然发现自己对于这一领域需要学习的地方还有好多好多，很高兴和大家分享我的学习过程~

这是最近学到的一个词儿——自动化机器学习

随着机器学习的普及，近年来自动化机器学习（Automated machine learning, AutoML）框架开始出现在炼丹师们的视野之中。AutoML的目的是尽可能将特征工程、参数配置、模型选择以及上线部署过程自动化，使整个机器学习项目变得更加高效。

调参和部署的负担减轻之后，炼丹师们就可以花更多时间来关注机器学习模型本身，尝试不同的架构，设计并优化新的算法。

自动机器学习包括下面内容：

自动化特征工程

自动化模型选择和超参数调整

自动选择神经网络架构

自动部署机器学习模型

原来由手工完成的各个机器学习环节都可以通过自动化机器学习框架进行。

自动化模型选择和超参数调整

对数据特征进行预处理后，就到了机器学习算法的寻找和选择的环节。机器学习算法的目的是根据数据特征来训练机器模型，以预测新数据的标签值。

典型机器学习模型包括：

聚类模型

分类模型

回归模型

基于神经网络的模型

基于关联规则的模型等

每种算法都适合于特定类型的问题。通过自动化模型选择工具，可以针对手头的特定任务，遍历所有合适的模型，并选择产生最高准确性或最低误差的模型。

当然，没有一种机器学习算法在所有数据集上都能有最佳表现，而且超参数调整过程也必不可少。实际上，在模型选择过程中，调包侠们会尝试使用不同的变量，不同的系数或不同的超参数。这个过程极大的考验他们的经验、技巧和耐心。

因此，下列自动选择模型和超参数调整的AutoML框架将可能会是调包侠们的救星：

• Auto-sklearn是Mathias Feurer，Aaron Klein等人创建的Python库。Sklearn作为非常常见的机器学习算法框架尽人皆知，而Auto-sklearn解决了机器学习中的两个核心过程：从大量分类和回归算法列表中选择算法以及超参数优化。Auto-sklearn可以从决策树，高斯朴素贝叶斯，梯度提升，kNN，LDA，SVM，随机森林和线性分类器（SGD）中进行自动选择。链接：https://automl.github.io/auto-sklearn/master/

• R语言的auto.arima软件包对于时间序列数据处理很有妙用，该软件包使用AIC作为优化指标。链接：https://www.rdocumentation.org/packages/forecast/versions/8.4/topics/auto.arima

• R语言的 caret包则可以在超参数空间中执行搜索，找到给定模型的最佳参数配置。例如，它可以寻找神经网络中最佳的隐藏层数，随机森林中的最合适的树木个数和随机变量数等。链接：https://cran.r-project.org/web/packages/caret/

• H2O的Driverless AI 可以通过h2o.automl包同时自动训练多种算法。例如同时训练GLM，Xgboost，随机森林，深度学习，集成模型等不同模型来进行结果比较。链接：http://docs.h2o.ai/h2o/latest-stable/h2o-docs/automl.html

• DataRobot也可以同时自动训练多种算法，并选择一种算法来获得最高的准确性。再这个过程中，它允许数据科学家手动干预和调整模型。链接：https://www.datarobot.com/blog/automated-feature-engineering/

• 微软Azure中，包含Automated ML工具包，它利用协同过滤和贝叶斯优化来自动化机器学习过程中特征工程，算法选择和超参数配置。链接：https://docs.microsoft.com/en-us/azure/machine-learning/tutorial-auto-train-models

Azure Automated ML

• Google Cloud AutoML则在此领域进行了创新。在Cloud AutoML中，从用户那里获取已贴好标签的数据后，就可以直接训练计算机视觉，自然语言处理和翻译的模型，并自动调试参数，优化算法。链接：https://cloud.google.com/automl/

Google Cloud AutoML

• TPOT是用于自动机器学习的Python库，它利用遗传算法来优化机器学习，包括数据清洗，特征选择，特征预处理，特征构造，模型选择和参数优化等。TPOT库会基于scikit-learn中的机器学习库进行模型的自动选择。链接：http://epistasislab.github.io/tpot/

• 亚马逊的云服务Amazon Sage Maker则提供了用于模型构建，培训和部署的功能。它可以通过贝叶斯优化自动调整算法。链接：https://aws.amazon.com/sagemaker/features/

• HyperDrive也是Microsoft的产品，通过随机搜索，网格搜索或贝叶斯优化来搜索超参数空间并进行参数优化。在HyperDrive中可以调度程序，通过优化质量和成本等选项提前终止参数搜索。链接：https://www.microsoft.com/en-us/research/publication/hyperdrive-exploring-hyperparameters-pop-scheduling/

自动化神经网络架构选择

在深度学习时代，设计和构建神经网络架构是机器学习世界中最繁琐的任务之一。针对各种不同的场景，炼丹师们总是要尝试遍历各种不同神经网络架构，以优化手头任务的目标函数。这是非常耗时并且经常容易出错的工作。有时以及调好的网络会因为数据的一点点变化而突然神秘的变得不再好用……

Google最近提出了采用进化算法和强化学习来实现神经网络搜索的想法，以找到最佳的神经网络体系结构。从本质上讲，这是在训练过程中创建一个个的层，然后堆叠这些层以创建出适宜的深度神经网络体系结构。

最近，该领域的研究引起了很多关注，值得一提的著名研究论文包括：

• NASNet —— 学习可扩展的体系结构以实现可伸缩的图像识别。链接：https://arxiv.org/abs/1707.07012

• AmoebaNet—— 图像分类器体系结构搜索的正则化进化。链接：https://arxiv.org/abs/1802.01548

• ENAS —— 高效的神经体系结构搜索。链接：https://arxiv.org/pdf/1802.03268.pdf

自动部署

一般来说，调包侠和炼丹师们会把机器学习项目的焦点集中在算法的开发和参数的调试上，而模型的部署和在产品中的运行则很少被提及。不过，其中也存在诸多的挑战。

因此，也有些公司和开源项目正在尝试自动部署的自动化，对于并不了解DevOps的调包侠和炼丹师们来说，这些工具其实大有用途：

• Seldon提供了以R，Python，Java和NodeJS构建的模型，并自动将其部署到Kubernetes集群，并可以与kubeflow，IBM深度学习框架，NVIDIA TensorRT和DL Inference Server，Tensorflow Serving进行集成。链接：https://github.com/SeldonIO/seldon-core

• Redis-ML 是Redis数据库中的一个模块，可将机器学习模型部署到生产系统中，它目前仅支持随机森林（分类和回归），线性回归和逻辑回归算法。链接：https://github.com/RedisLabsModules/redisml

• Microsoft Machine Learning Service可将机器学习模型部署为可扩展的Kubernetes集群的Web服务。链接：https://docs.microsoft.com/en-gb/azure/machine-learning/tutorial-deploy-models-with-aml

• Amazon SageMaker可将机器学习模型部署到的HTTPS终端节点，用于为应用程序推断/预测新数据的值。链接：https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html

• Google Cloud ML也可以实现类似的Web部署功能，通过对托管机器学习模型的Web服务的HTTP调用来进行数据推断。链接：https://cloud.google.com/ai-platform/prediction/docs/online-predict

• H2O.ai通过Java MOJO（模型对象优化）的概念来部署机器学习模型。MOJO支持AutoML，深度学习，DRF，GBM，GLM，GLRM，K-Means，堆叠集成，SVM，Word2vec和XGBoost模型。它与Java类型环境高度集成。对于非Java模型（例如R或Python），可以将模型另存为序列化对象并加载。链接：http://docs.h2o.ai/h2o/latest-stable/h2o-docs/productionizing.html

• TensorFlow Serving可将Tensorflow机器学习模型部署到生产系统中。只需要几行代码，就可以通过Tensorflow模型生成API。链接：https://www.tensorflow.org/tfx/guide/serving

好了，上面把从数据收集特征工程、模型选择、参数调试，到生产部署过程中的自动化机器学习框架和当前可用的AutoML工具几乎全都撸了一遍，如果你颇有兴趣，可以参照我在每一个工具后面附注的资料链接进行深入的学习！最后，祝各位调包侠和炼丹师项目实战成功。