文/编辑 | 言有三

自动化机器学习技术是非常重要的基础研究，也是如今深度学习模型优化中的热点方向，我们开辟了一个专栏，专门讲解AutoML在深度学习模型优化中的一些重要思路，本次来给大家进行总结。

AutoML与数据增强

大家都知道数据增强很重要，是深度学习必备良药，写论文刷比赛提指标的大杀器。如果让模型针对具体的任务自动学习数据增强策略，理论上会更加智能，这便是基于AutoML的数据增强技术。

• 【AutoML】如何选择最合适的数据增强操作

AutoML与激活函数

激活机制是一个网络非线性表达能力的来源，早期研究人员已经设计出了不少的激活函数，从Sigmoid到ReLU系列。随着AutoML技术的发展，现在研究人员开始使用搜索技术来进行设计。

• 【AutoML】激活函数如何进行自动学习和配置

AutoML与归一化机制

数据经过归一化和标准化后可以加快梯度下降的求解速度，这是Batch Normalization等技术非常流行的原因，它使得可以使用更大的学习率更稳定地进行梯度传播，甚至增加网络的泛化能力。使用AutoML技术可以让不同的网络层学习到最适合该层的归一化机制，从而提升模型能力。

• 【AutoML】归一化(Normalization)方法如何进行自动学习和配置

AutoML与优化方法

要成功训练一个深度学习模型，正确的优化策略是非常重要的，如果使用不当结果会产生很大的差异，使用AutoML技术可以对优化方法进行搜索。

• 【AutoML】优化方法可以进行自动搜索学习吗？

AutoML与优化目标

一个有效的损失函数在深度学习任务中起了关键作用，然而损失函数都是人为设定，不仅需要有经验的人员进行反复尝试，也只能获得次优的方案，如果可以让模型自动对优化目标进行学习，将有望以更低的成本学习到更优的模型。

• 【AutoML】损失函数也可以进行自动搜索学习吗？

AutoML与模型剪枝

模型剪枝是非常重要的模型压缩技巧，并且拥有比较复杂的剪枝策略，那么是否也可以使用AutoML技术来优化呢？

• 【AutoML】如何使用强化学习进行模型剪枝？

AutoML与模型量化

模型量化也是非常重要的模型压缩技巧，网络各层也可以配置不同的量化策略，那么是否也可以使用AutoML技术来优化呢？

• 【AutoML】强化学习如何用于模型量化？

AutoML与模型蒸馏

模型蒸馏也是非常重要的模型压缩技巧，拥有各种各样的设计策略，那么是否也可以使用AutoML技术来优化呢？

• 【AutoML】强化学习如何用于模型蒸馏？

强化学习与NAS

强化学习是一种经典的方法，Google在2017年利用强化学习进行最佳模型架构的搜索，引爆了自动设计网络模型(Neural Architecture Search，简称NAS)的研究热潮。

• 【AutoML】强化学习如何用于自动模型设计(NAS)与优化？

进化算法与NAS

进化算法是一类算法的统称，是模拟自然选择和遗传等生物进化机制的一种搜索算法，也可以用于模型结构搜索优化。

• 【AutoML】进化算法如何用于自动模型搜索(NAS)

可微分架构与NAS

可微分架构可以在连续的参数空间中进行搜索，这样带来的好处就是可以通过梯度下降算法直接进行优化，是比较高效的搜索NAS方法。

• 【AutoML】连续可微分架构如何用于网络结构搜索

AutoML平台和项目

自从Google提出AutoML那天起，工业界和学术界就已经迅速跟进了，经过了几年的发展，那么现在工业界都有了哪些AutoML平台呢？又有哪些开源项目值得关注？

• 【AutoML】当前有哪些可用的AutoML平台？

更多的模型设计

深度学习模型设计思想何其之多，以上只是总结了其中AutoML领域中最核心最具有代表性的一小部分。那么更多的模型设计和优化思想我们该如何学习呢？有三AI一直深耕于这个方向，在此给大家推荐三个深入学习的资源。

1，有三的三次阿里天池直播

有三在阿里天池做过三次模型设计相关的直播分享，分别是《深度卷积神经网络模型设计技术》，《如何设计性能更强的CNN结构》，《如何设计更加高效的模型结构》，并赠送了超过200页的课件和三个小时的视频。

• 【总结】言有三&阿里天池深度学习模型设计直播汇总，附赠超过200页直播PPT课件

2，有三AI知识星球网络结构1000变

有三AI知识星球是我们和公众号平台齐头并进的付费内容社区，在知识星球中有很多板块，包括#直播# | #言有三的书# | #网络结构1000变# | #开源文档# | #看图猜技术# | #公众号付费图文  |  每周论文推荐# | #数据集# | #AI书籍# | #github资源# | #AI1000问# | #AI知识汇总#  | #线下活动#等，里面的内容绝不少于公众号，可以看作是公众号内容的升级。

其中最重要的板块就是网络结构1000变，分享的就是各种各样任务的模型设计，已经有数百期，包括#CNN起源# #ImageNet经典# #残差网络# #分组卷积# #注意力机制# #三维卷积# #模型剪枝# #模型量化# #模型蒸馏# #模型压缩# #硬件优化# #动态推理# #AutoML# #三维重建# #人脸# #人脸识别# #人脸编辑# #图像分类# #视频分类# #图像分割# #目标检测# #目标跟踪# #图像降噪# #超分辨# #图像修复# #图像增强# #图像去模糊# #GAN# #图像生成# #风格化# #文本检测和识别# #医学图像# #点云图像#等。

分享格式为模型细节详解和论文链接，有一些还有实战解读，案例如下：

如果你想在这个方向有所积累，非常推荐入手，扫码即可加入。

如果对星球内容不了解，请参考下面的指导手册文章。

【杂谈】有三AI知识星球指导手册出炉！和公众号相比又有哪些内容？

3，有三AI秋季划模型优化组

秋季划是有三AI的终身学习项目小组，其中模型优化组会系统性地学习数据使用，模型使用和调参，模型性能分析，紧凑模型设计，模型剪枝，模型量化，模型部署，NAS等内容，理论+实战结合！

学习资料包括：(1) 与项目配套的录制视频。(2) 与项目配套的开源资料。(3) 与项目配套的代码数据。(4) 永久有效的相关微信群。(5) 附赠有三AI知识星球社区。

具体介绍可以参考下文：

【杂谈】如何让2020年秋招CV项目能力更加硬核，可深入学习有三秋季划4大领域32个方向

4，有三新书《深度学习之模型设计：核心算法与案例实践》

这是一本讲述深度学习模型设计核心算法的书籍，同时配套有大量实战案例，可以点击下面文章查看介绍。

言有三新书来袭！业界首次深入全面讲解深度学习模型设计

如果想要购买签名版，请到有三微信小店下单，会附赠我们的学习扑克牌一份。

寄语

本次我们总结了AutoML在模型结构搜索和优化方向的核心内容，实际上还有非常多的内容没有覆盖，比如如何对搜索进行加速等内容。

深度学习模型的设计和优化，是一通百通，适用于各大机器学习和人工智能领域的底层技术，是每一个资深从业者必须掌握好的技术，请大家务必重视，我们会继续专注分享相关内容。

转载文章请后台联系

侵权必究

• 【杂谈】有三AI知识星球指导手册出炉！和公众号相比又有哪些内容？

• 【通知】有三AI更新420页14万字视觉算法工程师成长指导手册，可下载收藏打印

• 【杂谈】面向新手的深度学习开源框架指导手册与GitHub项目，欢迎加入我们的开源团队