文/编辑 | 言有三

好的模型结构是深度学习成功的关键因素之一，不仅是非常重要的学术研究方向，在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关键，因此我们在修行之路专栏的《不惑境界》中，着重于深入讲解主流的网络结构设计思想，包括对网络深度，宽度的理解，残差网络和分组网络的设计，多尺度与注意力机制的设计，以及深度学习模型压缩之模型剪枝，量化，蒸馏，还有AutoML技术，本次来给大家进行总结。

数据与人工智能技术发展

深度学习成功源于三驾马车，模型，数据和硬件，深度学习正是因为学会了从数据中抽象知识，才能够完成各种各样的任务。不知道什么样的数据能够完成手中的任务，就不算真正的入门深度学习。深度理解从有监督特征工程到无监督特征学习的进展，从学习特征，到学习模型，到学习整个系统的技术发展路线非常重要，我们一定要非常重视。

• 【AI不惑境】数据压榨有多狠，人工智能就有多成功

网络深度对模型的影响

深度学习模型之所以在各种任务中取得了成功，足够的网络深度当居首功。更深的模型意味着更好的非线性表达能力，可以学习更加复杂的变换，从而可以拟合更加复杂的特征输入。那么是不是模型越深，性能就越好呢？对这个问题，我们要认真思考。

• 【AI不惑境】网络深度对深度学习模型性能有什么影响？

网络宽度对模型的影响

在一定程度上，网络越深，性能越好，这一点同样适用于网络宽度，它指的是每一层的通道(channel)的数量。更宽的网络可以让每一层学习到更加丰富的特征，比如不同方向，不同频率的纹理特征。那越宽就一定越好吗？我们又该如何去平衡宽度和成平方量级增加的计算量问题。

• 【AI不惑境】网络的宽度如何影响深度学习模型的性能？

学习率和批处理大小

作为一对相互之间有紧密关系的模型优化相关因子，学习率和批处理大小(batchsize)对模型性能的影响有一些简单，但又有些神秘。不适当的参数往往让模型处于收敛与不收敛之间，但又可能对模型性能的影响非常微小。因此我们特意在这个系列中提起这个问题，希望引起大家的重视。

• 【AI不惑境】学习率和batchsize如何影响模型的性能？

残差网络原理和发展

在近几年的深度学习模型发展史中，残差网络是影响最大的模型，相信大家对此没有异议。残差网络因其简单而有效的结构解决了深层模型训练的难题，成为各类任务的基准模型，那么它缘起何处，又将走向何方？

• 【AI不惑境】残差网络的前世今生与原理

分组模型原理与发展

模型落地才是深度学习在工业界发挥作用的关键，在移动端高效的模型设计中，卷积拆分和分组几乎是不可缺少的思想，那么它们究竟是如何高效，本身又有哪些发展呢。

• 【AI不惑境】移动端高效网络，卷积拆分和分组的精髓

多尺度设计思想

多尺度可以说是图像处理领域中的精髓，实际上就是对信号的不同粒度的采样，在不同的尺度下我们可以观察到不同的特征，从而完成不同的任务。尺度始终是计算机视觉领域中的一个大问题，小物体与超大尺度物体往往都会严重影响性能，那么研究人员如何克服困难呢？

• 【AI不惑境】深度学习中的多尺度模型设计

注意力机制原理与设计

注意力机制(Attention)是聚焦于目标重要信息的处理机制，比如图像中的显著区域，是符合人类信息处理的机制。在计算机视觉，自然语言处理等领域中都发挥着重要的作用，那注意力机制都有哪些设计呢？

• 【AI不惑境】计算机视觉中注意力机制原理及其模型发展和应用

模型剪枝核心技术与展望

模型剪枝是一项历史非常悠久的模型压缩技术，当前已经有了比较大的进步和发展，那么当前模型剪枝的核心技术有哪些，发展现状如何，未来还可以做哪些工作呢？

• 【AI不惑境】模型剪枝技术原理及其发展现状和展望

模型量化核心技术与展望

模型量化是非常实用的模型压缩技术，当前已经在工业界发展比较成熟，那么当前模型量化的核心技术有哪些，发展现状如何，未来还可以做哪些工作呢？

• 【AI不惑境】模型量化技术原理及其发展现状和展望

模型蒸馏核心技术与展望

模型知识蒸馏是非常经典的基于迁移学习的模型压缩技术，在学术界的研究非常活跃，工业界也有许多的应用和较大的潜力，那么当前模型蒸馏的核心技术有哪些，发展现状如何，未来还可以做哪些工作呢？

• 【AI不惑境】模型压缩中知识蒸馏技术原理及其发展现状和展望

AutoML与模型设计和优化

自从2017年Google提出使用强化学习搜索模型结构之后，AutoML/NAS便迅速成为了学术界和工业界的宠儿，在这几年也是非常火热的领域。AutoML可以用于数据的使用，特征的选择，模型架构的设计和优化，优化参数的搜索等，现在发展究竟如何了呢？

• 【AI不惑境】AutoML在深度学习模型设计和优化中有哪些用处？

更多的模型设计

深度学习模型设计思想何其之多，以上只是总结了其中最核心最具有代表性的一小部分，可以说是抛砖引玉。那么更多的模型设计和优化思想我们该如何学习呢？有三AI一直深耕于这个方向，在此给大家推荐三个深入学习的资源。

1，有三的三次阿里天池直播

有三在阿里天池做过三次模型设计相关的直播分享，分别是《深度卷积神经网络模型设计技术》，《如何设计性能更强的CNN结构》，《如何设计更加高效的模型结构》，并赠送了超过200页的课件和三个小时的视频。

• 【总结】言有三&阿里天池深度学习模型设计直播汇总，附赠超过200页直播PPT课件

2，有三AI知识星球网络结构1000变

有三AI知识星球是我们和公众号平台齐头并进的付费内容社区，在知识星球中有很多板块，包括#网络结构1000变# | #看图猜技术# | #数据集# | #AI书籍# | #github资源# | #AI1000问# | #AI知识汇总# | #项目# | #分享# | #线下活动# | #资料# | #公众号付费图文#等，里面的内容绝不少于公众号，可以看作是公众号内容的升级。

其中最重要的板块就是网络结构1000变，分享的就是各种各样任务的模型设计，已经有数百期，包括#图像分类# #视频分类# #目标检测# #图像分割# #图像增强# #残差网络# #注意力机制# #模型剪枝# #模型量化# #模型蒸馏# #模型压缩# #动态推理# #三维卷积# #三维重建# #GAN# #AutoML# #分组卷积#等。

分享格式为模型细节详解和论文链接，有一些还有实战解读，案例如下：

如果你想在这个方向有所积累，非常推荐入手，扫码即可加入。

3，有三AI秋季划模型优化组

秋季划是有三AI的终身学习项目小组，其中模型优化组会系统性地学习数据使用，模型使用和调参，模型性能分析，紧凑模型设计，模型剪枝，模型量化，模型部署，NAS等内容，理论+实战结合！

学习资料包括：(1) 与项目配套的录制视频。(2) 与项目配套的开源资料。(3) 与项目配套的代码数据。(4) 永久有效的相关微信群。(5) 附赠有三AI知识星球社区。

具体介绍可以参考下文：

【通知】如何让你的2020年秋招CV项目经历更加硬核，可深入学习有三秋季划4大领域32个方向

寄语

深度学习模型的设计和优化，是一通百通，适用于各大机器学习和人工智能领域的底层技术，是每一个资深从业者必须掌握好的技术，请大家务必重视，我们会继续专注分享相关内容。

转载文章请后台联系

侵权必究

• 【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！

• 【星球知识卡片】移动端高效率的分组网络都发展到什么程度了？

• 【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？

• 【星球知识卡片】模型剪枝有哪些关键技术，如何对其进行长期深入学习

• 【星球知识卡片】模型量化的核心技术点有哪些，如何对其进行长期深入学习