大家好，欢迎来到专栏《AutoML》，在这个专栏中我们会讲述AutoML技术在深度学习中的应用，这一期讲述在模型量化中的应用。

作者&编辑 | 言有三

上一期给大家介绍了AutoML技术在模型剪枝中的应用，而量化作为模型压缩的另外一个技术，是学术界和工业界的重点研究方向，今天给大家介绍AutoML在模型量化中的应用思路。

1 HAQ(混合精度量化学习)

HAQ(Hardware-Aware Automated Quantization with Mixed Precision)是一个自动化的混合精度量化框架，使用增强学习让每一层都学习到了适合该层的量化位宽。

不同的网络层有不同的冗余性，因此对于精度的要求也不同，当前已经有许多的芯片开始支持混合精度。通常来说，浅层特征提取需要更高的精度，卷积层比全连接层需要更高的精度。如果手动的去搜索每一层的位宽肯定是不现实的，因此需要采用自动搜索策略。

另一方面，一般大家使用FLOPS，模型大小等指标来评估模型压缩的好坏，然后不同的平台表现出来的差异可能很大，因此HAQ使用了新的指标，即芯片的延迟和功耗。

搜索的学习过程是代理Agent接收到层配置和统计信息作为观察，然后输出动作行为即权值和激活的位宽。其中一些概念如下：

(1) 观测值-状态空间，一个10维变量，如下：

(2) 动作空间，使用了连续函数来决定位宽，离散的位宽如下：

(3) 反馈，利用硬件加速器来获取延迟和能量作为反馈信号，以指导Agent满足资源约束。

(4) 量化，直接使用线性量化方法，其中s是缩放因子，clamp是截断函数。

(5) c的选择是计算原始分布和量化后分布的KL散度，这也是很多框架中的做法。

(5) 奖励函数，在所有层被量化过后，再进行1个epoch的微调，并将重训练后的验证精度作为奖励信号。

(6) 代理，使用了深度确定性策略梯度（DDPG）方法。

上图是在延迟约束下，MobileNet-V1/V2模型在边缘端和云端设备上的实验结果，与固定的8bit量化方法相比，分别取得了1.4倍到1.95倍的加速。

上图分别是边缘端和云端设备上MobileNet-V1各个网络层的量化特点，可以发现在边缘端设备上depthwise卷积有更少的bits，pointwise有更多，在云端则是完全相反。这是因为云设备具有更大的内存带宽和更高的并行性，而depthwise就是内存受限的操作，pointwise则是计算受限的操作，MobileNet-V2上能观察到同样的特点。

另外还有能量约束和模型大小约束的结果，读者可以读原始论文获取细节。

与HAQ类似的研究还有AutoDB[2]等，感兴趣同学可以延伸阅读。

2 关于模型优化

如果说要我在深度学习这么多方向里选择一个的话，我会毫不犹豫地选择模型优化，这也是我一直在做的事情。公众号写过很多的模型解读了，如下是一些文章总结和直播链接以及资源下载。

【完结】总结12大CNN主流模型架构设计思想

【知识星球】超3万字的网络结构解读，学习必备

【总结】言有三&阿里天池深度学习模型设计直播汇总，附赠超过200页直播PPT课件

知识星球也有一个模型结构1000变板块，比公众号的内容更深更广。其中的模型优化部分主要包括紧凑模型的设计，剪枝，量化以及知识蒸馏等内容的详细解读，感兴趣可以移步，添加有三微信Longlongtogo略有优惠。

[1] Wang K, Liu Z, Lin Y, et al. HAQ: Hardware-Aware Automated Quantization with Mixed Precision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 8612-8620.

[2] Lou Q, Liu L, Kim M, et al. AutoQB: AutoML for Network Quantization and Binarization on Mobile Devices[J]. arXiv preprint arXiv:1902.05690, 2019.

总结

这次我们介绍了AutoML在模型量化中的一个经典案例，至此已经基本介绍完AutoML在模型优化参数搜索中的各个方向，详细深入各个方向就留待感兴趣的读者自己加油了。

下期预告：AutoML与模型结构搜索开篇。

知识星球推荐

有三AI知识星球由言有三维护，内设AI知识汇总，AI书籍，网络结构，看图猜技术，数据集，项目开发，Github推荐，AI1000问八大学习板块，详细了解可以阅读。

【杂谈】为什么邀请大家加入硬核知识星球有三AI

转载文章请后台联系

侵权必究

往期文章

• 【AutoML】如何选择最合适的数据增强操作

• 【AutoML】激活函数如何进行自动学习和配置

• 【AutoML】归一化(Normalization)方法如何进行自动学习和配置

• 【AutoML】优化方法可以进行自动搜索学习吗？

• 【AutoML】损失函数也可以进行自动搜索学习吗？

• 【AutoML】如何使用强化学习进行模型剪枝？

• 【知识星球】分组卷积最新进展，全自动学习的分组有哪些经典模型？

• 【知识星球】卷积核和感受野可动态分配的分组卷积

• 【知识星球】有三AI 10月新主题，千奇百怪GAN上线！

• 【知识星球】剪枝量化初完结，蒸馏学习又上线

• 【知识星球】有没有网络模型是动态变化的，每次用的时候都不一样？