欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

模型量化是非常重要的模型压缩方法，在工业界应用非常广泛，本次我们来简单给大家推荐一些初入该领域值得阅读的工作。

作者&编辑 | 言有三

1 二值量化（1bit）

二值量化是最高效率的量化方式，也可以称之为1bit量化，即将32位浮点数量化为1bit整型，非常适合FPGA等平台进行并行运算，相比于32bit浮点数，内存使用量只有其1/32，而卷积中的复杂乘法也可以转换为异或与加法操作，因此在学术界和工业界都被广泛研究，甚至催生了不少专门的相关硬件设计工作。

文章引用量：10000+

推荐指数：✦✦✦✦✦

[1] Courbariaux M, Bengio Y, David J, et al. BinaryConnect: training deep neural networks with binary weights during propagations[C]. neural information processing systems, 2015: 3123-3131.

[2] Courbariaux M, Hubara I, Soudry D, et al. Binarized neural networks: Training deep neural networks with weights and activations constrained to+ 1 or-1[J]. arXiv preprint arXiv:1602.02830, 2016.

[3] Rastegari M, Ordonez V, Redmon J, et al. Xnor-net: Imagenet classification using binary convolutional neural networks[C]//European conference on computer vision. Springer, Cham, 2016: 525-542.

2 整型量化（8bit）

1bit虽然计算效率很高，但是对模型性能的损害还是非常大的，难以满足当前大部分工业界任务的要求。与之相比较，8bit网络能够取得较好的精度保持，是当前工业界比较成熟稳定的量化方案。目前以Tensorflow为代表的非对称量化方案和TensorRT为代表的对称量化方案是最常见的。

文章引用量：2000+

推荐指数：✦✦✦✦✦

[4] Krishnamoorthi R. Quantizing deep convolutional networks for efficient inference: A whitepaper[J]. arXiv preprint arXiv:1806.08342, 2018.

[5] Jacob B, Kligys S, Chen B, et al. Quantization and training of neural networks for efficient integer-arithmetic-only inference[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 2704-2713.

[6] https://github.com/NVIDIA/TensorRT

3 任意bit量化

1bit量化是极致的量化方法，8bit量化是当前最流行的量化方案，不过量化位宽也不需要局限于1bit和8bit这两种，而是可以根据模型的特点与任务难度介于两者之间，早期的Deep Compression框架就是一个典型代表。

文章引用量：7000+

推荐指数：✦✦✦✦✦

[7] Han S, Mao H, Dally W J. Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding[J]. arXiv preprint arXiv:1510.00149, 2015.

4 混合量化

所谓的混合精度量化，指的是不同的网络模块使用不同的量化位宽，或者不同的网络层使用不同的量化位宽，这是一种更加自由与个性化的量化方案，虽然实现起来更加复杂，但是在平衡模型复杂度与精度之间自有优势。

文章引用量：2000+

推荐指数：✦✦✦✦✦

[8] Hubara I, Courbariaux M, Soudry D, et al. Quantized neural networks: Training neural networks with low precision weights and activations[J]. The Journal of Machine Learning Research, 2017, 18(1): 6869-6898.

[9] Zhou S, Wu Y, Ni Z, et al. DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients[J]. arXiv: Neural and Evolutionary Computing, 2016.

5 如何实战

为了帮助大家掌握模型优化压缩的相关知识！我们推出了相关的专栏课程《深度学习之模型优化：理论与实践》，讲解模型剪枝、模型量化、模型蒸馏等方向的理论与实践，感兴趣可以进一步阅读：

【视频课】AI必学，超10小时，4大模块，掌握模型优化核心技术！

总结

本次我们介绍了模型量化的一些典型研究，从事相关方向的朋友可以通过阅读这些文章进行初步了解，模型量化是掌握模型压缩任务的必经之路。

有三AI- CV夏季划

如何系统性地从零进阶计算机视觉，永久系统性地跟随我们社区学习CV的相关内容，请关注有三AI-CV夏季划组，阅读了解下文：

【CV夏季划】2022年正式入夏，从理论到实践，如何系统性进阶CV？（产学研一体的超硬核培养方式）

转载文章请后台联系

侵权必究

往期相关精选

• 【每周CV论文推荐】 掌握残差网络必读的10多篇文章

• 【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章

• 【每周CV论文推荐】 CV领域中数据增强相关的论文推荐

• 【每周CV论文推荐】 初学高效率CNN模型设计应该读的文章

• 【每周CV论文推荐】 初学目标检测必须要读的文章

• 【每周CV论文推荐】 初学深度学习图像分割必须要读的文章

• 【每周CV论文】初学实例分割需要读哪些文章？

• 【每周CV论文推荐】 初学GAN必须要读的文章

• 【每周CV论文推荐】 深度学习人脸检测入门必读文章

• 【每周CV论文推荐】 初学深度学习人脸关键点检测必读文章

• 【每周CV论文推荐】 初学深度学习人脸识别和验证必读文章

• 【每周CV论文推荐】 初学深度学习人脸属性分析必读的文章

• 【每周CV论文推荐】 初学活体检测与伪造人脸检测必读的文章

• 【每周CV论文推荐】 初学深度学习单张图像三维人脸重建需要读的文章

• 【每周CV论文推荐】 人脸识别剩下的难题：从遮挡，年龄，姿态，妆造到亲属关系，人脸攻击

• 【每周CV论文推荐】换脸算法都有哪些经典的思路？

• 【每周CV论文推荐】初学人脸属性编辑都有哪些值得阅读的论文？

• 【每周CV论文】深度学习文本检测与识别入门必读文章

• 【每周CV论文】深度学习图像降噪应该从阅读哪些文章开始

• 【每周CV论文】初学GAN图像风格化必须要读的文章

• 【每周CV论文】初学深度学习图像超分辨应该要读的文章

• 【每周CV论文】初学深度学习图像对比度增强应该要读的文章

• 【每周CV论文】初学深度学习图像修复应该要读的文章

• 【每周CV论文】初学深度学习图像风格化要读的文章

• 【每周CV论文推荐】初学模型可视化分析有哪些值得阅读的论文？

• 【每周CV论文推荐】GAN与VAE的结合，有哪些必读的论文？

• 【每周CV论文推荐】初学视频分类与行为识别有哪些值得阅读的论文？

• 【每周CV论文推荐】初学视觉注意力机制有哪些值得阅读的论文？

• 【每周CV论文推荐】StyleGAN人脸属性编辑有哪些经典论文需要阅读

• 【每周CV论文推荐】初学基于GAN的视频生成有哪些经典论文需要阅读

• 【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读

• 【每周CV论文推荐】基于GAN的图像数据增强有哪些经典论文值得阅读

• 【每周CV论文推荐】GAN如何用于目标检测模型提升性能？

• 【每周CV论文推荐】GAN如何用于图像分割模型提升性能？

• 【每周CV论文推荐】初学基于GAN的图像语义编辑，需要阅读哪些论文？

• 【每周GAN论文推荐】最经典与常见的GAN目标函数设计汇总

• 【每周CV论文推荐】GAN在医学图像生成与增强中的典型应用

• 【每周CV论文推荐】基于GAN的对抗攻击，适合阅读那些文章入门？

• 【每周CV论文推荐】GAN在医学图像分割中的典型应用

• 【每周CV论文推荐】GAN在自动驾驶视觉任务中的典型应用

• 【每周CV论文推荐】基于GAN的图像降噪值得阅读的文章

• 【每周CV论文推荐】基于GAN的图像对比度与色调映射增强值得阅读的文章

• 【每周CV论文推荐】基于GAN的图像超分辨值得阅读的文章

• 【每周CV论文推荐】基于GAN的图像修复值得阅读的文章

• 【每周CV论文推荐】初学模型剪枝值得阅读的文章