前言

欢迎大家关注有三AI的视频课程系列，我们的视频课程系列共分为5层境界，内容和学习路线图如下：

第1层：掌握学习算法必要的预备知识，包括Python编程，深度学习基础，数据使用，框架使用。

第2层：掌握CV算法最底层的能力，包括模型设计基础，图像分类，模型分析。

第3层：掌握CV算法最核心的方向，包括图像分割，目标检测，图像生成，目标跟踪。

第4层：掌握CV算法最核心的应用，包括人脸图像，图像质量，视频分析，图像编辑。

第5层：掌握算法落地的关键技术，包括模型优化，模型部署。

其中部分课程的主体内容已经更新完毕，比如数据使用/模型分析/图像分类/图像分割/目标检测/图像生成/视频分类/模型部署；部分课程正在重制更新中，比如模型优化；部分课程正在计划上线中，比如图像编辑，请大家及时关注！

最新的完整介绍如下：【视频课】超全深度学习路线图，有三AI所有免费与付费的视频课程内容汇总！

本次给大家介绍的课程内容是《深度学习之模型优化：理论实践篇》，目标是帮助大家掌握深度学习模型优化的核心内容。

为什么要学习这门课

好的模型结构是深度学习成功的关键因素之一，不仅是非常重要的学术研究方向，在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关键，模型压缩与优化是专门针对模型进行精简的技术，这是模型能够在各类嵌入式平台使用的关键技术，包括紧凑模型设计，模型剪枝，模型量化，模型蒸馏，自动化模型设计等内容。

当前许多成熟的框架都支持进行模型的压缩优化，比如Tensorflow、TensorRT，内置了经典的模型压缩优化方法。

为了帮助大家系统性地学习深度学习模型优化的相关内容，我们推出了《深度学习之模型优化》系列课程，目前已完成约7个小时的理论课课程+3个小时的实践课（还在更新中）。

子欲学深度学习，模型优化是必学进阶内容！我们这一门课期望帮大家彻底搞定模型优化的学习问题！下面请听课程的详细介绍！

课程内容介绍

本课程内容将包括模型优化压缩的经典算法理论与实践，下面我们首先介绍的是已经基本更新完毕的核心理论（共计超过7个小时），涵盖了深度学习模型压缩的核心领域，包括模型剪枝、模型量化、知识蒸馏等，既有足够的宽度，也具备有足够的深度。我们会非常详细地讲解算法中的细节，帮助彻底消化算法原理；

下图是已有课程的大纲脑图：

上图中的内容都是模型剪枝、模型量化、知识蒸馏中经过验证的最具有落地价值的内容，在后续对应框架的工程实践中会使用。

下面简单了解一下各部分的内容：

(1) 模型剪枝基础，包括模型剪枝的基本概念，模型的冗余性分析，约25分钟，本部分内容可以免费收听。

(2) 非结构化模型剪枝（基础篇），包括基于幅度的连接权重剪枝框架及其改进，约25分钟，本部分内容可以免费收听。

(3) 结构化模型剪枝，包括幅度篇、稀疏权重篇、稀疏因子篇、重建篇，详细介绍了当前各种主流的结构化模型剪枝技术，一共约110分钟。

(4) 模型量化基础，介绍模型量化方法的分类，模型量化的优势，约20分钟，本部分内容可以免费收听。

(5) 2值模型量化，包括基础篇、重建篇，详细介绍了当前主流的2值网络，约50分钟。

(6) 8bit模型量化，介绍的内容包括基于KL散度的对称量化、非对称的训练时与训练后量化框架，时长约45分钟。

(7) 混合模型量化，介绍了基于不同位宽的激活值、权重值、梯度值的量化训练框架，约30分钟。

(8) 知识蒸馏基础，包括知识蒸馏的概念与迁移学习基础，约25分钟，本部分内容可以免费收听。

(9) 知识蒸馏框架，包括基于特征匹配与基于优化目标驱动的框架，时长约50分钟。

以上就是已有的理论部分的内容，共计超过7个小时，理论部分内容后续还会继续丰富完善。

另外：实践部分的内容也已经有部分更新，包括Distiller框架的介绍与使用，模型剪枝的实践，模型量化的实践，模型蒸馏的实践，本周正在继续完善充实实践部分，预计会超过8个小时，请大家拭目以待！

本课程讲师为言有三，讲师简介如下：

龙鹏，笔名言有三，技术社区《有三AI》创始人。先后就读于华中科技大学(2008-2012)，中国科学院半导体研究所神经网络实验室(2012-2015)，先后就职于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度学习实验室(2017.5-2019.3)，深度学习算法专家，阿里云MVP，华为云MVP。

拥有超过7年的计算机视觉从业经验，拥有丰富的传统图像算法和深度学习计算机视觉项目经验，著有书籍《深度学习之图像识别：核心技术与案例实战》(机械工业出版社2019.4)，《深度学习之模型设计：核心算法与案例实践》(电子工业出版社2020.6)，《深度学习之人脸图像处理：核心算法与案例实战》(机械工业出版社2020.7)，《深度学习之摄影图像处理：核心算法与案例精粹》(人民邮电出版社2021.4)，拥有10余项发明技术专利与学术论文。

擅长领域：Caffe，Tensorflow，Pytorch等主流深度学习平台。神经网络与深度学习理论，深度学习模型设计与优化，计算机视觉的基础领域，AI美学，2D与3D人脸算法，生成对抗网络GAN等领域。

本课程是模型优化课程的其中一部分，属于有三AI整个课程体系中的高阶课程，需要大家已经能够熟练使用深度学习框架与基础模型，建议与另外3门课程配合享用，包括《深度学习之模型分析》，《深度学习之模型设计》，《深度学习之模型部署》，详细介绍请查看：

【视频课】快速掌握5大模型部署框架(NCNN+MNN+Tengine+TensortRT+微信小程序)！

【视频课】先搞懂你用的模型，深度学习模型分析课程来了！

【视频课】超30个小时模型设计理论，4大Pytorch案例实战与安卓部署，长期更新中

如何获取课程

订阅《深度学习之模型优化》专栏，本专栏暂时定价为299，本周实践部分内容全部更新完毕后价格会继续增加，感兴趣的请提前订阅，链接如下：

已有的课程目录如下：

往期相关

• 【视频课】超全深度学习路线图，有三AI所有免费与付费的视频课程内容汇总！