模型压缩方法汇总和梳理

2024-05-14 07:51:01

转载于:https://blog.csdn.net/JNingWei/article/details/79218745

Introduction

预训练后的深度神经网络模型往往存在着严重的 过参数化 问题，其中只有约5%的参数子集是真正有用的。为此，对模型进行时间和空间上的压缩，便谓之曰“模型压缩” 。

模型压缩技术包括 前端压缩 和 后端压缩 这两部分。

对比

	前端压缩	后端压缩
实现难度	较简单	较难
可逆否	可逆	不可逆
成熟运用	剪枝	低秩近似、参数量化
待发展运用	知识蒸馏	二值网络

前端压缩

不会改变原始网络结构的压缩技术。

1

1. 知识蒸馏

蒸馏模型采用的是 迁移学习，通过采用 预先训练好的复杂模型（Teacher model）的输出作为 监督信号 去训练另外一个简单的网络。这个简单的网络称之为student model。

2. 紧凑的模型结构设计

“挤压”设计与 “扩张”设计。

3. 滤波器层面的剪枝

在训练时使用稀疏约束（加入权重的稀疏正则项，引导模型的大部分权重趋向于0）。完成训练后，剪去滤波器上的这些 0 。

优点：
简单。
缺点：
剪得不干净。

后端压缩

会大程度上改变原始网络结构的压缩技术，且不可逆。

1

1. 低秩近似

使用结构化矩阵来进行低秩分解。

优点：
该方法在中小型网络模型上效果不错。
缺点：
在大型网络模型上玩不转。

2. 未加限制的剪枝

完成训练后，不加限制地剪去那些冗余参数。

优点：
使模型更加成熟。
缺点：
易导致网络结构随机且稀疏。由于被剪除的网络连接在分布上缺乏连续性，导致在实际使用模型时，CPU cache和内存之间会增加很多不必要的频繁切换。这种“每次少放，多次拿取”的弊端，使得实际使用中的加速效果大打折扣。
同时，剪枝后，通用的运行库（比如conv2d）不能用了，还得另行设计新的运算接口。So 麻烦。。

3. 参数量化

从权重中 归纳出 若干的“代表”，由这些“代表”来 表示某一类权重 的 具体数值 。

4. 二值网络

所有 参数的取值 只能是 ±1 。

[1] 解析卷积神经网络—深度学习实践手册
[2] 深度压缩之蒸馏模型

模型压缩方法汇总和梳理相关推荐

降低预测过程计算成本，这些NLP模型压缩方法要知道
编译 | 凯隐出品 | AI科技大本营(ID:rgznai100) 近年来,基于谷歌Transformer的语言模型在神经机器翻译,自然语言推理和其他自然语言理解任务上取得了长足进展. 通过多种语言 ...
所有你要知道的 BERT 模型压缩方法，都在这里！
模型压缩可减少受训神经网络的冗余,由于几乎没有 BERT 或者 BERT-Large 模型可直接在 GPU 及智能手机上应用,因此模型压缩方法对于 BERT 的未来的应用前景而言,非常有价值. 软件工 ...
深度学习模型压缩方法（3）-----模型剪枝（Pruning）
link 前言上一章,将基于核的稀疏化方法的模型压缩方法进行了介绍,提出了几篇值得大家去学习的论文,本章,将继续对深度学习模型压缩方法进行介绍,主要介绍的方向为基于模型裁剪的方法,由于本人主要研究的 ...
BERT-of-Theseus：基于模块替换的模型压缩方法
©PaperWeekly 原创 · 作者|苏剑林学校|追一科技研究方向|NLP.神经网络最近了解到一种称为"BERT-of-Theseus"的 BERT 模型压缩方法,来自论 ...
深度学习模型压缩方法综述（二）
深度学习模型压缩方法综述(一) 深度学习模型压缩方法综述(二) 深度学习模型压缩方法综述(三) 前言上一章,将基于核的稀疏化方法的模型压缩方法进行了介绍,提出了几篇值得大家去学习的论文,本章,将继续 ...
娓娓道来！那些BERT模型压缩方法
本文约3000字,建议阅读10+分钟本文主要介绍知识蒸馏.参数共享和参数矩阵近似方法. 作者 | Chilia 哥伦比亚大学 nlp搜索推荐整理 | NewBeeNLP 基于Transformer ...
性能不打折，内存占用减少90%，Facebook提出极致模型压缩方法Quant-Noise
对于动辄上百 M 大小的神经网络来说,模型压缩能够减少它们的内存占用.通信带宽和计算复杂度等,以便更好地进行应用部署.最近,来自 Facebook AI 的研究者提出了一种新的模型量化压缩技术 Qua ...
ACL 2020 | MobileBERT：一种与任务无关的模型压缩方法
©PaperWeekly 原创 · 作者|蔡杰学校|北京大学硕士生研究方向|问答系统论文标题:MobileBERT: a Compact Task-Agnostic BERT for Resou ...
java list 占用内存不释放_性能不打折，内存占用减少90%，Facebook提出极致模型压缩方法Quant-Noise...
对于动辄上百 M 大小的神经网络来说,模型压缩能够减少它们的内存占用.通信带宽和计算复杂度等,以便更好地进行应用部署.最近,来自 Facebook AI 的研究者提出了一种新的模型量化压缩技术 Qua ...

最新文章

热门文章