模型压缩之剪枝小综述

## 现在主流的稀疏化方法：
### 非结构化方法
1） han song提出的方法，低于某一阈值的归零，但是这种非结构化的稀疏矩阵现有的库很难处理，需要专门设置。【S. Han, J. Pool, J. Tran, andW. Dally. Learning both weights andconnections for efficient neural network. In NIPS, pages 1135–1143, 2015.】。
Training sparse neural networks也是一种非结构化的方法，用到了gate的方法，同样的方式在其他论文中称为mask或者高级一些应用方式——attention的方式。
### 结构化方法
这种方式得到的稀疏矩阵是非结构化矩阵，接下来的方法都是或基本都是结构化稀疏的方法。
1） group-wise稀疏化，使用group-sparsity regularization【V. LebedevandV. Lempitsky. Fast convnets using group-wise brain damage. In CVPR, pages2554–2564, 2016】。
随机的方式让一些连接失活【S. Changpinyo, M. Sandler, and A. Zhmoginov.The power of sparsity in convolutional neural networks. arXiv preprintarXiv:1702.06257, 2017】
2）还有module等单位（filter, channel, filter shape and depth structures）的稀疏化，Structured Sparsity Learning (SSL) method。
相类似的处理方式：【Learning Efficient Convolutional Networks throughNetwork Slimming 2017】
3）神经元的重要性度量：

使用权值的模【H. Li, A. Kadav, I.Durdanovic, H. Samet, and H. P. Graf. Pruning filters for efficient ConvNets.In ICLR, pages 1–13, 2017.】【Dynamic Network Surgery forEfficient DNNs也是如此】；
度量relu之后的结果的稀疏度【H. Hu, R. Peng, Y.W. Tai, and C. K. Tang. Network trimming: Adata-driven neuron pruning approach towards efficient deep architectures. InarXiv preprint arXiv:1607.03250, pages 1–9, 2016】；
近似的求算对loss的影响力度，如使用Talayor expansion泰勒展开【P. Molchanov, S.Tyree, T. Karras, T. Aila, and J. Kautz. Pruning convolutional neural networksfor resource efficient transfer learning. In ICLR, pages 1–17, 2017.】
考虑相邻网络层的给出重要性判别的方法【J.-H. Luo,J. Wu, and W. Lin. Thinet: A filter level pruning method for deep neuralnetwork compression. In The IEEE International Conference on Computer Vision(ICCV), Oct 2017】
计算当前特征相对于剩余特征重要性的方法【G. Roffo,S. Melzi, and M. Cristani. Infinite feature selection. In 2015 IEEEInternational Conference on Computer Vision (ICCV), pages 4202–4210, 2015】

4）另一个维度上分析，基于layer层的处理，往往是独立的或是贪婪的方式，较少有全局的考虑，NISP是一种全局的方式，计算压缩后模型表达能力与原有的之间的差异。各种设有正则项的方法也为全局的处理方式。

模型压缩之剪枝小综述相关推荐

【嵌入式AI】CNN模型压缩（剪枝，量化）详解与tensorflow实验
1,CNN模型压缩综述 1 模型压缩的必要性及可行性 (1)必要性:首先是资源受限,其次在许多网络结构中,如VGG-16网络,参数数量1亿3千多万,占用500MB空间,需要进行309亿次浮点运算才能完 ...
《AI系统周刊》第4期：DNN模型压缩之剪枝(Pruning)
No.04 智源社区 AI系统组 A I 系统研究观点资源活动关于周刊 AI系统是当前人工智能领域极具现实意义与前瞻性的研究热点之一,为了帮助研究与工程人员了解这一领域的进展和资讯,我们 ...
模型如何压缩？使用轻量化的模型压缩技术剪枝（pruning）
深度学习模型参数太多,本地服务器部署没有问题,但是如果部署到移动端.边缘端,像手机.树莓派等,它们的性能不能满足,所以我们要压缩模型大小,让他们可以部署到边缘端模型压缩:使用轻量化的模型压缩技术,如 ...
CNN 模型压缩与加速算法综述
导语:卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战,CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一. 作者:姜媚前言自从AlexNet一举夺得ILS ...
Yolov5更换backbone，与模型压缩（剪枝，量化，蒸馏）
项目地址(GitHub):https://github.com/Ranking666/Yolov5-Processing ~~~欢迎各位交流.star.fork.issues~~~ 项目介绍: ...
【综述】闲话模型压缩之网络剪枝（Network Pruning）
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 来自 | CSDN 地址 | https://blog.csdn.net/jinz ...
剪枝简述（模型压缩加速篇）
模型压缩: 剪枝(Pruning) 量化(Quantization) 低秩分解(Low-rank factorization) 知识蒸馏(Knowledge distillation) 剪枝为什么可 ...
模型压缩整理2020.5.6
https://www.bilibili.com/video/BV1LE411Z76J?p=2 AI领域最有趣的老师李宏毅:模型压缩系列讲解模型压缩 1.剪枝的理由不用小的network直接训练是 ...
深度学习实战——模型推理优化（模型压缩与加速）
忆如完整项目/代码详见github:https://github.com/yiru1225(转载标明出处勿白嫖 star for projects thanks) 目录系列文章目录一.实验思路综 ...

模型压缩之剪枝小综述

模型压缩之剪枝小综述相关推荐

最新文章

热门文章