Exploring the Regularity of Sparse Structure in Convolutional Neural Networks（在卷积神经网络中探索稀疏结构的规律性）

作者提出

基于论文Learning both weights and connections for efficient neural network修剪的方法在保留精度以及实现更高的压缩率方面确实很好。但是，这种改进是以稀疏计算模式的不规则性为代价的。
另一方面结构化的剪枝（例如修剪掉整个过滤器），但是比修剪单个权重会引起更大的精度损失。

因此作者提出了三个问题：规律性和准确性之间的权衡是什么？是否可以在规律性范围内找到一个最佳位置？最佳位置如何提高硬件实施效率？

现存的很多工作尽力去用对卷积核和通道剪枝来代替个别权重的修剪，然而由于它们使用的是不同的方法，我们无法直接对剪枝规律性和准确率之间的关系做出评估。所以在做对比实验作者采用相同的方法和配置。
贡献有

我们探索了一个完整的剪枝规律性范围（从0D到1D到2D到3D），对模型的规律性和准确率之间的平衡做了评估；
我们展示了粗粒度剪枝与细粒度剪枝相比，能够达到相似甚至更好的压缩率，即使它的稀疏度小一点；
我们展示了粗粒度剪枝可以以一种结构化方式跳过计算和减少存储，从而导致了一种更加高效的硬件加速实现。

感觉总结的综述很好，也就贴出来了。

剪枝方法：稀疏性已被证明是节省深度神经网络模型参数的有效方法。大量的工作研究了怎样了选择重要的连接关系和如何高效地恢复准确率。二阶导数(Optimal brain damage)、绝对值(Learning both weights and connections for efficient neural network)、损失近似泰勒展开( Pruning convolutional neural networks for resource efficient transfer learning)和输出灵敏度（A new pruning heuristic based on variance analysis of sensitivity information）是用于修剪的重要度量的示例。还有一些方法试图更好地整合修剪和训练，例如迭代修剪( Learning both weights and connections for efficient
neural network)和动态修剪(Dynamic network surgery for efficient DNNs)。
稀疏粒度：在所有的稀疏类型中，细粒度稀疏和filter-wise稀疏是两种极端情况，细粒度稀疏指的是个别权重被删除，它已经被证明可以在CNN和RNN上工作的很好；还有一种通道和卷积核稀疏，减少卷积核的通道数或者个数，这可以看作是一种非常粗粒度的稀疏化——在卷积层上移除3D的子张量，这样的粗粒度稀疏由于其规则性是十分有利于加速的，然而，这样的稀疏化有可能导致比细粒度的精度要低很多。在vanilla稀疏化到通道（卷积核）稀疏化之间有很宽的粒度范围，一些文献试图探索一些可能性。
加速稀疏模型。对于滤波器稀疏和通道稀疏这种粗粒度的稀疏，在通用处理器上实现加速很容易，因为它等同于获得较小的密集模型。对于细粒度的稀疏，需要开发特定加速器来减少计算。

Exploring the Regularity of Sparse Structure in Convolutional Neural Networks（在卷积神经网络中探索稀疏结构的规律性）相关推荐

神经网络压缩（6）：Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks 方法介绍目的: 探索稀疏性和预测精度之间的 ...
Bag of Tricks for Image Classiﬁcation with Convolutional Neural Networks（卷积神经网络在图像分类中的技巧）
来源:Tong He Zhi Zhang Hang Zhang Zhongyue Zhang Junyuan Xie Mu L Amazon Web Services fhtong,zhiz,hzaw ...
李宏毅《机器学习》丨6. Convolutional Neural Network（卷积神经网络）
Author:AXYZdong 李宏毅<机器学习>系列参考视频地址:https://www.bilibili.com/video/BV1Ht411g7Ef 参考文档:DataWhale文 ...
EffNet: An Efficient Structure for Convolutional Neural Networks
EffeNet对MoblieNet网络进行改进,主要思想为: 首先,将MoblieNet的 3×3 3\times3的depthwise convolution层分解为两个 3×1 3\times1, ...
【算法笔记】CNN Convolutional Neural Network （卷积神经网络）
1. 先皮一会久仰CNN的大名,进入新闻界,加入美国有线电视新闻网,成为一个跑得飞快的记者一直是我的梦想.但是,平庸的才能无法让我成为一名空间移动系的法师,现在只能努力成为一名精神系人偶师. 话说前 ...
AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[AlexNet纯中文版] ImageNet Classification with De ...
吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）
深度学习笔记导航前言传送门卷积神经网络(Convolutional Neural Networks) 卷积神经网络基础(Foundations of Convolutional Neural N ...
Sequential regulatory activity prediction across chromosomes with convolutional neural networks
Sequential regulatory activity prediction across chromosomes with convolutional neural networks 基于卷积 ...
62_LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks 2019 论文笔记
LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks 三维卷积神经网络局部相位的揭示目录 LP-3DCNN: Unv ...

Exploring the Regularity of Sparse Structure in Convolutional Neural Networks（在卷积神经网络中探索稀疏结构的规律性）

Exploring the Regularity of Sparse Structure in Convolutional Neural Networks（在卷积神经网络中探索稀疏结构的规律性）相关推荐

最新文章

热门文章