FPGM（Filter Pruning via Geometric Median）笔记
原文地址
文章目录
- 1.创新点
- 2.解决了哪些问题
- 3.原理和算法流程
1.创新点
提出了一种新的过滤器剪枝方法，即通过几何中值的过滤器剪枝（FPGM）来压缩模型。
与以前的方法不同，FPGM 通过修剪带有冗余信息的过滤器而不是那些重要性“相对较低”的过滤器来压缩 CNN 模型。
与之前修剪贡献相对较少的过滤器的方法不同，FPGM 选择具有最大可替换贡献的过滤器。具体来说，我们计算同一层内过滤器的几何中值 (GM) [8]。根据 GM 的特性，它附近的滤波器 F 可以用剩下的滤波器来表示。因此，修剪这些过滤器不会对模型性能产生实质性的负面影响。
2.解决了哪些问题
基于范数的剪枝方法，依赖两个并不总是满足的要求：（1）滤波器的范数偏差应该很大； (2) 滤波器的最小范数应该很小。而 FPGM 不需要这两个要求。
将修剪操作与正常训练过程相结合，因此不需要额外的微调。
3.原理和算法流程
先求出第 i 层的几何中值，在从第 i 层找出最接近该几何中值的滤波器，将它们置 0。
为了摆脱基于范数标准中的约束，我们提出了一种受几何中值启发的新过滤器修剪方法。几何中值 [8] 的中心思想如下：给定一组 n 个点 a ( 1 ) , . . . , a ( n ) a^{(1)},...,a^{(n)} a(1),...,a(n)，每个点 a ( i ) ∈ R d a^{(i)} ∈ R^d a(i)∈Rd，找到一个点 x ∗ ∈ R d x^∗ ∈ R^d x∗∈Rd 最小化到它们的欧几里得距离之和：
其中 [1, n] = {1, …, n}。
由于几何中值是欧几里得空间中数据中心性的经典鲁棒估计量[8]，我们使用几何中值来获取单个第 i 层内所有滤波器的公共信息：
在第 i 层中，找到最接近该层几何中值的滤波器：
那么 F i , j ∗ F_{i,j}∗ Fi,j∗ 可以由同一层中的其他过滤器表示，因此，修剪它们对网络性能几乎没有负面影响。
由于几何中值是欧几里得空间中数据中心性的经典鲁棒估计量，因此所选滤波器 F i , x ∗ F_{i, x}* Fi,x∗ 和剩余滤波器共享最有共通性的信息。这表明过滤器 F i , x ∗ F_{i,x}* Fi,x∗ 的信息可以被其它滤波器替换。经过微调，网络可以轻松恢复其原始性能，因为修剪后的过滤器的信息可以由剩余的过滤器表示。因此，过滤器 F i , x ∗ F_{i,x}* Fi,x∗ 可以被修剪，对神经网络的最终结果的影响可以忽略不计。
FPGM（Filter Pruning via Geometric Median）笔记相关推荐
- 基于几何中位数的通道剪枝——Filter Pruning via Geometric Median
"Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration" ...
- 【神经网络压缩加速之剪枝一】Filter Pruning via Geometric Median for Deep Convolutional Neural Network Acceleration
Abstract 之前的研究工作都是基于"较小范数不重要"的准则上裁剪神经网络中具有较小范数的卷积核.在这篇论文中,我们分析了基于范数准则并指出该准则的有效性依赖于两个要求,但这两 ...
- 【论文翻译】【剪枝】Filter Pruning via Geometric Medianfor Deep Convolutional Neural Networks Acceleration
目录 摘要 1.介绍 2.相关工作 3. 方法 3.1 前置内容 3.2. 基于规范的准则分析 3.3. 真实场景中的Norm统计 3.4 通过几何中值进行过滤修剪 3.5. 理论和现实加速 3.5. ...
- Soft Filter Pruning（SFP）算法笔记
论文:Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks 论文链接:https://www.ijcai.or ...
- 《Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks》论文笔记
1. 概述 这篇文章中给出了一种叫作SFP(Soft Filter Pruning),它具有如下两点优点: 1)Larger model capacity.相比直接剪裁掉网络中的filters,再在这 ...
- 深度模型压缩论文（01）- Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks
文章目录 1.摘要和介绍 1.1摘要部分 2.背景和方法 2.1 背景 2.2 贡献 2.3 方法 3.实验和结果 3.1 实验 3.2 结果 4.总结和展望 4.1 总结 4.2 展望 本系列是在阅 ...
- 《Filter Pruning using Hierarchical Group Sparse》ICPR2020论文详解
<FilterPruningusingHierarchicalGroupSparseRegularizationforDeepConvolutionalNeural>论文解析{\color ...
- Soft Filter Pruning (SFP)——允许更新Pruned Filters的Channel Pruning策略
论文地址:https://arxiv.org/abs/1808.06866 GitHub (PyTorch):https://github.com/he-y/soft-filter-pruning & ...
- SFP（Soft Filter Pruning）笔记
原文地址 文章目录 1.原理及流程 2.创新 3.代码实现 3.1.设置和数据集预处理 3.2.剪枝操作 3.3.训练前剪枝 3.4.训练时剪枝 1.原理及流程 过滤器修剪即修剪卷积核的部分输出通道. ...
最新文章
- 在linux中教你通过NFS实现文件共享
- STL源码分析-bitset
- vue模拟加载更多功能（数据追加）
- 第五章-分布式并行编程框架MapReduce
- 北斗导航 | 复杂环境下卫星导航算法（理论）
- snowflake分布式自增长id的java实现
- 常用FTP命令 1. 连接ftp服务器
- LeetCode 1727. 重新排列后的最大子矩阵（前缀和+排序）
- Python编程从入门到实践~异常
- pyinstaller与anaconda python_Win10上Anaconda环境下python3.6安装和使用pyinstaller
- JavaWeb入门之简单分页查询功能实现
- 戴尔win10计算机打不开,戴尔Win10系统摄像头打不开怎么办？
- 软考知识点笔记之----信息系统特点
- Windows批处理bat文件
- 黑客知识之7种DoS攻击方法简述
- Method annotated with @Bean is called directly. Use dependency injection instead.
- 曾鸣分享：阿里集团及阿里眼里的电子商务(瑞士信贷中国投资年会)
- Unity 材质设置为tiling不能够重复的问题
- dw中css目标规则命名,css 常用样式命名规则
- 3.Vue.js 实战 调查问卷WebApp项目