Coreset-Based Neural Network Compression简记
Coreset-Based Neural Network Compression简记
文章目录
- Coreset-Based Neural Network Compression简记
- 参考
- 简记
- 三种方案
- k-Means Corests
- Structured Sparse Corests
- Activation-weighted Corests
- 压缩流程
- activation-based pruning
- coreset-based compression
- 实验结果
参考
- ECCV原文
- 代码
- 简书：Coreset-Based Neural Network Compression
简记
一种新的基于滤波器coreset表示的卷积神经网络(CNN)压缩算法。
主题思路是低秩分解
三种方案
- 一共三种k-Means、Structured Sparse、Activation-weighted
k-Means Corests
- 利用k-Means聚类思想，然后这个问题等价于找滤波器矩阵的低秩逼近，典型的就是奇异值分解SVD
- 于是问题就变成了
Structured Sparse Corests
- 想要每一个非0的权重都很重要，那么就需要有稀疏化的措施，作者就是在原来的优化问题上加了L1正则，即
- λ控制稀疏力度\lambda控制稀疏力度λ控制稀疏力度
Activation-weighted Corests
但是上述方法没有考虑当前filter的重要程度（在某一层layer？），因此作者引入的激活函数出来的feature的F范数作为某个filter的重要程度，即
- 然后ik(f)i_k^{(f)}ik(f)是当前层归一化后的结果
然后问题就变成了加权低秩分解的一个优化问题：
压缩流程
- 主要分两步：activation-based pruning + coreset-based compression，作者在fig1中形象地描述了过程
activation-based pruning
- 流程如下
- 1、计算layer的参数大小，并降序排序
- 2、对于每层layer执行：
- a、对每个训练集的输入计算激活函数输出A，存储最大值（对每个filter）
- b、根据上面的A排序
- c、找到最小的Nk∗N_k^*Nk∗，使得剪枝后的新能偏差<0.5%，方法是二分查找
coreset-based compression
- 流程如下：
- 1、根据所使用的coreset公式计算完全分解。
- 2、找到最小filters，N^k\hat N_kN^k，然后压缩网络，并保持性能偏差在0.5%，方法是二分查找
实验结果
- 实验结果看看就行，基本就是列了AlexNet/VGG剪枝前后的ACC/参数量的变化，来说明该方法的效果。具体的等看了代码再看看
Coreset-Based Neural Network Compression简记相关推荐
- 6.DeepFM: A Factorization-Machine based Neural Network for CTR Prediction论文详解和代码实现
一.总述 这篇论文来自哈工大&华为诺亚方舟实验室,主要关注如何学习user behavior背后的组合特征(feature interactions),从而最大化推荐系统的CTR.但目前的方法 ...
- DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
简介:学习用户行为背后的复杂特征交互对于推荐系统的CTR预估是很重要的,任务是预测用户点击推荐项目的概率.在在线广告中,提升收益是很重要的.所以排序策略成了CTR*bid,bid就是如果被一个用户点击 ...
- 【论文翻译】Few Sample Knowledge Distillation for Efficient Network Compression
Few Sample Knowledge Distillation for Efficient Network Compression 用于高效网络压缩的少样本知识提取 论文地址:https://ar ...
- Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback:
Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback: ...
- Complex Spectral Mapping With Attention Based Convolution Recurrent Neural Network（省略）---论文翻译
基于注意力的卷积递归神经网络的复杂频谱映射,用于语音增强 Liming Zhou1, Yongyu Gao1,Ziluo Wang1,Jiwei Li1,Wenbin Zhang11CloudWalk ...
- 20-Joint entity and relation extraction based on a hybrid neural network(LSTM-ED+CNN),考虑长距离的实体标签之间的关
文章目录 abstract 1.introduction 2.相关工作 2.1. Named entity recognition 2.2. Relation classification 2.3 联合 ...
- Paper翻译：《A Novel Convolutional Neural Network Based Model for Recognition and Classification of App》
论文名称:<A Novel Convolutional Neural Network Based Model for Recognition and Classification of Appl ...
- 《Improved Crowd Counting Method Based onScale-Adaptive Convolutional Neural Network》论文笔记
<Improved Crowd Counting Method Based onScale-Adaptive Convolutional Neural Network>论文笔记 论文地址 ...
- 读论文《Recurrent neural network based language model 》
读论文<Recurrent neural network based language model > 标签(空格分隔): 论文 introduce 本文将循环神经网络RNN引入了神经网络 ...
- A NEW HYPERSPECTRAL BAND SELECTION APPROACH BASED ON CONVOLUTIONAL NEURAL NETWORK文章笔记
A NEW HYPERSPECTRAL BAND SELECTION APPROACH BASED ON CONVOLUTIONAL NEURAL NETWORK 文章地址:https://ieeex ...
最新文章
- 基于Python进行相机校准
- 项目: flappy bird
- 5、mybatis主配置文件之environments
- oracle 11g安装时提示environment variable:PATH 失败
- Android 人脸照片对比，人脸对比
- LeetCode 1003. 检查替换后的词是否有效（栈）
- 码住！Flink Contributor 速成指南
- j2me安装_Java第一步 JDK安装
- 手把手带你做LiteOS的树莓派移植
- 618 技术特辑（二）几百万人同时下单的秒杀，为什么越来越容易抢到了？
- PHP PDO连接PostgreSQL报错 SCRAM authentication requires libpq version 10 or above in解决
- linux新硬盘分区及格式化和挂载分区到目录的方法
- idea导入项目无法解析java
- python能自学成功吗-想自学Python，如何才能坚持下来？
- 最全下载jar包的网站
- 12满秩分解与奇异值分解（2）
- python怎么返回上一行代码_如何返回循环Python中的第一行代码
- 用人话说说希尔伯特空间？？
- 深入浅出4G标准 LTE FDD和LTE TDD
- 贴片电阻、贴片电容规格、封装、尺寸