据官方消息，ICLR 2020会议将取消线下会议，并于4月25日-30日线上举办虚拟会议。本届会议共有 2594篇投稿，其中 687篇论文被接收(48篇oral论文，107篇spotlight论文和531篇poster论文)，接收率为26.5%。

本文介绍发表在 ICLR 2020 上的论文《FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary》。该工作针对深度卷积网络提出了一种全新的基于可微参数共享的模型压缩方法。

文 | Yingzhen Yang

编 | 贾伟

论文链接：

https://openreview.net/forum?id=S1xtORNFwH

深度神经网络的压缩和加速一直是深度学习领域的热点问题。本文针对深度卷积网络提出了一种全新的基于可微分参数共享的模型压缩方法。

注意到卷积网络的参数主要集中于卷积核，新方法提出一种被称为卷积核概要(Filter Summary)的新型紧凑结构来表示同一个卷积层中的所有卷积核。

我们将基线网络的每一个卷积层的所有卷积核都用一个卷积核概要来替代，这样得到的网络被称为卷积核概要网络 (Filter Summary Net, or FSNet)。在卷积核概要网络中, 同一个卷积层的所有卷积核都被表示成卷积核概要中的互相重叠的张量。

因为相邻卷积核在它们的重叠区域自然的共享参数，卷积核概要的参数量远小于基线网络对应层的所有卷积核的参数量，卷积核概要网络的参数总量也相应的远小于其基线网络的参数总量。卷积核概要还可以和参数量化方法结合，从而进一步提高压缩率。

我们在图像分类和目标检测这两个计算机视觉任务上展示卷积核概要网络的实验结果。

在图像分类任务中，在CIFAR-10和ImageNet数据集上卷积核概要网络的压缩率均超过了传统的卷积核剪枝方法。

在目标检测任务中，我们利用SSD300作为基线网络，并采用PASCAL Visual Object Classes (VOC) 2007/2012 作为训练集。配合参数量化方法，卷积核概要网络仅用0.68M参数量即在VOC 2007的测试集上达到了70.00% mAP。作为对照，MobileNetV2 SSD-Lite (Sandler et al., 2018) 需要3.46M参数量在相同的训练集和测试集上达到68.60% mAP。

我们进一步将卷积核概要网络和神经网络架构自动搜索的思路结合，提出可微分卷积核概要网络 (Differentiable FSNet, or DFSNet)。

我们利用最近的可微分神经网路架构搜索方法 (Differentiable Architecture Search, DARTS) 中的模型作为基线网络，在CIFAR-10数据的训练集上训练得到的可微分卷积核概要网络仅用1.88M参数量就在CIFAR-10测试集上达到了97.19%的分类准确率。相较于基线网络 (DARTS)的3.13M参数量和97.50%准确率，可微分卷积核概要网络在仅损失0.31%的准确率的代价下降低了40%的参数量。

随着神经网络架构自动搜索技术的发展，我们相信(可微分)卷积核概要网络将在未来发挥更大的作用。

卷积核里面的参数怎么来的_FSNet：利用卷积核概要进行深度卷积神经网络的压缩...相关推荐

  1. 影响深度卷积神经网络算法的关键参数是网络结构

    影响深度卷积神经网络算法的关键参数是(). 卷积核个数filters 卷积核尺寸kernel_size 步长striders 填充方式padding 卷积核激活方式activation 卷积核权重参数 ...

  2. pytorch_lesson16.2 架构对学习/鲁棒性的影响(VGG16复现+感受野+平移不变性)+架构对参数量的影响(1*1卷积核+分组卷积与深度分离卷积+NiN网络复现）

    提示:仅仅是学习记录笔记,搬运了学习课程的ppt内容,本意不是抄袭!望大家不要误解!纯属学习记录笔记!!!!!! 文章目录 前言 一.架构对学习能力/鲁棒性的影响 1 深度 1.1 困难与实践 1.2 ...

  3. 卷积神经网络的参数设置,卷积神经网络基本结构

    卷积神经网络算法是什么? 一维构筑.二维构筑.全卷积构筑. 卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedfor ...

  4. 深度神经网络TensorFlow基础学习（3）——卷积神经网络的参数个数和张量大小

    今天,我们来分享一篇博文,关于如何计算图像张量的大小以及确定卷积神经网络各层参数个数的公式.假设我们已经熟悉了卷积神经网络相关概念.在这里,我们把张量定义为有任意通道数的图像. 张量是在深度学习中表示 ...

  5. 手推卷积神经网络参数（卷积核）求导

    手推卷积神经网络求导(卷积链式法则如何理解) 对于卷积如何求参数的导数问题(特别是对多个卷积层如何对初始层数的参数如何求导)困扰我许久了,也一直没有找到这方面的资料,所以自己研究了一下,在这里与大家分 ...

  6. 卷积核里面的参数怎么来的_动态卷积｜CondConv

    CondConv: Conditionally Parameterized Convolutions for Efficient Inference paper:https://arxiv.org/a ...

  7. 卷积神经网络中卷积核的参数为什么是四个

    卷积神经网络的卷积核参数 笔者最近在学卷积神经网络,想起来我的某位同学问了我一个问题: 为什么卷积神经网络中卷积核的参数是四个,为什么要把输出output也写入,即为什么与输出有关? 刚开始我也困惑? ...

  8. 卷积神经网络中的参数计算

    举例1: 比如输入是一个32x32x3的图像,3表示RGB三通道,每个filter/kernel是5x5x3,一个卷积核产生一个feature map,下图中,有6个5x5x3的卷积核,故输出6个fe ...

  9. 详细解释CNN卷积神经网络各层的参数和链接个数的计算

    卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成. 图:卷积神经网络的概念示范:输入图像通过和三个可训练的滤波器和可加偏置进行卷积,滤波过程如图一,卷积后在C1 ...

最新文章

  1. elasticsearch组件的安装启动，测试等（windows）
  2. 「欧洲AI联合实验室」ELLIS成立：誓与中美抢人才
  3. GprMax 3.1.5 建模的in文件编写详解（2）
  4. elasticsearch配置优化
  5. 当当网回应李国庆“夺权”；小米：为常程不当言论道歉；Rust 1.43.0 发布 | 极客头条...
  6. 更改后缀为.dex文件为.odex文件 让你的程序瘦身 运行更稳定
  7. Android Menu
  8. [Xcode 实际操作]四、常用控件-(12)环形进度条控件的使用
  9. windows sesrver2003下搭建DHCP服务器
  10. 耗时162天，从华为外包5k转岗正式员工15k，经历的心酸只有自己知道
  11. xp给指定计算机共享,WinXP系统设置访问共享提示指定网络名不可用怎么解决
  12. 极客日报：虎牙被抬员工当事人再发声；Android 12 DP1 带来新隐私功能；IBM 考虑出售Watson Health业务...
  13. ssh与ftp连接免费使用
  14. 精心挑选12款优秀 jQuery 手风琴效果插件和教程
  15. Unity 中 print 和 Debug.Log 的区别
  16. python --- comment
  17. lai kan kan
  18. 同济大学计算机专业录取分数线,同济大学2017年各省录取分数线
  19. linux使用sed进行字符替换
  20. 基于Opencv的自动美颜功能代码

热门文章

  1. PIC模拟从入门到熟练系列之组会PPT20210913《Note of PIC》
  2. 组会PPT20201120《不同初始电子密度下ne和Te演化》
  3. [云炬创业基础笔记]第十章企业的利润计划测试6
  4. 编程打怪升级之路2018-06-01
  5. 阴差阳错2019-12-13
  6. [C++调试笔记]/* 求解-0.5dt时刻速度 */
  7. 一文详解SVM的Soft-Margin机制
  8. 有监督回归：最小二乘学习法
  9. 主成分分析的数学原理
  10. 封装SQLDMO操作的类