动态slimmable网络：高性能的网络轻量化方法！对比slimmable涨点5.9%
动态slimmable网络：高性能的网络轻量化方法！对比slimmable涨点5.9%
论文链接：
https://arxiv.org/abs/2103.13258
代码：
https://github.com/changlin31/DS-Net
一、研究动机
动态剪枝算法及其问题
动态网络为每个输入自适应地配置不同的网络结构，而不是像神经网络搜索（NAS）或剪枝那样在整个数据集上优化网络结构，例如，根据每张输入图像的分类难度，将其路由到不同的计算复杂度的网络结构减少了在简单样本上的计算浪费，提高网络效率（见上图）。
其中动态剪枝方法，作为剪枝的自然扩展，在运行时根据不同的输入对卷积滤波器进行预测剪枝。这种变化的稀疏模式（spasepattern）与硬件计算不兼容。实际上，许多算法都是以零掩码（zero-masking）或低效路径索引（indexing）的方式实现的，这使得理论分析与实际加速之间存在很大的差距。如上表所示，masking和indexing都没有实际的加速效果，导致了计算浪费。本文作者提出一种致密（dense）的动态channel切分（dynamic channel slicing）方法，达到了与理论相符的加速效果（见上表）。
二、动态宽度可变超网络
Dynamic Slimmable Supernet
动态宽度可变网络（DS-Net）通过学习一个宽度可变超网络和一个动态门控机制来实现不同样本的动态路由。如上图所示，DS-Net中的超网络（上图黄色框）是指承担主要任务的整个模块。相比之下，动态门控（上图蓝色框）是一系列预测模块，它们将输入样本路由到超网络的不同宽度的子网络。
之前的动态网络工作将门控和超网络一起训练，而本文为了提高超网络中每个子网络的泛化性，提出了解缠的两阶段训练方法：
在第一阶段，禁用门控并用IEB技术训练超网络；
在第二阶段，固定超级网的权重并用SGS技术训练动态门控。
1.动态超网络（supernet）和动态可切分（slice-able）卷积
为避免产生稀疏channel，作者提出动态可切分（slice-able）卷积，通过预测出的剪枝率
动态slimmable网络：高性能的网络轻量化方法！对比slimmable涨点5.9%相关推荐
- MutualNet：一种“宽度-输入分辨率”互相学习的网络轻量化方法
本文分享一篇来自 ECCV'20 Oral 的论文『MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Res ...
- YOLOv5改进之十三：主干网络C3替换为轻量化网络EfficientNetv2
前 言:作为当前先进的深度学习目标检测算法YOLOv5,已经集合了大量的trick,但是还是有提高和改进的空间,针对具体应用场景下的检测难点,可以不同的改进方法.此后的系列文章,将重点对YOLOv ...
- 即插即用 | S-FPN全新的金字塔网络，更适合轻量化模型的FPN
FPN(特征金字塔网络)已经成为大多数优秀One-Stage检测器的基本组成部分.以往的许多研究已经多次证明,FPN可以让多尺度特征图更好.更精确地描述不同大小的目标.然而,对于大多数Backbone ...
- mysql 配置网络,高性能MySQL:网络配置
就像延迟和吞吐量是硬盘驱动器的限制因素一样,延迟和带宽(实际上和吞吐量是同一回事)也是网络连接的限制因素.对于大多数应用程序来说,最大的问题是延时.典型的应用程序都需要传输很多很小的网络包,并且每次传 ...
- [YOLOv7/YOLOv5系列算法改进NO.21]CNN+Transformer——主干网络替换为又快又强的轻量化主干EfficientFormer
前 言:作为当前先进的深度学习目标检测算法YOLOv5,已经集合了大量的trick,但是还是有提高和改进的空间,针对具体应用场景下的检测难点,可以不同的改进方法.此后的系列文章,将重点对YOLOv ...
- 经典网络结构 (八)：轻量化网络 (SqueezeNet, MobileNet, ShuffleNet)
目录 SqueezeNet Fire Module: Squeeze and Expand SqueezeNet SqueezeNet 总结 MobileNet 深度可分离卷积 (Depthwise ...
- 一种轻量化五轴全并联加工机器人研发与应用
摘要 航空结构件.涡轮叶片等具有空间自由曲面特征的复杂零件是国防.航空航天.能源等领域装备的核心零件,通常具有材料去除率大.尺寸精度和表面质量要求高的特点.传统的串联式五轴加工中心在加工此类零件过程中 ...
- BIM模型轻量化的方法总结
目录 1 .BIM轻量化方法概述 2.BIM轻量化内容 2.1 构件信息提取 2.2 BIM模型合并 2.3 BIM模型分级
- 遗传算法优化rbf神经网络自校正控制的初值_【技术帖】轻量化设计中的NVH性能自动优化方法...
摘 要:噪声.振动与声振粗糙度 (Noise,Vibration and Harshness,NVH)性能的自动优化是实现多学科联合优化的基础条件.以白车身模型的零件厚度作为设计变量,以针对动刚度性能 ...
最新文章
- 虚拟服务器磁盘满了咋办,虚拟主机磁盘空间不够用怎么办？
- docker portainer_Docker入门详解（十一） 图形Portainer
- 工业4.0：数字化供应链的三个方向
- history的详解与使用
- 对弈（nim-k游戏博弈）
- 同样是面对失败的责任：任春雷比杜一楠更有种
- 6-9 二叉树的非递归遍历 (20 分)
- 读贾志鹏线性筛有感 (莫比乌斯函数的应用)
- Linux内核源码分析--内核启动之(3)Image内核启动(C语言部分)（Linux-3.0 ARMv7）
- 谷歌浏览器扩展程序_谷歌浏览器扩展程序现恶意软件，已被下载千万次
- 看《岭南大医生》羽素与专家共揭痘痘背后的问题
- 美国计算机音乐专业,美国音乐博士解析
- vector subscript out of range
- 曾国藩读书的十二条规矩
- moses gcc link failed
- 2021年北京高新技术企业认定补贴及政策要求
- 公钥基础设施 (Public-key infrastructure PKI)
- OpenGL-36-01SSAO
- 好毒的电商导流上网站
- vue嵌入视频进入首页