【星球知识卡片】模型压缩重要方向-动态模型，如何对其长期深入学习

大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享模型压缩中的一个非常重要的方向，动态模型。

作者&编辑 | 言有三

1 基于样本动态变化的卷积权重

Dynamic Convolution名为动态卷积，它可以根据输入图像，采用注意力机制自适应地调整卷积参数，不仅显著提升了表达能力，额外的计算成本也很小，类似的早期研究和后续研究非常多，包括Dynamic Filter Networks等。

2 基于空间位置动态变化的卷积权重

Dynamic RegionAware Convolution是一个空间动态卷积模型，它可以根据输入图像不同特征图上不同区域特征的特性，采用不同的卷积核进行计算，从而提升模型性能，类似的方法还有involution。

3 基于退出机制与模块删除的模型

随着网络的加深，特征的表达能力越来越强，但是大部分简单的图片可以在较浅层时学习到足以识别的特征，BranchyNet基于此，以非常简洁的形式实现了不同难度的样本在测试时运行不同网络的思想，类似的还有基于模块删除的BlockDrop，SkipNet等。

4 基于合并机制的动态模型

在深度学习模型中，许多的非Tensor网络层，如BN层，参数量虽然很少，但是计算量非常大，耗时比较长，因此许多推理框架会将其与卷积层进行合并，类似的还有多分支合并策略，如RepVGG。

5 其他

总的来说，动态模型有一些重要的研究方向，包括：

(1) 注意力机制的应用。

(2) 动态卷积的改进。

(3) 退出机制的设计。

(4) 模块删除机制的设计。

(5) 动态训练的策略。

(6) 其他等等。

以上内容，如果你不想自己学习，可以去我们知识星球的网络结构1000变板块—动态模型阅读。

有三AI知识星球

知识星球是有三AI的付费内容社区，里面包括各领域的模型学习，数据集下载，公众号的付费图文原稿，技术总结PPT和视频，知识问答，书籍下载，项目推荐，线下活动等资源，了解详细请阅读以下文章：

【杂谈】有三AI知识星球一周年了！为什么公众号+星球才是完整的？

【杂谈】万万没想到，有三还有个保密的‘朋友圈’，那里面都在弄啥！

转载文章请后台联系

侵权必究

往期精选

【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！
【星球知识卡片】移动端高效率的分组网络都发展到什么程度了？
【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？
【星球知识卡片】模型剪枝有哪些关键技术，如何对其进行长期深入学习
【星球知识卡片】模型量化的核心技术点有哪些，如何对其进行长期深入学习
【星球知识卡片】模型蒸馏的核心技术点有哪些，如何对其进行长期深入学习
【星球知识卡片】视频分类与行为识别有哪些核心技术，对其进行长期深入学习
【星球知识卡片】图像生成都有哪些核心技术，如何对其进行长期深入学习
【星球知识卡片】AutoML都有哪些核心技术，如何对其进行长期深入学习
【星球知识卡片】人脸属性编辑都有哪些核心知识点，如何长期进行学习
【星球知识卡片】深度学习图像降噪有哪些关键技术点，如何学习
【星球知识卡片】图像风格化与翻译都有哪些核心技术，如何对其长期深入学习
【星球知识卡片】换脸算法和人脸驱动都有哪些核心技术，如何对其长期深入学习

【星球知识卡片】模型压缩重要方向-动态模型，如何对其长期深入学习相关推荐

【星球知识卡片】图像和视频超分辨都有哪些核心技术，如何对其长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享图像和视频超分辨相关的资源. 作者&编辑 | 言有三 1 基本的超分辨模型基本的超分辨模型根据上采样(upsampling)在网络结构 ...
【星球知识卡片】模型蒸馏的核心技术点有哪些，如何对其进行长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型蒸馏的核心技术点. 作者&编辑 | 言有三 1 什么是模型蒸馏一般地,大模型往往是单个复杂网络或者是若干网络的集合,拥有良好的性能 ...
【星球知识卡片】模型剪枝有哪些关键技术，如何对其进行长期深入学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型剪枝的关键技术以及一些学习资料. 作者&编辑 | 言有三 1 为什么要研究模型剪枝在真正研究模型剪枝之前,我们首先要知道为什么要做 ...
【星球知识卡片】模型量化的核心技术点有哪些，如何对其进行长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型量化的核心技术点. 作者&编辑 | 言有三 1 二值(1bit)量化二值量化是最高效率的量化方式,也可以称之为1bit量化,即将3 ...
【星球知识卡片】AutoML都有哪些核心技术，如何对其进行长期深入学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享AutoML的核心技术点. 作者&编辑 | 言有三 1 AutoML与数据增强大家都知道数据增强很重要,是深度学习必备良药,写论文刷比 ...
【星球知识卡片】图像风格化与翻译都有哪些核心技术，如何对其长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享图像风格化相关的资源. 作者&编辑 | 言有三 1 基本的图像风格化模型 2015年德国图宾根大学科学家在论文<A Neural ...
【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享注意力机制的发展和应用. 作者&编辑 | 言有三 1 注意力机制的作用注意力机制的作用就是找到真正感兴趣的区域,加以处理,使其更好地完 ...
【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！
大家好,欢迎来到我们的星球知识卡片专栏,本期给大家分享残差网络模型的一些变种. 作者&编辑 | 言有三 1 残差连接诞生残差连接的思想起源于中心化,在神经网络系统中,对输入数据等进行中心化转 ...
【星球知识卡片】换脸算法和人脸驱动都有哪些核心技术，如何对其长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享换脸算法和人脸驱动相关的资源. 作者&编辑 | 言有三 1 基于3D模型的换脸和人脸驱动基于3D模型的换脸算法是一类非常经典的思路,它 ...

【星球知识卡片】模型压缩重要方向-动态模型，如何对其长期深入学习

【星球知识卡片】模型压缩重要方向-动态模型，如何对其长期深入学习相关推荐

最新文章

热门文章