【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！

大家好，欢迎来到我们的星球知识卡片专栏，本期给大家分享残差网络模型的一些变种。

作者&编辑 | 言有三

1 残差连接诞生

残差连接的思想起源于中心化，在神经网络系统中，对输入数据等进行中心化转换，即将数据减去均值，被广泛验证有利于加快系统的学习速度。

2 残差网络诞生

何凯明等人在2015年正式提出了ResNet，成为一个重要的基准模型结构。相比于之前的卷积，池化相互堆叠的网络，它简化了highway network中的形式。

3 预激活残差网络

当前卷积神经网络的基本模块通常为卷积+归一化+激活函数(conv+bn+relu)的顺序，对于普通的按照这些模块进行顺序堆叠的网络来说，各个模块的顺序没有什么影响，但是对于残差网络来说却不一样，且看“Identity Mappings in Deep Residual Networks”中对这个问题的研究。

4 更宽的残差网络

Wide ResNet，就是比普通的残差网络更宽（也就是通道数量更大）的结构，那么它与ResNet有什么不同呢。

5 分组并联的残差网络

ResNext是分组卷积和残差卷积的结合，取得了比ResNet更高效的结果，它有何妙处？

6 其他

除了以上基本的变种，残差网络还有非常多的新方向，包括：

(1) 通用泛化版本的残差模型。

(2) 密集连接的残差模型变种。

(3) 多分支合并与融合的残差变种。

(4) 与注意力机制的结合。

(5) 与动态网络的结合。

(6) 其他等等。

以上内容，如果你不想自己学习，可以去我们知识星球的网络结构1000变板块—残差网络板块阅读，纯属自愿，不愿勿喷。

有三AI知识星球

知识星球是有三AI的付费内容社区，里面包括各领域的模型学习，数据集下载，公众号的付费图文原稿，技术总结PPT和视频，知识问答，书籍下载，项目推荐，线下活动等资源，了解详细请阅读以下文章：

【杂谈】有三AI知识星球一周年了！为什么公众号+星球才是完整的？

【杂谈】万万没想到，有三还有个保密的‘朋友圈’，那里面都在弄啥！

转载文章请后台联系

侵权必究

往期精选

【杂谈】2020年有三AI计算机视觉培养计划详解，该不该学&怎么学CV的简单讨论
【年终总结】2019年有三AI做了什么，2020年我们要做什么？
【总结】有三AI秋季划模型优化组3月直播讲了哪些内容，为什么每一个从事深度学习的同学都应该掌握模型优化的内容
【总结】有三AI秋季划人脸算法组3月直播讲了哪些内容，计算机视觉你不可能绕开人脸图像
【总结】有三AI秋季划图像质量组3月直播讲了哪些内容，为什么解决好底层图像处理问题那么重要

【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！相关推荐

【顾连科普】健康生活的10个小常识，请收下
1.刷牙前,牙膏要不要沾水? 沾不沾水都行,但一定要有牙膏. 一般来说,沾了水的牙膏更容易起泡沫,丰富的泡沫更有助于清洁牙齿. 这是因为牙膏在嘴里溶解.起泡,都需要水,虽然嘴里有口水,而且很多人刷牙前 ...
Redis 使用 10 个小技巧，请收下！
Redis 在当前的技术社区里是非常热门的.从来自 Antirez 一个小小的个人项目到成为内存数据存储行业的标准,Redis已经走过了很长的一段路. 随之而来的一系列最佳实践,使得大多数人可以正确地 ...
【星球知识卡片】模型压缩重要方向-动态模型，如何对其长期深入学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型压缩中的一个非常重要的方向,动态模型. 作者&编辑 | 言有三 1 基于样本动态变化的卷积权重 Dynamic Convolutio ...
【星球知识卡片】换脸算法和人脸驱动都有哪些核心技术，如何对其长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享换脸算法和人脸驱动相关的资源. 作者&编辑 | 言有三 1 基于3D模型的换脸和人脸驱动基于3D模型的换脸算法是一类非常经典的思路,它 ...
【星球知识卡片】图像风格化与翻译都有哪些核心技术，如何对其长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享图像风格化相关的资源. 作者&编辑 | 言有三 1 基本的图像风格化模型 2015年德国图宾根大学科学家在论文<A Neural ...
【星球知识卡片】深度学习图像降噪有哪些关键技术点，如何学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享图像降噪相关的资源. 作者&编辑 | 言有三 1 基本的CNN降噪模型图像去噪模型的输出是无噪声的图像,与输入图像大小相同,所以可以使 ...
【星球知识卡片】深度学习换脸算法都有哪些？如何长期进行学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享人脸换脸算法相关的资源. 作者&编辑 | 言有三 1 基于3D模型的换脸基于3D模型的换脸算法是一类非常经典的思路,它首先对人脸进行三 ...
【星球知识卡片】人脸属性编辑都有哪些核心知识点，如何长期进行学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享人脸属性编辑的核心技术点. 作者&编辑 | 言有三 1 人脸表情编辑人脸表情编辑即更改脸部的表情属性,包括嘴唇.鼻子等区域.可以广泛应 ...
【星球知识卡片】AutoML都有哪些核心技术，如何对其进行长期深入学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享AutoML的核心技术点. 作者&编辑 | 言有三 1 AutoML与数据增强大家都知道数据增强很重要,是深度学习必备良药,写论文刷比 ...

【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！

【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！相关推荐

最新文章

热门文章