[1603.09382v1] Deep Networks with Stochastic Depth (arxiv.org)

1 模型介绍

有点类似于以层为基本单元的dropout

在ResNet中，有：

在stochastic depth中，多了一个随机变量b
b的概率分布满足伯努利分布（pl的概率取1，1-pl的概率取0）

b=1时，即为ResNet结构；b=0时，就是一个恒等函数（残差支线没有被激活）

这里p被称为“生存概率”，有两种设置方式
- 将各层的pl设置为同样的一个值
- 将pl设置成残差层数l的函数
  - 第0层取1的概率为1（P0=1）；第L层取1的概率为PL；中间线性递减

论文选择了第二种设置方式，即将线性衰减规律应用于每一层的生存概率的设置
- 这是因为较早的层会提取低级特征，而这些低级特征会被后面的特征应用，因此前面的层不应该频繁的被丢弃

2 python实现（timm包）

from timm.models.layers import DropPathdrop_path = DropPath(0.1)###对于forward中每一层计算完后的x#####
x=drop_path(x)

机器学习笔记：随机深度网络 stochastic depth相关推荐

机器学习笔记之深度信念网络(一)背景介绍与结构表示
机器学习笔记之深度信念网络--背景介绍与结构表示引言深度信念网络场景构建深度信念网络的联合概率分布引言从本节开始,将介绍深度信念网络. 深度信念网络深度信念网络(Deep Belief ...
机器学习笔记之深度信念网络(二)模型构建思想(RBM叠加结构)
机器学习笔记之深度信念网络--模型构建思想引言回顾:深度信念网络的结构表示解析RBM隐变量的先验概率通过模型学习隐变量的先验概率小插曲:杰森不等式(2023/1/11) 杰森不等式的数学证明 ...
机器学习笔记之深度信念网络(三)贪心逐层预训练算法
机器学习笔记之深度信念网络--贪心逐层预训练算法引言回顾:深度信念网络的结构表示回顾: RBM \text{RBM} RBM叠加思想贪心逐层预训练算法引言上一节介绍了深度信念网络模型的构建 ...
机器学习笔记之深度玻尔兹曼机(一)玻尔兹曼机系列整体介绍
机器学习笔记之深度玻尔兹曼机--玻尔兹曼机系列整体介绍引言关于含隐变量模型的对数似然梯度玻尔兹曼机受限玻尔兹曼机深度信念网络深度玻尔兹曼机引言从本节开始,将介绍玻尔兹曼机系列的最后一个 ...
机器学习笔记之深度玻尔兹曼机(二)深度玻尔兹曼机的预训练过程
机器学习笔记之深度玻尔兹曼机--深度玻尔兹曼机的预训练过程引言深度信念网络预训练过程的问题深度玻尔兹曼机的预训练过程(2023/1/24) 引言上一节介绍了玻尔兹曼机系列的相关模型,本节将介绍 ...
机器学习笔记之高斯网络(三)高斯马尔可夫随机场
机器学习笔记之高斯网络--高斯马尔可夫随机场引言回顾:马尔可夫随机场--团.势函数高斯马尔可夫随机场点势函数关联的项边势函数相关的项关于多元高斯分布学习任务的核心思想关于条件独立性的总结 ...
[机器学习笔记]Note6--神经网络：表达
继续是机器学习课程的笔记,这节课会介绍神经网络的内容. 非线性假设在之前的课程中,我们看到使用非线性的多项式能够帮助我们建立更好的分类模型.假设我们有非常多的特征,例如100个变量,我们希望用这10 ...
[机器学习笔记]Note7--神经网络：学习
继续是机器学习课程的笔记,这节课会继续介绍神经网络的内容,上一节主要是基本的介绍,以及模型表示,而本节会介绍代价函数,反向传播算法等. 神经网络代价函数首先是有如下一个神经网络,这里将首先介绍一些标 ...
dnn神经网络_【李宏毅机器学习笔记】深度神经网络(DNN)
当我们训练网络的时候,通常会出现如下两种情况: 第一种情况:训练数据表现不好,这种时候通常可以使用新的激活函数,或者调整学习率. 第二种情况:训练数据表现的很好,但是测试数据的表现很差,这个时候可以提 ...

机器学习笔记：随机深度网络 stochastic depth

1 模型介绍

2 python实现（timm包）

机器学习笔记：随机深度网络 stochastic depth相关推荐

最新文章

热门文章