深度学习归一化 —

深度学习归一化 ——BN/GN/FRN

BN
BN层的提出，主要解决的一个问题是Internal Covariate Shift。在BN层提出以前，是很难训练一个深层次的网络的，其主要难点是每层的数据分布均会发生变化，使得神经元需要去学习新的分布，导致模型训练缓慢、难以收敛。因此，作者借助了白化的思想，将每层数据都归一化成均值为0、方差为1的分布，如公式(1)所示，即减去均值、除以方差。这样就能是每层的数据分布不会发生过大变化，从而导致模型容易训练。

但同时也引入了一个问题，我们将数据强行的归一化，会导致原始的数据分布遭到破坏，特征的表达能力就会下降。所以，BN层的核心亮点是重构变换。分别学习缩放与偏移参数。
FRN
虽然GN解决了小batch size时的问题，但在正常的batch size时，其精度依然比不上BN层。因此，有什么办法能解决归一化既不依赖于batch，又能使精度高于BN呢？FRN就是为了解决这个问题。
FRN层由两部分组成，Filtere Response Normalization (FRN)和Thresholded Linear Unit (TLU)。

这里并不是传统意义上的归一化，它没有减去均值，除以的也不是方差。然后对于每个通道，同样进行变换重构。

另外，在实验上，存在几个可以关注的细节：
由于FRN层没有均值中心化，所以会有一些模型对初始学习率的选择十分敏感，特别是那些使用了多个最大池化层的网络。为了缓解这个问题，作者建议使用warm-up来对学习率进行调整。
一般而言，FC层后一般都不会接归一化层，这是因为均值和方差计算的数量太少，难以正确估计。但如果FC层后接FRN层，性能不会下降，反而会有上升。
作者对BN+TLU或者GN+TLU或者FRN+ReLU等系列都做过实验对比，还是发现FRN+TLU的搭配是最好的。

深度学习归一化 ——BN/FRN相关推荐

转——深度学习之BN算法（Batch Normailization）
Batch Normalization 学习笔记原文地址:http://blog.csdn.net/hjimce/article/details/50866313 作者:hjimce 一.背景意义 ...
【深度学习】——BN层（batch normalization）
目录一."Internal Covariate Shift"问题二.BatchNorm的本质思想两个参数r和β的意义--精髓所在三.训练阶段如何做BatchNorm 四.B ...
深度学习归一化算法详解(BN,LN,IN,GN)
目录一.Batch Normalization(BN) 1.1为什么提出BN? 1.2BN的基本原理和公式 1.3BN在神经网络中的实现 1.4BN的优点和缺点二.LN,IN,GN的原理和适用范围 ...
深度学习有哪些trick？
作者丨DOTA.永无止境.冯迁来源丨知乎问答编辑丨极市平台导读 Deep learning在训练的时候往往有很多trick,不可否认这些trick也是DL成功的关键因素之一,所谓"th ...
收藏 | 深度学习调参有哪些技巧？
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者丨DOTA.永无止境.冯迁来源丨知乎问答编辑丨极市平台 AI博士笔记系列推荐周志华<机器学习& ...
值得收藏的深度学习模型训练trick
Deep learning 在训练的时候往往有很多 trick ,不可否认这些 trick 也是 DL 成功的关键因素之一,所谓 "the devil is in the details&q ...
【深度学习系列】基础知识、模型学习
基础知识原创 [深度学习]--训练过程原创 [深度学习]--BN层(batch normalization) 原创 [深度学习]--激活函数(sigmoid.tanh.relu.softmax) ...
深度学习中的归一化方法总结（BN、LN、IN、GN、SN、PN、BGN、CBN、FRN、SaBN）
目录概要 Batch Normalization(BN) (1)提出BN的原因 (2)BN的原理 (3)BN优点 (4)BN缺点 Instance Normalization(IN) (1)提出IN ...
【深度学习】深度学习的归一化方法的演变（局部响应LRN，BN，LN, IN, GN, FRN, WN, BRN, CBN, CmBN）
[深度学习]深度学习的归一化方法的演变(局部响应LRN,BN,LN, IN, GN, FRN, WN, BRN, CBN, CmBN) 文章目录 [深度学习]深度学习的归一化方法的演变(局部响应LRN ...

深度学习归一化 ——BN/FRN

深度学习归一化 ——BN/GN/FRN

深度学习归一化 ——BN/FRN相关推荐

最新文章

热门文章