深度学习中常见的Normalization总结

Batch Normalization
Instance Normalization
References

对于一个给定的Batch: x∈RN⋅C⋅H⋅Wx \in R^{N \cdot C \cdot H \cdot W}x∈RN⋅C⋅H⋅W, 其中N, C, H, W，分别表示：batchsize, num_channel, Height, Width, 下面的定义都给予这个设定。

Batch Normalization

BN[1]标准化每个feature channel的均值和标准差，换句话说， BN是在每个chanel上独立进行的，在每个channel上进行BN时， mean和std的计算依赖于各自的feature map，即mean和std是channel-dependent, 是batch & height, width-dependent, 计算公式如下：

其中， γ,β∈RC\gamma, \beta \in R^{C}γ,β∈RC, 从数据中学习， μ,σ∈RC\mu, \sigma \in R^{C}μ,σ∈RC, 对于第c个channel, μ,σ\mu, \sigmaμ,σ的计算如下：

Instance Normalization

正如字面意思， IN [2]标准化每个Sample的每个feature channel的均值和标准差， 与BN的区别在于： mean和std的计算依赖于每个sample各自的feature map，即mean和std是（batch）sample & channel-dependent, 是height, width-dependent, 计算如下：

其中， γ,β∈RN⋅C\gamma, \beta \in R^{N \cdot C}γ,β∈RN⋅C, μ,σ∈RN⋅C\mu, \sigma \in R^{N \cdot C}μ,σ∈RN⋅C, 对于batch中第n个样本的第c个channel, μ,σ\mu, \sigmaμ,σ的计算如下：

References

1.Batch normalization: Accelerating deep network training by reducing internal covariate shift. In JMLR, 2015
2.Tex- ture networks: Feed-forward synthesis of textures and styl- ized images. In ICML, 2016

深度学习中常见的Normalization总结—Batch Normalization,Instance Normalization相关推荐

ML之模型文件：机器学习、深度学习中常见的模型文件(.h5、.keras)简介、h5模型文件下载集锦、使用方法之详细攻略
ML之模型文件:机器学习.深度学习中常见的模型文件(.h5..keras)简介.h5模型文件下载集锦.使用方法之详细攻略目录 ML/DL中常见的模型文件(.h5..keras)简介及其使用方法一. ...
深度学习中常见的损失函数
文章来源于AI的那些事儿,作者黄鸿波 2018年我出版了<TensorFlow进阶指南基础.算法与应用>这本书,今天我把这本书中关于常见的损失函数这一节的内容公开出来,希望能对大家有所帮 ...
深度学习中常见的打标签工具和数据集资源
深度学习中常见的打标签工具和数据集资源一.打标签工具 1. labelimg/labelme 1.1 搭建图片标注环境(win10) (1) 安装anaconda3 (2) 在anaconda环境p ...
【语义分割】深度学习中常见概念回顾（全大白话解释，一读就能懂！）
记录一下常见的术语! 一.epoch.batch size和iteration 1.1 Epoch 定义:一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程.简而言之:训练集中的全 ...
深度学习中常见的LOSS函数及代码实现
Introduction 训练深度学习模型地目的只有一个,尽可能的学习到训练数据的分布.像往常的考试一样,考试成绩会有一个分数作为评判标准,评价你对于知识点地掌握情况,以便后续针对性地去学习.深度学习 ...
深度学习中常见的非线性函数（激活函数）
在深度学习的神经网络中,神经元进行X(输入)* W(权重)+ b(偏执)的计算之后会增加一个非线性函数,最终得到该神经元的输出.这是因为X*W+b是一个线性的操作,如果神经元只有线性操作,那么 ...
深度学习中常见的数学符号
本文汇总一下机器学习的常用的数学符号,有点眼花~ 数字 x x x: 标量 X {X} X:向量 x x x:标量 x \mathbf{x} x:向量 X \mathbf{X} X:矩阵 X \mat ...
深度学习中常见的10种激活函数（Activation Function）总结
目录一:简介二:为什么要用激活函数三:激活函数的分类四:常见的几种激活函数 4.1.Sigmoid函数 4.2.Tanh函数 4.3.ReLU函数 4.4.Leaky Relu函数 4.5.P ...
深度学习中常见卷积（普通卷积、1×1卷积、转置卷积、可分离卷积、膨胀（空洞）卷积、3D卷积）
总是在网络上看到各种名词的卷积,但是有搞不懂是什么含义,于是结合网上查阅的资料,总结一下.目前比较常用的卷积主要有常规的卷积.1×1卷积.转置卷积.可分离卷积.膨胀卷积.3D卷积. 以下是一些 ...
经验 | 深度学习中常见的损失函数(loss function)总结
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作分享,不代表本公众号立场,侵权联系删除转载于:机器学习算法与自然语言处理出品单位 | 哈工大SCIR实 ...

深度学习中常见的Normalization总结—Batch Normalization,Instance Normalization

深度学习中常见的Normalization总结

Batch Normalization

Instance Normalization

References

深度学习中常见的Normalization总结—Batch Normalization,Instance Normalization相关推荐

最新文章

热门文章