Batch Normalization在CNN中的原理，nb与lrb的区别
参靠《Batch Normalization 学习笔记》
通过上面的学习，我们知道BN层是对于每个神经元做归一化处理，甚至只需要对某一个神经元进行归一化，而不是对一整层网络的神经元进行归一化。既然BN是对单个神经元的运算，那么在CNN中卷积层上要怎么搞？假如某一层卷积层有6个特征图，每个特征图的大小是100*100，这样就相当于这一层网络有6*100*100个神经元，如果采用BN，就会有6*100*100个参数γ、β，这样岂不是太恐怖了。因此卷积层上的BN使用，其实也是使用了类似权值共享的策略，把一整张特征图当做一个神经元进行处理。
卷积神经网络经过卷积后得到的是一系列的特征图，如果min-batch sizes为m，那么网络某一层输入数据可以表示为四维矩阵(m,f,p,q)，m为min-batch sizes，f为特征图个数，p、q分别为特征图的宽高。在cnn中我们可以把每个特征图看成是一个特征处理（一个神经元），因此在使用Batch Normalization，mini-batch size 的大小就是：m*p*q，于是对于每个特征图都只有一对可学习参数：γ、β。说白了吧，这就是相当于求取所有样本所对应的一个特征图的所有神经元的平均值、方差，然后对这个特征图神经元做归一化。下面是来自于keras卷积层的BN实现一小段主要源码。
nb在每一个特征图上的所有点沿着一个batch的样本数据的方向对数据进行求和，求平均等处理，不考虑不同特征图的数据间的运算。
lrb在每一个特征图上沿着不同特征图的方向对数据进行求和，求平均等处理，不考虑不同输入样本数据间的运算。
Batch Normalization在CNN中的原理，nb与lrb的区别相关推荐
- batch normalization
20210702 深度学习中的五种归一化(BN.LN.IN.GN和SN)方法简介 https://blog.csdn.net/u013289254/article/details/99690730 h ...
- Batch Normalization 学习笔记
转载自:http://blog.csdn.net/hjimce/article/details/50866313 可参阅:知乎http://www.zhihu.com/question/3810276 ...
- Batch Normalization批量归一化
深度学习捷报连连.声名鹊起,随机梯度下降成了训练深度网络的主流方法.尽管随机梯度下降法对于训练深度网络简单高效,但是它有个毛病,就是需要我们人为的去选择参数,比如学习率.参数初始化.权重衰减系数.Dr ...
- 【深度学习】Batch Normalization详解
Batch Normalization 学习笔记 原文地址:http://blog.csdn.net/hjimce/article/details/50866313 作者:hjimce 一.背景意义 ...
- 深度学习（二十九）Batch Normalization 学习笔记
Batch Normalization 学习笔记 原文地址:http://blog.csdn.net/hjimce/article/details/50866313 作者:hjimce 一.背景意义 ...
- 深度学习之Batch Normalization
1.Batch Normalization的引入 在机器学习领域有个很重要的假设:IID独立同分布假设,也就是假设训练数据和测试数据是满足相同分布的,这是通过训练数据获得的模型能够在测试集上获得好的效 ...
- 原理解释｜直觉与实现：Batch Normalization
https://www.toutiao.com/a6707566287964340747/ 作者:Harrison Jansma编译:ronghuaiyang 在本文中,我会回顾一下batch nor ...
- Lesson 14.1 数据归一化与Batch Normalization理论基础
Lesson 14.1 数据归一化与Batch Normalization理论基础 数据归一化是机器学习领域的一种对数据处理的常规方式.在传统机器学习领域,由于各特征的量纲不一致,可能出现建模过程 ...
- 【深度学习】Batch Normalization（BN）超详细解析
单层视角 神经网络可以看成是上图形式,对于中间的某一层,其前面的层可以看成是对输入的处理,后面的层可以看成是损失函数.一次反向传播过程会同时更新所有层的权重W1,W2,-,WL,前面层权重的更新会改变 ...
最新文章
- 目标检测之Faster-RCNN的pytorch代码详解(数据预处理篇)
- VUE中让由全局变量添加生成的新数组不随全局变量的变化而变化
- Maven学习（八）继承和聚合
- Linux学习笔记05
- 信息学奥赛一本通（1050：骑车与走路）
- 【AI视野·今日CV 计算机视觉论文速览 第211期】Wed, 2 Jun 2021
- Redmi 10X Pro 5G曝光：四种配色、两种存储版本可选
- 别急，MIUI 11还有惊喜！下一代MIUI项目已开拔
- hive练习之join操作
- 数据整理（Data Wrangling）
- java中使用 Date 和 SimpleDateFormat 类表示时间
- 【论文翻译 IJCAI-20】Heterogeneous Network Representation Learning 异构网络表示学习
- 布衣联盟XP SP2之国兴奥运版
- 重磅榜单 | 国内云服务企业估值50强，【友盟+】位列其中。
- Two classes have the same XML type name 排错
- 国家集训队论文集题目
- Robot Framework + Pywinauto 框架实现Windows GUI Automation
- 什么是大数据?什么是数据科学
- java 计算 点是否在电子围栏范围内
- 【金猿案例展】FPD领域龙头企业某T社——基于ADC的智能质检服务