什么是Batch Normalization?

批量标准化(BN）指的是对神经网络每一层的输入进行标准化，目的是为了解决训练过程中输入数据分布漂移——Internal Covariate Shift。

什么是Internal Covariate Shift?

首先机器学习算法都有一个前提假设：数据是独立同分布的。简单来说就是输入空间内的所有变量都服从某一个隐含分布，而模型则是去学习这个分布。

在神经网络的训练过程中，每一层的参数变化都会导致输出与输入的分布发生变化，层层递进，深层神经网络的分布可能会发生剧烈变化。

而这就导致网络训练过程中，模型需要不断调整参数去适应这种变化，极大影响模型收敛速度与性能。

BN算法流程

1.对当前batch数据进行标准化后，再进行线性映射，训练scale与shift参数。因为对batch数据进行标准化也是改变了数据分布，为了消除这一影响，通过训练scale，shift参数来使得网络学到原本的分布。

BN算法流程图

为什么BN算法会work？

直观的理解：

1.BN将激活函数的输出从任意的正态分布拉到均值为，方差为1的标准正态分布，使得输入落到激活函数的敏感区，即较小的变化也会导致loss较大的变化，梯度变大，防止梯度消失的同时也加速模型收敛。

比如如果激活函数是sigmoid函数，在网络的训练过程中，分布会不断靠近激活函数的上下限，即导数不断靠近0.25处，层层传递，最后导致梯度消失，而BN则会将分布拉离上下限。

BN优点总结：

1.防止梯度消失

2.加速模型收敛

3.降低初始化要求，可以设置较大的初始学习率，加快学习。

4.某些情况下，可以提升模型泛化性能，因为BN也可以视为一种正则化的方法。

秋招必考——Batch Normalization精简解析相关推荐

数字 IC 设计、FPGA 设计秋招笔试题目、答案、解析（2）2021 华为海思（上）
引言最近收到诸多粉丝的来信,要求出一版<数字 IC 设计.FPGA 设计秋招笔试题精讲>,于是,通过几天几夜的加班加点,终于出了这一版<2021 华为海思秋招笔试题目.答案.解析& ...
数字 IC 设计、FPGA 设计秋招笔试题目、答案、解析（1）2022 紫光展锐（上）
引言最近收到诸多粉丝的来信,要求出一版<数字 IC 设计.FPGA 设计秋招笔试题精讲>,于是,通过几天几夜的加班加点,终于出了这一版<2022 紫光展锐秋招笔试题目.答案.解析& ...
数字 IC 设计、FPGA 设计秋招笔试题目、答案、解析（3）2022 大疆创新数字芯片 B 卷
引言最近收到诸多粉丝的来信,要求出一版<数字 IC 设计.FPGA 设计秋招笔试题精讲>,于是,通过几天几夜的加班加点,终于出了这一版<2022 大疆创新秋招笔试题目.答案.解析& ...
批标准归一化（Batch Normalization）解析
1,背景网络一旦train起来,那么参数就要发生更新,除了输入层的数据外(因为输入层数据,我们已经人为的为每个样本归一化),后面网络每一层的输入数据分布是一直在发生变化的,因为在训练的时候,前面层训 ...
20220年春招，秋招必问的1000道Java面试题及答案整理
前言不论是校招还是社招都避免不了各种面试,如何去准备面试就显得格外重要. 这不马上金三银四了,相信有很多小伙伴为社招或跳槽做准备,最近小编也常常在刷面试题,发现网上很多Java面试题都没有答案,所以 ...
金九银十！阿里P8手写的内部Java核心开发成长手册，涵盖p5-p8技术栈，秋招必看！
前言程序员的年龄一直是大家讨论的热门话题,本人最近和不少小公司的程序员打交道.经过和他们的深入交流,我感受到了不少小公司程序员的现状,由此深深地感叹,可能真有不少小公司的程序员未必能干到30岁,甚至 ...
数字 IC 设计、FPGA 设计秋招笔试题目、答案、解析（4）2022 乐鑫数字芯片提前批笔试
单选题 1.以下关于 System Verilog 的描述,正确的是( ) A. sv 中可以用 logic 代替 Verilog 中的 wire 和 reg 类型 B. sv 中, 定义成 re ...
23届银行秋招：中国银行面试真题解析！
根据如信银行考试中心发布: 一.中国银行面试真题 1.你为什么会选择加入我们公司? 思路解析: 思路1:讲述自己的教育背景.实习经历及其他与目标公司(或产品)相关的特质,并以此体现自己的品质与公司价值 ...
【数据挖掘】恒生金融有限公司2023届秋招数据ETL工程师笔试题解析
公司:恒生科技笔试时间:2022年9月24号岗位:数据ETL工程师时间:120分钟 1 不定项选择题 1.SQL 修改表结构的关键词是 A. alter B. create C. desc D. ...

秋招必考——Batch Normalization精简解析