为什么深度学习需要归一化

一个标准的归一化步骤就是减均值除方差，如下图，就是把数据集中分布的位置从其它地方，移到中心，注意这个数据是可以输入也可以是网络中间的某一层输出
那么我们为什么希望数据集中分布在中央，像正态分布一样呢，我认为，大多数激活函数都是在中央位置曲线更平滑，斜率变动不会过大过小，能解决梯度消失和梯度爆炸问题。

selu和Batch Normalization

BN是批归一化，简单说他就是对数据减均值除方差，这个数据是可以输入也可以是网络中间的某一层输出，这样数据分布更好，得到的结果更好
selu激活函数就是自归一化，selu激活函数通过设置两个特殊的参数α和λ，经过该激活函数后使得样本分布自动归一化到0均值和单位方差

由selu和Batch Normalization谈深度学习的归一化问题相关推荐

浅谈深度学习:如何计算模型以及中间变量的显存占用大小
原文链接:https://oldpan.me/archives/how-to-calculate-gpu-memory 前言亲,显存炸了,你的显卡快冒烟了! torch.FatalError: cu ...
深度学习-各种归一化(Batch Norm、Layer Norm、Group Norm、InstanceNorm、Spatially-Adaptive Norm）
深度学习之归一化:BN.LN.GN.IN.SPADE 0.总述 0.1.为什么要归一化处理 0.2.大体上看BN.LN.IN.GN 1.批量归一化(Batch Normalization,BN) 1. ...
汤晓鸥谈深度学习三大核心要素：算法设计、高性能的计算能力以及大数据
汤晓鸥谈深度学习三大核心要素:算法设计.高性能的计算能力以及大数据 2017-05-21 15:02:28 深度学习 0 0 0 昨日(5月20日),香港中文大学汤晓鸥教授莅临 2017C ...
浅谈深度学习：LSTM对股票的收益进行预测（Sequential 序贯模型，Keras实现）
浅谈深度学习:LSTM对股票的收益进行预测(Sequential 序贯模型,Keras实现) 总包含文章: 一个完整的机器学习模型的流程浅谈深度学习:了解RNN和构建并预测浅谈深度学习:基于对LS ...
浅谈深度学习：了解RNN和构建并预测
浅谈深度学习:了解RNN和构建并预测总包含文章: 一个完整的机器学习模型的流程浅谈深度学习:了解RNN和构建并预测浅谈深度学习:基于对LSTM项目LSTM Neural Network for ...
浅谈深度学习：基于对LSTM项目`LSTM Neural Network for Time Series Prediction`的理解与回顾
浅谈深度学习:基于对LSTM项目LSTM Neural Network for Time Series Prediction的理解与回顾#### 总包含文章: 一个完整的机器学习模型的流程浅谈深度学 ...
嵌入式AI —— 6. 为糖葫芦加糖，浅谈深度学习中的数据增广
没有读过本系列前几期文章的朋友,需要先回顾下已发表的文章: 开篇大吉集成AI模块到系统中模型的部署 CMSIS-NN介绍从穿糖葫芦到织深度神经网络又和大家见面了,上次本程序猿介绍了CMSIS- ...
周志华：浅谈深度学习
我们都知道直接掀起人工智能热潮的最重要的技术之一,就是深度学习技术.今天,其实深度学习已经有各种各样的应用,到处都是它,不管图像也好,视频也好,声音自然语言处理等等.那么我们问一个问题,什么是深度学习 ...
浅谈深度学习的基础——神经网络算法(科普)
浅谈深度学习的基础--神经网络算法(科普) 神经网络算法是一门重要的机器学习技术.它是目前最为火热的研究方向--深度学习的基础.学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助 ...

由selu和Batch Normalization谈深度学习的归一化问题

为什么深度学习需要归一化

selu和Batch Normalization

由selu和Batch Normalization谈深度学习的归一化问题相关推荐

最新文章

热门文章