深度学习样本归一化到[0,1]还是[-1,1]

一般，我们需要对神经网络的输入样本进行归一化，通常有多种选择，比如归一化到[0,1]，或归一化到[-1,1]。

这两种方法，哪种归一化方法更好呢？还是没有区别。

现在的实验经验，一般归一化后的数值沿原点对称最好，即归一化到[-1,1]可以期待取得更好的效果。

因此，推荐在归一化时，把样本数据归一化到[-1,1]，或者其他相对于原点对称的范围。

对应的，似乎使用双极性激活函数(tanh)优于单极性激活函数(sigmoid),因为tanh的激活值范围[-1,1]，而sigmoid的激活值范围是[0,1]

深度学习样本归一化到[0,1]还是[-1,1]相关推荐

【深度学习】深度学习的归一化方法的演变（局部响应LRN，BN，LN, IN, GN, FRN, WN, BRN, CBN, CmBN）
[深度学习]深度学习的归一化方法的演变(局部响应LRN,BN,LN, IN, GN, FRN, WN, BRN, CBN, CmBN) 文章目录 [深度学习]深度学习的归一化方法的演变(局部响应LRN ...
深度学习-各种归一化(Batch Norm、Layer Norm、Group Norm、InstanceNorm、Spatially-Adaptive Norm）
深度学习之归一化:BN.LN.GN.IN.SPADE 0.总述 0.1.为什么要归一化处理 0.2.大体上看BN.LN.IN.GN 1.批量归一化(Batch Normalization,BN) 1. ...
视频教程-遥感影像深度学习样本制作-深度学习
遥感影像深度学习样本制作遥感专业硕士,拥有3年以上的遥感图像数据处理经验,对遥感.GIS等行业的应用有深刻的认识. 郑新杰 ¥20.00 立即订阅扫码下载「CSDN程序员学院APP」,1000+技 ...
基于矢量成果从影像提取中深度学习样本库
大数据之:影像提取中深度学习样本库获取的思考话说,虾神一直是做空间统计和数据分析的,对于深度学习这个热门学科,一直以来也就停留在"了解"阶段,虽然这个平展开来,里面比较核心的技术 ...
由selu和Batch Normalization谈深度学习的归一化问题
为什么深度学习需要归一化一个标准的归一化步骤就是减均值除方差,如下图,就是把数据集中分布的位置从其它地方,移到中心,注意这个数据是可以输入也可以是网络中间的某一层输出那么我们为什么希望数据集中分布 ...
遥感影像深度学习样本制作
交流QQ:3239516597 对于遥感同学,在学习深度学习时,第一步就要解决遥感数据样本的制作,遥感影像数据的样本根据不同的应用也有所不同,不知道的同学可以去看视频:遥感深度学习样本制作视频1 今天 ...
飞桨深度学习开源框架2.0抢先看：成熟完备的动态图开发模式
百度飞桨于近期宣布,深度学习开源框架2.0抢先版本正式发布,进入2.0时代.其中一项重大升级,就是推出更加成熟完备的命令式编程模式,即通常说的动态图模式.同时在该版本中将默认的开发模式定为动态图模式, ...
[深度学习] 分布式Tensorflow 2.0 介绍（二）
[深度学习] 分布式模式介绍(一) [深度学习] 分布式Tensorflow 2.0介绍(二) [深度学习] 分布式Pytorch 1.0介绍(三) [深度学习] 分布式Horovod介绍(四) 一 ...
（私人收藏）2019WER积木教育机器人赛（普及赛）解决方案-（全套）采集深度学习样本
2019WER积木教育机器人赛(普及赛)解决方案-(全套)采集深度学习样本含地图,解决程序,详细规则,搭建方案 EV3;乐高;机器人比赛;能力风暴;WER https://pan.baidu.com ...

深度学习样本归一化到[0,1]还是[-1,1]

深度学习样本归一化到[0,1]还是[-1,1]相关推荐

最新文章

热门文章