LRN局部响应归一化

局部归一化的动机：在神经生物学有一个概念叫做侧抑制(lateral inhibitio)，指的是被激活的神经元抑制相邻神经元。归一化的目的是“抑制”，局部响应归一化就是借鉴侧抑制的思想来实现局部控制，尤其当我们使用RELU的时候这种”侧抑制“很管用。
好处：有利于增加泛化能力，做了平滑处理，识别率提高1-2%。LRN层模仿生物神经系统的侧抑制机制，对局部神经元的活动创建竞争机制，使得响应比较大的值相对更大，提高模型泛化能力。Hinton在Imagenet中表明分别提升1.4%和1.2%。
a表示第i个核在位置（x，y）运用RELU非线性化神经元输出，n是同一位置上临近的kernal map的数目，N是kernal的总数。参数K, n, alpha, belta 都是超参数，一般设置k=2, n=5, alpha=1*e-4, beta=0.75。

LRN局部响应归一化相关推荐

tf.nn.lrn() 局部响应归一化函数
背景文档 1.首先先了解一下什么是过拟合和欠拟合?by Panda.X 2.下面简单说一下LRN,全称Local Response Normalization (局部响应归一化函数),是一种防止过拟 ...
LRN 局部响应归一化详解
1.其中LRN就是局部响应归一化: 这个技术主要是深度学习训练时的一种提高准确度的技术方法.其中caffe.tensorflow等里面是很常见的方法,其跟激活函数是有区别的,LRN一般是在激活.池化后 ...
AlexNet中的局部响应归一化（LRN）
1,简介局部响应归一化(Local Response Normalization,LRN),提出于2012年的AlexNet中.首先要引入一个神经生物学的概念:侧抑制(lateral inhibit ...
深度神经网络中的局部响应归一化LRN简介及实现
Alex.Hinton等人在2012年的NIPS论文<ImageNet Classification with Deep Convolutional Neural Networks>中将L ...
LRN (Local Response Normalization，即局部响应归一化层)
LRN (Local Response Normalization,即局部响应归一化层) (一)先看看归一化吧什么是归一化? 归一化化是归纳统一样本的统计分布性.就是要把你需要处理的数据经过处理后( ...
局部响应归一化（Local Response Normalization，LRN）和批量归一化（Batch Normalization，BN）的区别
为什么要归一化? 归一化已成为深度神经网络中的一个重要步骤,它可以弥补ReLU.ELU等激活函数无界性的问题.有了这些激活函数,输出层就不会被限制在一个有限的范围内(比如tanh的[−1,1][-1, ...
局部响应归一化（Local Response Normalization）
LRN是一种提高深度学习准确度的技术方法.LRN一般是在激活.池化函数后的一种方法. 在ALexNet中,提出了LRN层,对局部神经元的活动创建竞争机制,使其中响应比较大对值变得相对更大,并抑制其他 ...
LRN（局部响应归一化）
原理: LRN层模仿了生物神经系统的"侧抑制"机制,对局部神经元的活动创建竞争环境,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强模型的泛化能力. LRN对于 ...
深度学习饱受争议的局部响应归一化(LRN)详解
前言:Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法.其中caffe.tensorflow等里面是很常见的方法,其跟激活函数是有区 ...
局部响应归一化LRN(Local Response Normalization)
LRN一般是在激活.池化后进行的一中处理方法. 其主要思想是:对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力. 更加详细可看:ht ...

LRN局部响应归一化

LRN局部响应归一化相关推荐

最新文章

热门文章