Alexnet中的LRN

LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似Dropout，是一种防止过拟合的方法。这个函数很少使用，基本上被类似Dropout这样的方法取代，见最早的出处AlexNet论文对它的定义, 《ImageNet Classification with Deep ConvolutionalNeural Networks》。

$b_{x,y}^{i} = \frac{a_{x,y}^{i}}{(k+\boldsymbol{\alpha }\sum_{j=max(0,i-n/2)}^{min(N-1,i+n/2)} (a_{x,y}^{i})^{2})^{\beta}}$

$b_{x,y}^{i}$ 是归一化后的值，i是通道的位置，代表更新第几个通道的值，x与y代表待更新像素的位置。

$a_{x,y}^{i}$ 是输入值，是激活函数Relu的输出值。

$k, \alpha , \beta, n/2$ 都是自定义系数。

N是总的通道数。

累加多少个通道的像素值取决于自定义系数 n/2 。

比如要计算红框位置的 $b_{x,y}^{i}$ ，累加效果如图所示：

Alexnet中的LRN相关推荐

AlexNet中的LRN（Local Response Normalization）
神经网络初学者,没有什么理论基础,偶然看到个ImageNet,就准备从其入手,先弄懂每层的含义,其中这个LRN层真是让人百思不得其解,搜索了下,给出的介绍比较少.为什么会比较少呢,搜索到最后我得出的结 ...
AlexNet中的局部响应归一化（LRN）
1,简介局部响应归一化(Local Response Normalization,LRN),提出于2012年的AlexNet中.首先要引入一个神经生物学的概念:侧抑制(lateral inhibit ...
ImageNet 中的 LRN
LRN(Local Response Normalization) LRN 神经网络初学者,没有什么理论基础,偶然看到个ImageNet,就准备从其入手,先弄懂每层的含义,其中这个LRN层真是让人百思 ...
tensorflow中的lrn函数详解
LRN函数类似DROPOUT和数据增强作为relu激励之后防止数据过拟合而提出的一种处理方法,全称是 local response normalization--局部响应标准化.这个函数很少使用,基本 ...
简谈caffe中的LRN层
昨日面试,被问道BN层和LRN层,一直以来用的都是bn,所以当时对LRN只剩下点印象,事后弥补了一下这边知识点的不足,浅谈自己对LRN层的理解,如果误导,欢迎指正． LRN层的作用是对局部区域进行归一 ...
卷积神经网络(CNN)系列介绍之一 (LeNet-5 / AlexNet / GoogLeNet / VGGNet / BNInception / Inceptionv3)
文末有福利. 目录 1-绪论 2-引子 3-正文 3.1-Params和FLOPs计算 3.1.1-Params参数计算 3.1.2-Connes神经元连接数计算 3.1.3-Multi-add(FL ...
TensorFlow实战：经典卷积神经网络（AlexNet、VGGNet）
下面表格是两个网络的简单比较: 特点 AlexNet VGGNet 论文贡献介绍完整CNN架构模型(近些年的许多CNN模型都是依据此模型变种来的)和多种训练技巧 CNN模型复兴的开山之作使用GPU ...
TensorFlow实战：Chapter-4（CNN-2-经典卷积神经网络（AlexNet、VGGNet））
引言 AlexNet AlexNet 简介 AlexNet的特点 AlexNet论文分析引言介绍数据集网络架构注解注解减少过拟合训练细节结果讨论参考文献略 AlexNet在Ten ...
CNN 常用的几个模型 LeNet5 AlexNet VGGNet Google Inception Net 微软ResNet残差神经网络
LeNet5 LeNet-5:是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络,当年美国大多数银行就是用它来识别支票上面的手写数字的,它是早期卷积神经网络中最有代表性的实验系统之 ...

Alexnet中的LRN

Alexnet中的LRN相关推荐

最新文章

热门文章