NIN网络-Network In Network

2024-04-22 13:54:17

图像分类系列：

0、BP前反馈神经网络原理详解

1、Lenet详解

2、Alexnet详解

3、VGG网络结构

4、NIN网络结构

5、Googlenet inception v1 结构详解、inception v2 和 inception v3

参考 https://www.cnblogs.com/makefile/p/nin.html，第一个卷积核是11x11x3x96,因此在一个patch块上卷积的输出是1x1x96的feature map(一个96维的向量).在其后又接了一个MLP层,输出仍然是96.因此这个MLP层就等价于一个1 x 1 的卷积层,这样工程上任然按照之前的方式实现,不需要额外工作.

MLPCONV

NIN结构的mlp conv结构是将多层感知机（MLP）和卷积(CONV)结合在一起，即在传统的卷积层之间加上了MLP层，一个卷积核对原图的同一片相同大小区域卷积得到一个数，96个卷积核同样的操作得到96个数，即96个通道上同一个位置的一个元素，然后将这96个元素做一下全连接，又得到96个元素。相当于在对每一个patch的不同卷积核结果做了一个MLP。

一个卷积核与原图同样尺寸区域进行卷积（相乘相加）得到一个元素，该区域即为一个patch，不同通道上得到的元素融合即得到输出图像的一个元素。即输出图像的每一个元素为卷积核与上一层每一个通道上对应的patch先卷积再相加得到。

mlp conv另一种理解方式：在原来每一层输出后加一个与通道数量相同1 x 1 的卷积层。见上图MLPCONV与CNN对比。作用:

其实相当于在通道之间做了特征融合。
每一层卷积之后加一个激活函数，比原结构多了一层激活函数，增加了结构的非线性表达能力。

Global Average Pooling

整个featuremap平均池化结果作为softmax 输入，相较于Alexnet全连接的优点：

减少参数量（1000x1000+1000x6x6），从而减轻过拟合
求和平均综合了整个featuremap的所有信息
不限输入图片的大小

NIN网络-Network In Network相关推荐

Network in Network（NIN）网络结构详解，网络搭建
一.简介 Network in Network,描述了一种新型卷积神经网络结构. LeNet,AlexNet,VGG都秉承一种设计思路:先用卷积层构成的模块提取空间特征,再用全连接层模块来输出分类结果 ...
【深度学习】NIN (Network in Network) 网络
Introduction 出自新加坡国立大学2014年的论文 Network In Network . 该设计后来为 ResNet 和 Inception 等网络模型所借鉴. Improvement ...
DL之NIN：Network in Network算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之NIN:Network in Network算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略目录 Network in Network算法的简介(论文介绍) 1.Visualiz ...
套娃的开始——Network in Network网络学习笔记
前言 <Network in Network>是2014年ICLR的一篇文章,文章当时较为创新,对后面的一些模型产生了一些较为深远的影响,现在看来,尽管文章较为久远,仍不失为经典论文,对现 ...
NIN：Network in Network
1 前言在上一篇文章中笔者介绍了一种可复用的网络模型VGG,在接下来的这篇文章中将向大家介绍另外一种网络模型"Network in Network,NiN(网络中的网络)".这是 ...
NIN(Network in Network)学习笔记
NIN(Network in Network)学习笔记一.前言 <Network In Network>是一篇比较老的文章了(2014年ICLR的一篇paper),是当时比较牛逼的一篇论 ...
NiN（Network in Network） pytorch实现
NiN(Network in Network) NiN(Network in Network)是Min Lin等人在2014的论文<Network in Network>中提出的一种结构, ...
NIN(Network in Network)
abstract 作者提出一种方法增强感受野的分辨能力(应该是指提取特征的能力),传统卷积神经网络在非线性激活函数之后接一个线性滤波器扫描输入,作者赋予感受野一个更复杂的结构(微型神经元网络)提取数据 ...
深度学习：NiN（Network In Network）详细讲解与代码实现
深度学习:NiN(Network In Network)详细讲解与代码实现网络核心思想 1*1卷积 NiN块的作用全局池化(Global Average Pooling) 基于NiN的服装分类(P ...
在线作图丨绘制一个含饼图的组内网络分析图（Network Analysis）
前几期小编给大家介绍了如何做一个组间网络分析图(Network Analysis) 在线作图丨绘制组间网络分析(Network Analysis),有小伙伴希望小编更新一期组内互作网络的说明.所以,它 ...

最新文章

热门文章