论文笔记 《Maxout Networks》 《Network In Network》
原文出处：http://zhangliliang.com/2014/09/22/paper-note-maxout-and-nin/
论文笔记 《Maxout Networks》 && 《Network In Network》
出处
maxout：http://arxiv.org/pdf/1302.4389v4.pdf
NIN：http://arxiv.org/abs/1312.4400
参考
maxout和NIN具体内容不作解释下，可以参考：
Deep learning：四十五(maxout简单理解)
Network In Network
各用一句话概括
- 常规卷积层： conv→relu
- maxout： several conv(full)→max
- NIN： serveral conv(full)→relu→conv(1x1)→relu
具体一点
- 常规卷积层：conv→relu
- conv： conv_out=∑(x·w)
- relu： y=max(0， conv_out)
- maxout：several conv(full)→max
- several conv (full): conv_out1 = x·w_1, conv_out2 = x·w_2, …
- max： y = max(conv_out1, conv_out2, …)
- NIN： conv→relu→conv(1x1)→relu
- several conv (full): conv_out1 = x·w_1, conv_out2 = x·w_2, …
- relu: relu_out1 = max(0, conv_out1), relu_out2 = max(0, conv_out2), …
- conv(1x1): conv_1x1_out = [relu_out1, relu_out2, …]·w_1x1
- relu: y = max(0, conv_1x1_out)
举例子解释
假设现在有一个3x3的输入，用一个9维的向量x代表，卷积核大小也是3x3，也9维的向量w代表。
- 对于常规卷积层，直接x和w求卷积，然后relu一下就好了。
- maxout，有k个的3x3的w（这里的k是自由设定的），分别卷积得到k个1x1的输出，然后对这k个输入求最大值
- NIN，有k个3x3的w（这里的k也是自由设定的），分别卷积得到k个1x1的输出，然后对它们都进行relu，然后再次对它们进行卷积，结果再relu。（这个过程，等效于一个小型的全连接网络）
图例
继续渣手绘，从上到下分别对应常规卷积层，maxout，NIN：
总结
总的来说，maxout和NIN都是对传统conv+relu的改进。
maxout想表明它能够拟合任何凸函数，也就能够拟合任何的激活函数（默认了激活函数都是凸的）
NIN想表明它不仅能够拟合任何凸函数，而且能够拟合任何函数，因为它本质上可以说是一个小型的全连接神经网络
论文笔记 《Maxout Networks》 《Network In Network》相关推荐
- 论文笔记之Understanding and Diagnosing Visual Tracking Systems
Understanding and Diagnosing Visual Tracking Systems 论文链接:http://dwz.cn/6qPeIb 本文的主要思想是为了剖析出一个跟踪算法中到 ...
- 《Understanding and Diagnosing Visual Tracking Systems》论文笔记
本人为目标追踪初入小白,在博客下第一次记录一下自己的论文笔记,如有差错,恳请批评指正!! 论文相关信息:<Understanding and Diagnosing Visual Tracking ...
- 论文笔记Understanding and Diagnosing Visual Tracking Systems
最近在看目标跟踪方面的论文,看到王乃岩博士发的一篇分析跟踪系统的文章,将目标跟踪系统拆分为多个独立的部分进行分析,比较各个部分的效果.本文主要对该论文的重点的一个大致翻译,刚入门,水平有限,如有理解错 ...
- 目标跟踪笔记Understanding and Diagnosing Visual Tracking Systems
Understanding and Diagnosing Visual Tracking Systems 原文链接:https://blog.csdn.net/u010515206/article/d ...
- 追踪系统分模块解析（Understanding and Diagnosing Visual Tracking Systems）
追踪系统分模块解析(Understanding and Diagnosing Visual Tracking Systems) PROJECT http://winsty.net/tracker_di ...
- ICCV 2015 《Understanding and Diagnosing Visual Tracking Systems》论文笔记
目录 写在前面 文章大意 一些benchmark 实验 实验设置 基本模型 数据集 实验1 Featrue Extractor 实验2 Observation Model 实验3 Motion Mod ...
- Understanding and Diagnosing Visual Tracking Systems
文章把一个跟踪器分为几个模块,分别为motion model, feature extractor, observation model, model updater, and ensemble po ...
- CVPR 2017 SANet:《SANet: Structure-Aware Network for Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做SANet.作者在论文中提到,CNN模型主要适用于类间判别,对于相似物体的判别能力不强.作者提出使用RNN对目标物体的self-structure进行建模,用于提 ...
- ICCV 2017 UCT:《UCT: Learning Unified Convolutional Networks forReal-time Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做UCT.就像论文题目一样,作者提出了一个基于卷积神经网络的end2end的tracking模型.模型的整体结构如下图所示(图中实线代表online trackin ...
- CVPR 2018 STRCF:《Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文提出的模型叫做STRCF. 在DCF中存在边界效应,SRDCF在DCF的基础上中通过加入spatial惩罚项解决了边界效应,但是SRDCF在tracking的过程中要使用 ...
最新文章
- 第二课unit2 控制对文件的访问
- 使用Httpwatch分析响应时间--转
- 计算机C语言常用语句,计算机二级C语言考试常见知识积累
- 终端命令运行php文件路径,PHP -S命令 PHP内置web服务器
- MyBatis框架 多表联合查询实现
- 三星关闭在华最后一家电脑厂 约850名员工受影响
- POJ3764 The xor-longest Path（字典树)
- 马虎将classname加到了id属性中，造成报错
- 国内各大安卓市场有ASO优化吗？安卓应用市场aso优化
- N的阶乘 -- （九度OJ 大整数乘法）
- 2.3 万 Star 的国产装机神器，制作可启动 U 盘
- 遭遇盗取网络游戏帐号木马等
- opencv + MFC 视频图像显示
- Emacs学习使用之路（一）
- Wault Finance闪贷攻击溯源
- 神经网络的学习技巧（含损失函数与激活函数关系、初始值、优化函数、DropOut等等）
- Thinkpad x1“电源已接通，未充电”解决办法
- zzuli1191java-Java
- 大学转户口，身份证怎么办
- RX 7900XT和RTX 4080哪个好 RX 7900XT和RTX 4080差距