1：ImageNet Classification with Deep Convolutional Neural Networks
这里写链接内容ImageNet Classification with Deep Convolutional Neural Networks
在看caffe教程中example/ImageNet 时，看这篇文章，了解该网络结构，各个layer在网络中的设置和作用。
一、ImageNet介绍
ImageNet由15 million 有标签的高分辨率图像组成，有大约22，000个类别。
开始于2010年的ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)，使用ImageNet的子集，每个类大约1000张图像，共1000个类别。
本文中大约使用1.2million个训练图片，50,000个验证图片和150,000个测试图像。ILSVRC-2010是唯一一个提供测试集标签的ILSVRC。
二、网络结构
一共有8层，5个卷积层和3个全连接层，最后一层是一个1000way 的softmax。由于网络较大，用两个GPU进行训练。
从图中可看到：2,4,5层只和贮存在当前GPU中的先前层进行链接，而第3层和第2层所有的kernel map链接。
Response-normalization layers follow: 第1,2卷积层。
Max pooling layers: follow前两个response-normlization layer 和第5个卷积层。
ReLU:被应用在每一层后面
三、关键的部分
1、ReLU
rectified linear unit(ReLU) 非线性修正
f(x)=max(0,x)
使用这个函数替代传统的tanh或者sigmoid，能够加快收敛速度。
2、LRN
Local response normalization
ReLU计算后不是0的（被激活）neuron，可以开始计算LRN.
论文中给的公式：
这就是caffe教程中的Across-Chanels（default)的方式。另外还有，within-chanel方式（一个channel中以该点为中心的n*n的区域，进行上述类似的规范化计算）。
达到类似Lateral inhibition（侧抑制）的作用。
侧抑制：指的是某神经元的活动引起另一个神经元的兴奋性下降。侧抑制具有生物意义，因此它增加了物体边沿的对比度，从而使机体容易区分一个物体和另一个物体的边沿。
能够降低识别错误率
3、Overlapping pooling
传统的pooling是不重叠的，这里是在彼此有重叠的块中进行pooling。
作用：能有效降低识别错误率，而且不易产生拟合。
四、减少拟合的方法
1、数据增广
(1)平移和水平翻转
从256*256的image中随机抽取224*224的块，并对他们进行水平翻转。
水平翻转：fg=im(:,end:-1:1,:)
(2)改变rgb通道的灰度值
在整个ImageNet 训练集上对灰度值进行PCA
Ix,y代表三通道的像素向量，对Ix,y进行如下量化：
2、 dropout
设置每个隐藏单元设为0的概率为0.5，被dropout的点不参与向前向后计算，因此相当于是训练了多个模型。减少了神经元间的依赖。
1：ImageNet Classification with Deep Convolutional Neural Networks相关推荐
- CV：翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第一章~第三章
CV:翻译并解读2019<A Survey of the Recent Architectures of Deep Convolutional Neural Networks>第一章~第三 ...
- 经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks
学习笔记,仅供参考,有错必纠 文章目录 ImageNet Classification with Deep Convolutional Neural Networks 摘要 Introduction ...
- 论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (2/3)
文章目录 3. The Architecture 3.1. ReLU Nonlinearity 3.2. Training on Multiple GPUs 3.3. Local Response N ...
- 《每日论文》ImageNet Classification with Deep Convolutional Neural Networks
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文.作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络. ...
- AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[AlexNet纯中文版] ImageNet Classification with De ...
- ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中文版
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书 翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
- 《ImageNet Classification with Deep Convolutional Neural Networks》翻译
1 引言 2 数据集 3 架构 3.1 ReLU 非线性 3.2 训练多个GPU 3.3 局部响应归一化 3.4 重叠池化 3.5 整体架构 4 减少过拟合 4.1 数据增强 4.2 Dropout ...
- 论文《ImageNet Classification with Deep Convolutional Neural Networks》阅读及AlexNet的Tensorflow2复现
论文<ImageNet Classification with Deep Convolutional Neural Networks>阅读及AlexNet的Tensorflow2复现 论文 ...
- 翻译： Deep Convolutional Neural Networks for Breast Cancer Histology Image Analysis
翻译: Deep Convolutional Neural Networks for Breast Cancer Histology Image Analysis(深度卷积神经网络在乳腺癌组织学图像分 ...
最新文章
- Java 授权内幕--转载
- NYOJ 143 第几是谁？
- 从零开始学习docker（十五）Swarm mode 介绍
- [CODEVS1258]关路灯
- vs code html table,vs Code 快速生成代码
- 《SpringMVC从入门到放肆》三、DispatcherServlet的url-pattern配置详解
- 动态规划基础水题提纲
- [zz from newsmth] 王大牛的Memory Model reading list
- 科普文：服务器上如何 Node 多版本共存 #31
- css,html走的坑:(1.2)
- 前端系统化学习【JS篇】:（四-1）基本数据类型之Number篇
- Django在Window下的部署
- 《python基础教程》笔记之 字符串
- XILINX FPGA数字信号处理——2、数字信号处理实现方法
- 阿里巴巴内部资料：2018全技术栈图册ppt分享
- unity使用easy ar制作ar红包
- 远程登陆Win10自带子系统Ubuntu-22.04
- 收缩毛孔全过程，很详细！ - 健康程序员，至尚生活！
- JS正则——将字符串中的逗号替换成空格
- python实例练习（12）身体质量指数BMI计算