经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks

2024-05-20 17:27:58

学习笔记，仅供参考，有错必纠

文章目录

ImageNet Classification with Deep Convolutional Neural Networks
- 摘要
- Introduction
- dataset
- Architecture
- - Training on Multiple GPUs
  - Training on Multiple GPUs
  - Local Response Normalization
  - Overall Architecture
- Reducing Overfitting
- - Data Augmentation
  - Dropout
- Details of learning

ImageNet Classification with Deep Convolutional Neural Networks

摘要

top5:模型给出5个答案，只要其中有1个答案是正确的,则认为模型判断正确.

Introduction

网络的大小被GPU限制，如果未来有更快的GPU以及更大的数据集，则模型会得到更好的结果.

dataset

使用的数据集为ImageNet的子集，包含1000个类别，每个类别有1000张图片. 本文，将1200000张图片作为训练集，50000张图片作为验证集，150000张图片作为测试集. 由于原始图片中的大小不一，所以，文中使用下采样的方法，将原始图片resize成256*256的相同大小的图片.

Architecture

Training on Multiple GPUs

文中使用RELU激活函数，由图1可知，使用RELU激活函数将错误率降低到25%，比使用tanh激活函数要快将近6倍.

Training on Multiple GPUs

使用多个GPU加快训练速度.

Local Response Normalization

文中在池化层后加入了【局部响应归一化】，从而降低top1和top5的错误率.

备注：该技术并不是在所有情况下都能提高模型性能，在2015年ICLR的VGGNet 的论文中提出，使用【局部响应归一化】并不能提升结果，同时会增加了内存和计算量.

Overall Architecture

这里的输入层为224∗224∗3224*224*3224∗224∗3是因为文中对256∗256∗3256*256*3256∗256∗3的图像进行了裁剪，从而增加了数据集. 尽管使用这种数据增强的方法会使数据之间存在高度相关，但同时会得到较好的效果.

Reducing Overfitting

Data Augmentation

Dropout

Details of learning

经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks相关推荐

论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (1/3)
文章目录 Authors and Publishment Authors Bibtex Abstract 1. Introduction 2. The Dataset Authors and Publ ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (2/3)
文章目录 3. The Architecture 3.1. ReLU Nonlinearity 3.2. Training on Multiple GPUs 3.3. Local Response N ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (3/3)
文章目录 6. Results 6.1. Qualitative Evaluations 7. Discussion References 6. Results Our results on ILSV ...
论文笔记 - 《ImageNet Classification with Deep Convolutional Neural Networks》精典
基于卷积神经网络的图像分类(经典网络) 作者:Alex Krizhevsky(论文中第一作者的名字为网络名字AlexNet) 单位:加拿大多伦多大学发表会议时间:NIPS 2012 (NIPS:机器 ...
AlexNet论文翻译《ImageNet Classification with Deep Convolutional Neural Networks》
摘要我们训练了一个大型深度卷积神经网络来将ImageNet LSVRC-2010竞赛的120万高分辨率的图像分到1000不同的类别中.在测试数据上,我们得到了top-1 37.5%, top-5 1 ...
AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[AlexNet纯中文版] ImageNet Classification with De ...
论文《ImageNet Classification with Deep Convolutional Neural Networks》阅读及AlexNet的Tensorflow2复现
论文<ImageNet Classification with Deep Convolutional Neural Networks>阅读及AlexNet的Tensorflow2复现论文 ...
《每日论文》ImageNet Classification with Deep Convolutional Neural Networks
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文.作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络. ...
ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中文版
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...

最新文章

热门文章