如何利用Caffe训练ImageNet分类网络
源文章:https://github.com/BVLC/caffe/tree/master/examples/imagenet
由于要使用Caffe进行深度学习的二次开发,所以找到上面这个如何训练网络的一些操作过程,不是每一句都翻译过来,但是终究不是原创,权当做自己的学习笔记。
==========================================
1.下载好来自ImageNet的training和validation数据集合;分别存放在如下的格式:
/path/to/imagenet/train/n01440764/n01440764_10026.JPEG
/path/to/imagenet/val/ILSVRC2012_val_00000001.JPEG
2. 进行一些预处理操作:
cd $CAFFE_ROOT/data/ilsvrc12/
./get_ilsvrc_aux.sh
3.训练数据和测试数据分别放在train.txt和val.txt中,里面有他们的文件和相对应的标签;
4. 最后作者把1000类的类名用0--999表示,他们相对应的类别名称则用synset_words.txt 来存储他们之间的映射。
5.作者提到怎么去是否应该先把图像都归一化到256*256中,作者提到用Mapreduce去加快这种过程;
也可以直接这么做:
for name in /path/to/imagenet/val/*.JPEG; do
convert -resize 256x256\! $name $name
Done
6.在 create_imagenet.sh中设置训练的参数,并在里面指定训练和测试的数据库路径,如果图像没有提前归一化到相同的大小,则需要加”RESIZE=true“,设置”GLOG_logtostderr=1 “表示了可以参考更多的信息,
在执行 ./create_imagenet.sh 之后会有新的数据文件生成:
ilsvrc12_train_leveldb 和 ilsvrc12_val_leveldb
7. 因为模型需要我们减去图像的均值,所以我们需要计算图像均值,在工具
tools/compute_image_mean.cpp 实现了这种操作,
或者可以直接用:
./make_imagenet_mean.sh 脚本来进行计算图像均值,并生成:
data/ilsvrc12/imagenet_mean.binaryproto 文件
8.定义网络的结构:imagenet_train_val.prototxt .
里面有两行指定了数据库和图像的路径
source: "ilvsrc12_train_leveldb"
mean_file:"../../data/ilsvrc12/imagenet_mean.binaryproto"
并且指定了 include { phase: TRAIN } or include { phase: TEST } .来区分训练和测试
9.关于输入层的不同:
训练数据中,,data项来自 ilsvrc12_train_leveldb 并且进行了随机镜像操作,测试数据中data项来自于ilsvrc12_val_leveldb 而没有进行随机镜像操作;
10.输出层的不同:
输出层都为 softmax_loss 层,在训练网络当中,用来计算损失函数,并且用来初始化BP过程,测试网络同样有一个第二个输出层,accuracy,它用来报告测试的精度,在训练的过程中,测试网络将实例化并且测试准确率,产成的命令行为:Test score #0: xxx and Test score #1: xxx 等。
11.运行网络,其中设置
每批batch为256个,运行450000次迭代,接近90次epoch;
每1000次迭代,就在用测试集进行测试;
设置初始的学习率为0.01,并且每100000次迭代中进行学习率下降,大概进行20次epoch;
每20次epoch就显示出一些数据信息;
网络训练的动量为0.9,权重衰减因子为0.0005,
每10000次迭代中,就生成当前状态的快照;
这些设置在 examples/imagenet/imagenet_solver.prototxt .中进行设置,并且同样我们需要指定文件的路径:
net: "imagenet_train_val.prototxt"
12.开始训练网络:
./train_imagenet.sh
13. 在K20中,每20个迭代花费36s,所以,一幅图像的一次前馈+反馈(FW+BW)大概需要7ms,前馈花费2.5ms,剩下的是反馈,
可以在 examples/net_speed_benchmark.cpp 中进行时间的查看;
14.因为我们有保存了快照,所以我们可以通过
./resume_training.sh 来进行resume恢复,脚本caffe_imagenet_train_1000.solverstate 保留了要恢复的所有信息,
15.总结,Caffe可以很方便进行通过设置文件的方式来进行设置不同的网络结构。
如何利用Caffe训练ImageNet分类网络相关推荐
- Caffe实践】如何利用Caffe训练ImageNet分类网络
Caffe实践]如何利用Caffe训练ImageNet分类网络 源文章:https://github.com/BVLC/caffe/tree/master/examples/imagenet 由于要使 ...
- Caffe训练ImageNet
Caffe训练ImageNet使用的是NIPS 2012 paper论文的算法. 1.准备数据. 假设已经下载好数据集和验证集,存储路径为: /path/to/imagenet/train/n0144 ...
- 一个中等规模的七段数码数据库以及利用它训练的识别网络
简 介: 利用CNN对于七段数码进行识别,包括LCD,LED不同分辨率的情况进行测试.由于是将原有的数字转换成48×48灰度数字图片,所以对于对比度不高的图片会造成识别错误.另外,由于这些数字相距比较 ...
- Windows环境下使用 Caffe在ImageNet上训练网络
在配置好Windows版的Caffe之后,可以使用Windows Caffe训练ImageNet网络,主要有4个步骤: (1)准备图片数据库 (2)将图片数据转换为Caffe可以使用的LMDB或者Le ...
- win10下使用caffe训练自己的数据,车牌二分类
caffe编译参考:http://blog.csdn.net/cym1990/article/details/72630584 1.数据格式转换 Caffe采用leveldb或者lmdb的数据格式. ...
- 【Caffe】训练ImageNet模型
Caffe训练ImageNet使用的是NIPS 2012 paper论文的算法. 本博客转载自:http://blog.csdn.net/pirage/article/details/17553549 ...
- Caffe训练分类器不收敛,loss居高不下
转载:http://blog.sina.com.cn/s/blog_141f234870102w941.html 我利用Caffe 训练一个基于AlexNet 的三分类分类器,将train_val.p ...
- 利用预训练网络打造自己的分类网络
卷积神经网络的训练是耗时的,很多场合不可能每次都从随机初始化参数开始训练网络. 1.训练 pytorch中自带几种常用的深度学习网络预训练模型,如VGG.ResNet等.往往为了加快学习的进度,在训练 ...
- YOLO如何训练分类网络???
一般YOLO的工程应用直接上检测,源自作者提供了分类的预训练模型,但是如果自己改网络训练怎么办?预训练网络没有怎么办? 不怕,两种方法可以解决! 第一种:比较笨的方法,就是下载imagenet数据训练 ...
- CV:基于Keras利用CNN主流架构之mini_XCEPTION训练性别分类模型hdf5并保存到指定文件夹下
CV:基于Keras利用CNN主流架构之mini_XCEPTION训练性别分类模型hdf5并保存到指定文件夹下 目录 图示过程 核心代码 图示过程 核心代码 from keras.callbacks ...
最新文章
- 解决Http响应内容中文乱码问题
- 机器学习入门-决策树算法
- 关于php无字母代码的研究
- CString转换成char*
- (旧)走遍美国——(三、文化3)
- 聚焦数字化智慧安防的新型社区
- linux的进程栈和线程栈
- 英特尔扶正临时CEO 打破公司50年CEO选拔传统
- Yii1.0框架整合融云解析(一)
- Egret入门学习日记 --- 第十五篇(书中 6.1~6.9节 内容)
- loss 加权_Multi-Similarity Loss使用通用对加权进行深度度量学习-CVPR2019
- [EMQX-V3.4.6源码解析系列]-1-EMQX简介
- pythonturtle库填充_Python turtle库学习笔记
- ssd网络详解之detection output layer
- 去除Edge打开外部应用时的提醒
- spyder python教程_Spyder
- 这些悬浮动效的常见玩法你都知道吗?
- android朋友圈发文字换行,微信朋友圈全文展开 朋友圈文字怎么换行朋友圈发多行文字...
- zabbix下载方式
- 1 Bootstrap 4起步
热门文章
- Visual Studio 开源控件扩展 NuGet 常用组件安装命令
- Java 8 vs. Scala(二):Stream vs. Collection
- 陶哲轩实分析 定理 13.4.6
- [置顶] 任务一 基本的数据库连接——以类为单位的编程思想
- (转)自定义listView及其adapter动态刷新
- day09-线程与进程
- UVA 1590 IP Networks
- 【原】Python基础-__init__
- MapServer使用笔记(二)
- c++线程间通信的几种方法_JAVA并发之线程amp;进程