上一篇记录的是学习caffe前的环境准备以及如何创建好自己需要的caffe版本。这一篇记录的是如何使用编译好的caffe做训练mnist数据集，步骤编号延用上一篇 《实践详细篇-Windows下使用VS2015编译安装Caffe环境(CPU ONLY) 》的顺序。

二:使用caffe做图像分类识别训练测试mnist数据集

1、下载MNIST数据集，MNIST数据集包含四个文件信息,见表格：

文件

内容

train-images-idx3-ubyte.gz

训练集图片 - 55000 张 训练图片, 5000 张 验证图片

train-labels-idx1-ubyte.gz

训练集图片对应的数字标签

t10k-images-idx3-ubyte.gz

测试集图片 - 10000 张 图片

t10k-labels-idx1-ubyte.gz

测试集图片对应的数字标签

下载完MNIST数据集包后打开\caffe根目录\examples\mnist并在其中创建一个文件夹mnist_data。并将其四个数据包进行解压到这个目录中。

注意：这四个文件不能直接用于caffe的训练和测试。需要使用编译好的caffe项目中的convert_mnist_data-d.exe文件来把四个文件转换为caffe所支持的leveldb或lmdb文件。convert_mnist_data-d.exe文件存在于caffe根目录\scripts\build\examples\mnist\Debug或Release目录下。选择区分取决于编译时是选择的Debug还是Release。

2、创建命令脚本来调用convert_mnist_data.exe数据转换工具

2.1 在caffe根目录下,新建一个convert-mnist-data-train.bat文件用于做转换训练数据，并在文件中添加如下代码:

scripts\build\examples\mnist\Debug\convert_mnist_data-d.exe --backend=lmdb examples\mnist\mnist_data\train-images.idx3-ubyte examples\mnist\mnist_data\train-labels.idx1-ubyte examples\mnist\mnist_data\mnist_train_lmdb
pause

注意:scripts\build\examples\mnist\Debug\convert_mnist_data-d.exe 这个文件就是数据转换的工具，如果是使用Debug编译的 那文件将是convert_mnist_data-d.exe 如是Release编译的将是convert_mnist_data.exe 这个文件 。其中--backend=lmdb 表示转换为lmdb格式，这里设置的转换数据格式决定了后期使用时修改配置文件对应的格式。若要转换为leveldb将其改写为--backend=leveldb 即可。backend=leveldb后面的参数就是解压出来的数据集的文件路径。

leveldb和lmdb格式区别:

它们都是键/值对（Key/Value Pair）嵌入式数据库管理系统编程库。
虽然lmdb的内存消耗是leveldb的1.1倍，但是lmdb的速度比leveldb快10%至15%，更重要的是lmdb允许多种训练模型同时读取同一组数据集。
因此lmdb取代了leveldb成为Caffe默认的数据集生成格式。

2.2 再新建一个convert-mnist-data-test.bat转换测试数据，并在文件中添加如下代码:

scripts\build\examples\mnist\Debug\convert_mnist_data-d.exe --backend=lmdb examples\mnist\mnist_data\t10k-images.idx3-ubyte examples\mnist\mnist_data\t10k-labels.idx1-ubyte examples\mnist\mnist_data\mnist_test_lmdb
Pause

　　2.3 运行两个脚本文件进行调用转换测试/训练数据

2.3.1 运行转换测试数据-convert-mnist-data-test.bat

切入到caffe根目录并Shift+鼠标右键选择“在此处打开命令窗口” 然后输入

start convert-mnist-data-test.bat

调用异常：

如出现以上情况，多数是因为文件夹的编码格式导致的，因为UTF-8的原因导致自动在文本最开始添加了一个空格内容导致的，解决方法很简单，重新编辑该文件并保存的时候将格式修改为  ANSI格式即可。

D:\DeepLearning\caffe\caffe>锘縮cripts\build\examples\mnist\Debug\convert_mnist_
data-d.exe --backend=lmdb examples\mnist\mnist_data\t10k-images.idx3-ubyte examp
les\mnist\mnist_data\t10k-labels.idx1-ubyte examples\mnist\mnist_data\mnist_test
_lmdb
系统找不到指定的路径。D:\DeepLearning\caffe\caffe>Pause

调用成功：

以下代码就是命令反馈的转换成功示例

D:\DeepLearning\caffe\caffe>scripts\build\examples\mnist\Debug\convert_mnist_dat
a-d.exe --backend=lmdb examples\mnist\mnist_data\t10k-images.idx3-ubyte examples
\mnist\mnist_data\t10k-labels.idx1-ubyte examples\mnist\mnist_data\mnist_test_lm
db
I0427 09:47:11.591769  8508 db_lmdb.cpp:40] Opened lmdb examples\mnist\mnist_dat
a\mnist_test_lmdb
I0427 09:47:11.593770  8508 convert_mnist_data.cpp:93] A total of 10000 items.
I0427 09:47:11.593770  8508 convert_mnist_data.cpp:94] Rows: 28 Cols: 28
I0427 09:47:11.983791  8508 db_lmdb.cpp:112] Doubling LMDB map size to 2MB ...
I0427 09:47:12.180804  8508 db_lmdb.cpp:112] Doubling LMDB map size to 4MB ...
I0427 09:47:12.514822  8508 db_lmdb.cpp:112] Doubling LMDB map size to 8MB ...
I0427 09:47:13.059854  8508 db_lmdb.cpp:112] Doubling LMDB map size to 16MB ...
I0427 09:47:13.225862  8508 convert_mnist_data.cpp:113] Processed 10000 files.D:\DeepLearning\caffe\caffe>Pause

2.3.2 运行转换训练数据

start convert-mnist-data-train.bat

调用成功：

D:\DeepLearning\caffe\caffe>scripts\build\examples\mnist\Debug\convert_mnist_dat
a-d.exe --backend=lmdb examples\mnist\mnist_data\train-images.idx3-ubyte example
s\mnist\mnist_data\train-labels.idx1-ubyte examples\mnist\mnist_data\mnist_train
_lmdb
I0427 09:50:03.852622  8384 db_lmdb.cpp:40] Opened lmdb examples\mnist\mnist_dat
a\mnist_train_lmdb
I0427 09:50:03.854622  8384 convert_mnist_data.cpp:93] A total of 60000 items.
I0427 09:50:03.854622  8384 convert_mnist_data.cpp:94] Rows: 28 Cols: 28
I0427 09:50:03.942627  8384 db_lmdb.cpp:112] Doubling LMDB map size to 2MB ...
I0427 09:50:04.006631  8384 db_lmdb.cpp:112] Doubling LMDB map size to 4MB ...
I0427 09:50:04.131639  8384 db_lmdb.cpp:112] Doubling LMDB map size to 8MB ...
I0427 09:50:04.398653  8384 db_lmdb.cpp:112] Doubling LMDB map size to 16MB ...
I0427 09:50:05.002688  8384 db_lmdb.cpp:112] Doubling LMDB map size to 32MB ...
I0427 09:50:06.283761  8384 db_lmdb.cpp:112] Doubling LMDB map size to 64MB ...
I0427 09:50:08.547890  8384 convert_mnist_data.cpp:113] Processed 60000 files.D:\DeepLearning\caffe\caffe>pause

所有数据转换完成后可以在存放数据集文件目录下发现多出来了两个文件夹，并文件夹中都各有两个文件 分别lock.mdb和data.mdb

3、运行测试

3.1 拷贝转换好的测试文件以及训练文件到 caffe根目录\examples\mnist文件夹中 如图：

3.2 编写调用脚本

在caffe根目录下新建一个run.bat文件，文件中代码：

D:\DeepLearning\caffe\caffe\scripts\build\tools\Debug\caffe-d.exe train --solver=examples\mnist\lenet_solver.prototxt
pause

　　注意:D:\DeepLearning\caffe\caffe\scripts\build\tools\Debug\caffe-d.exe 最好填写的是使用绝对路径。使用caffe-d.exe还是caffe.exe取决与你编译时选择的方式。caffe-d.exe存放于Debug下，caffe.exe存放Release目录下。

　　3.3 运行文件

确保万一，之前有提到过，在2.1步骤的时候说过，设置的转换数据格式决定后期调用文件的格式，所以我们需要先确认lenet_train_test.prototxt文件中的格式是否一致。

如这里的格式和在转换数据集的时候不一致 将需要修改为一致，简单的就是直接修改这里的配置文件格式改为leveldb或lmdb。不然就是在转换的时候修改为和这里一致。没问题的话我们直接运行:

发现运行出现错误了，看错误反馈大致是因为选择的训练方式有问题，不能使用GPU。我们安装caffe时就说过，我们使用的是CPU训练。所以这里出现异常肯定是因为配置出问题了。我们打开 lenet_solver.prototxt文件看看:

# The train/test net protocol buffer definition
net: "examples/mnist/lenet_train_test.prototxt"
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
test_iter: 100
# Carry out testing every 500 training iterations.
test_interval: 500
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
# The learning rate policy
lr_policy: "inv"
gamma: 0.0001
power: 0.75
# Display every 100 iterations
display: 100
# The maximum number of iterations
max_iter: 10000 --指定了最大迭代次数 默认为10000次
# snapshot intermediate results
snapshot: 5000 是输出中间结果，默认为迭代到5000次时输出中间结果。
snapshot_prefix: "examples/mnist/lenet"
# solver mode: CPU or GPU
solver_mode: GPU  --此处应该应该为CPU 因为我们使用的是CPU训练

可以通过代码注释发现文本显示 “# solver mode: CPU or GPU” 意思是可以选择CPU或GPU，但是由于我们前期配置的是CPU，所以我们这里应该修改为CPU来训练。修改完成后我们继续执行run.bat

通过运行后的命令窗口反馈是已经正在训练提取特征了了，没报错表示成功了。

总结:

历经几天的学习和尝试，一路磕磕碰碰也总算是将caffe给弄起来了,虽然只是表面使用，并没有真正的达到“深度学习”,但是也是值的欣慰的。两篇博客下来会发现我完全没有提及任何枯燥乏味的理论知识，因为我深知有些牛逼的东西对于我们这种初学者而言不是要记住长篇大论的理论，而是在于自己能动手实践从中先获取到成就感，这样才会有兴趣学下去。我在某课堂也看了一点课程，发现整节课下来都是讲的理论知识，讲的卷积神经网络和循环神经网络等等，这些过于专业的理论知识有些时候反而会让我们这种新人无法理解，导致在一定程度上打压了兴趣。所以可见caffe可以让一个完全不懂卷及神经网络原理的人通过阅读相关编译、搭建知识来实现caffe图像分类识别等效果。当然这种效果只是适合初学者来提高兴趣爱好，真正的大牛还是需要不断的学习,更深入的了解深度学习的理论知识看来提升自我达到取得实质性的突破。

转载于:https://www.cnblogs.com/david97/p/8961168.html

实践详细篇-Windows下使用VS2015编译的Caffe训练mnist数据集相关推荐

  1. 开源实时音视频技术WebRTC在Windows下的简明编译教程

    1.前言 随着音视频技术的不断普及,Google推出的 WebRTC 越来越受到大家的喜欢.现在很多直播产品都是基于WebRTC 进行二次开发做出来的. WebRTC是提供了一整套处理实时音视频的开源 ...

  2. 手把手教你在windows下源码编译Open3D

    文章目录 前言 1.编译环境 2.编译步骤 3.编译中的bug 3.1 下载超时问题,ispc.pybind11.open3d_sphinx_theme等 3.2 boringssl 3.3 Dire ...

  3. 在windows下写makefile编译代码

    From: http://blog.163.com/xjming487@126/blog/static/212951352007625114849843/ 在windows下写makefile编译代码 ...

  4. [转]cscope在windows下使用mingw编译的方法

    cscope在windows下使用mingw编译的方法      http://blog.csdn.net/mslk/archive/2007/05/06/1598513.aspx cscope在wi ...

  5. Windows下用CMake编译JsonCpp及配置（适合新手）

    作者:翟天保Steven 版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处 JsonCpp是什么? JSON是一种轻量级的数据交换格式.它可以表示数字.字符串.有序的值序列 ...

  6. Windows下用ndk编译ffmpeg

    Windows下用ndk编译ffmpeg   第一步:创建一个android工程,然后将ffmpeg整体放到jni下,并创建Android.mk和Application.mk Android.mk: ...

  7. Windows下使用VS2019编译libiconv-1.16

    Windows下使用VS2019编译libiconv-1.16 参考了 https://blog.csdn.net/zhouguangcai8/article/details/105270657,在其 ...

  8. mysql 源码 sln_在windows下使用vs2013编译和调试mysql源代码

    在windows下使用vs2013编译和调试mysql源代码 1. 准备工作 1)OS:win10 + VS2013 2)mysql 源码(windows版):mysql-5.6.25.zip 3)p ...

  9. windows下编译php扩展,windows下开发并编译PHP扩展的方法_php

    现在就简单说一在WINDOWS下开发php扩展的步骤: 首先需要准备的软件有: cygwin 安装路径e:/app/cygwin visual studio C++ 6.0, 修改环境变量,把已经安装 ...

最新文章

  1. 史上最全的 Linux Shell 文本处理工具集锦，快收藏！
  2. Redis之跳跃表(面试重点容易考)
  3. WM_PAINT消息小结
  4. C++实现Schmidt施密特正交化算法(附完整源码)
  5. node+express项目链接MySQL数据库（最简单版）
  6. oracle decode_ORACLE常见问题-100问（系列一）
  7. LeetCode 31. Next Permutation
  8. Skype通话调度功能提供给Android用户
  9. html5中defer的属性,HTML5中defer和async的比较
  10. bzoj 1665: [Usaco2006 Open]The Climbing Wall 攀岩（最短路）
  11. [Spring MVC] 取控制器返回的ModelAndView/Map/Model/Request的对象
  12. WPS怎么转成PPT文件
  13. c语言编译器masm,汇编环境搭建 -- MASM32
  14. android 手机主题制作,怎么制作手机主题？
  15. python更改ip地址_用Python更改IP地址(转)
  16. 天池大数据《快来一起挖掘幸福感！》项目第169名
  17. 高中关于人工智能方面的课题_AI相关专业或成热门？高中生也可以入门“人工智能”...
  18. isf文件格式改为csv格式
  19. uni-app。APP-PLUS 获取应用缓存，缓存清除
  20. PMP考试可以自学吗？

热门文章

  1. caffeine 弱引用key的实现
  2. 聊聊为什么 IDL 只能扩展字段而非修改
  3. windows下安装consul
  4. CSS Transform让百分比宽高布局元素水平垂直居中
  5. 总结替换jar包中指定文件的步骤
  6. 文本编辑器_markdown编辑器与富文本编辑器优缺点比较
  7. Python精通-Python集合操作详解
  8. SpringBoot 精通系列-使用Swagger2构建RESTful APIs
  9. clipse中使用maven插件的时候，运行run as maven build的时候报错：
  10. linux 自动安装mysql数据库_linux系统下源码安装mysql5.6数据库