转载自：

Caffe代码导读（4）：数据集准备 - 卜居 - 博客频道 - CSDN.NET

http://blog.csdn.net/kkk584520/article/details/41649281

Caffe上面有两个比较简单的例子：MNIST和CIFAR-10，前者是用于手写数字识别的，后者用于小图片分类。这两个数据集可以在Caffe源码框架中用脚本（CAFFE_ROOT/data/mnist/get_mnist.sh和CAFFE_ROOT/data/cifar10/get_cifar10.sh）下载，如下图所示：

$ ./get_cifar10.sh
Downloading...
--2014-12-02 01:20:12--  http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz
Resolving www.cs.toronto.edu... 128.100.3.30
Connecting to www.cs.toronto.edu|128.100.3.30|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 170052171 (162M) [application/x-gzip]
Saving to: “cifar-10-binary.tar.gz”100%[===========================================================================================================================================================>] 170,052,171  859K/s   in 2m 16s2014-12-02 01:22:28 (1.20 MB/s) - “cifar-10-binary.tar.gz” saved [170052171/170052171]Unzipping...
Done.
$ ls
batches.meta.txt  data_batch_1.bin  data_batch_2.bin  data_batch_3.bin  data_batch_4.bin  data_batch_5.bin  get_cifar10.sh  readme.html  test_batch.bin

$ ./get_mnist.sh
Downloading...
--2014-12-02 01:24:25--  http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz
Resolving yann.lecun.com... 128.122.47.89
Connecting to yann.lecun.com|128.122.47.89|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 9912422 (9.5M) [application/x-gzip]
Saving to: “train-images-idx3-ubyte.gz”100%[===========================================================================================================================================================>] 9,912,422   2.09M/s   in 6.7s2014-12-02 01:24:33 (1.42 MB/s) - “train-images-idx3-ubyte.gz” saved [9912422/9912422]--2014-12-02 01:24:33--  http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz
Resolving yann.lecun.com... 128.122.47.89
Connecting to yann.lecun.com|128.122.47.89|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 28881 (28K) [application/x-gzip]
Saving to: “train-labels-idx1-ubyte.gz”100%[===========================================================================================================================================================>] 28,881      42.0K/s   in 0.7s2014-12-02 01:24:34 (42.0 KB/s) - “train-labels-idx1-ubyte.gz” saved [28881/28881]--2014-12-02 01:24:34--  http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz
Resolving yann.lecun.com... 128.122.47.89
Connecting to yann.lecun.com|128.122.47.89|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1648877 (1.6M) [application/x-gzip]
Saving to: “t10k-images-idx3-ubyte.gz”100%[===========================================================================================================================================================>] 1,648,877    552K/s   in 2.9s2014-12-02 01:24:39 (552 KB/s) - “t10k-images-idx3-ubyte.gz” saved [1648877/1648877]--2014-12-02 01:24:39--  http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz
Resolving yann.lecun.com... 128.122.47.89
Connecting to yann.lecun.com|128.122.47.89|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 4542 (4.4K) [application/x-gzip]
Saving to: “t10k-labels-idx1-ubyte.gz”100%[===========================================================================================================================================================>] 4,542       19.8K/s   in 0.2s2014-12-02 01:24:40 (19.8 KB/s) - “t10k-labels-idx1-ubyte.gz” saved [4542/4542]Unzipping...
Done.
$ ls
get_mnist.sh  t10k-images-idx3-ubyte  t10k-labels-idx1-ubyte  train-images-idx3-ubyte  train-labels-idx1-ubyte

如果你下载出现问题可以从我的资源处获取，网址http://download.csdn.net/detail/kkk584520/8213463。

原始数据集为二进制文件，需要转换为leveldb或lmdb才能被Caffe识别。转换格式的工具已经集成在Caffe代码中，见CAFFE_ROOT/examples/mnist/convert_mnist_data.cpp

和CAFFE_ROOT/examples/cifar10/convert_cifar_data.cpp，如果对leveldb或lmdb操作不熟悉可以从这两个源代码中学习。我们只需要在CAFFE_ROOT目录中执行两条命令即可：

./examples/mnist/create_mnist.sh

./examples/cifar10/create_cifar10.sh

Caffe代码导读（4）：数据集准备相关推荐

1. Caffe代码导读（5）：对数据集进行Testing

   转载自: Caffe代码导读(5):对数据集进行Testing - 卜居 - 博客频道 - CSDN.NET http://blog.csdn.net/kkk584520/article/detail ...

2. Caffe代码导读（1）：Protobuf例子

   转载自: Caffe代码导读(1):Protobuf例子 - 卜居 - 博客频道 - CSDN.NET http://blog.csdn.net/kkk584520/article/details/4 ...

3. Caffe代码导读（0）：路线图

   转载自: Caffe代码导读(0):路线图 - 卜居 - 博客频道 - CSDN.NET http://blog.csdn.net/kkk584520/article/details/41681085 ...

4. Caffe代码导读（3）：LevelDB例程

   Caffe自带例子Cifar10中使用leveldb存储输入数据,为此我们研究一下怎样使用它.安装步骤可以参考http://blog.csdn.net/kangqing2003/article/det ...

5. Caffe代码导读（2）：LMDB简介

   闪电般的内存映射型数据库管理(LMDB) 简介 LMDB是基于二叉树的数据库管理库,建模基于伯克利数据库的应用程序接口,但做了大幅精简.整个数据库都是内存映射型的,所有数据获取返回数据都是直接从映射的 ...

6. Android工具HierarchyViewer 代码导读(3) -- 后台代码

   在上文中,我们讲解了如何把HierarchyViewer的项目导入到Eclipse中,以便更高效阅读代码.本文将讲解HierarchyViewer的后台代码,建议大家可以先阅读<Android工 ...

7. Python编写caffe代码

   有时候,我们需要将网络使用caffe代码实现,人工手写容易出问题.可以使用Python完成网络编写. 卷积层: def generate_conv_layer_no_bias(name, bottom ...

8. 语义级代码克隆检测数据集的评估与改进

   摘要:应用深度学习来检测语义代码克隆受到了研究界的广泛关注. 本文分享自华为云社区<语义级代码克隆检测数据集的评估与改进>,作者:软件分析Lab. 一.背景介绍 代码克隆检测[1]是软件工 ...

9. DirectFB代码导读

   DirectFB代码导读 转载时请注明出处和作者联系方式 作者联系方式:李先静 <xianjimli at hotmail dot com> DirectFB是一个庞大的系统,对它进行彻底 ...

最新文章

1. 用C/C++编写window服务
2. poj1061-青蛙的约会(拓展欧几里得java)
3. github怎么删除已经发布的Releases
4. 「软件项目管理」一文详解软件项目质量计划
5. NXP UWB NCJ29D5开发（二）BlinkyLed例程
6. 单链表（不带头结点）
7. centos7 如何使用ReaR进行系统备份（如何使用NFS方法设置ReaR备份）
8. 计算机科技兴趣小组活动总结,信息技术兴趣小组活动总结
9. ITIL4定义的四大价值维度
10. 视频压制探索与B站视频压制参数解析
11. AD16常用命令高效编辑命令
12. VTK（The Visualization Toolkit）加载stl模型
13. linux下php添加imap模块
14. Kafka入门教程（一）
15. Python官网主页改版 http://www.python.org/
16. STM32 四轴无人机的设计——基于HCSR04超声波模块的距离检测与警报设计
17. Github页面图片无法显示Github页面访问不了
18. 新东方雅思词汇(List 6 ~ List 10)
19. 2016百度之星 - 测试赛（热身，陈题）-列变位法解密（模拟）
20. Android 项目集成 Freeline

热门文章

1. Spring @Resource、@Autowired、@Qualifier区别
2. Writing Images to the Excel Sheet using PHPExcel--转载
3. Linux 进程管理剖析--转
4. 反欺诈评分模型之手机终端
5. Transformer-XL解读（论文 + PyTorch源码）
6. Hive和HBase
7. CAFFE学习笔记（一）Caffe_Example之训练mnist
8. 年终盘点：2015年人工智能的五大关键词
9. 实战并发编程 - 09多线程Guarded Suspension模式案例实战
10. Apache ZooKeeper - 使用Apache Curator操作ZK