【caffe-Windows】以mnist为例lmdb格式数据
前言
前面介绍的案例都是leveldb的格式,但是比较流行和实用的格式是lmdb,原因从此网站摘取
- 它们都是键/值对(Key/Value Pair)嵌入式数据库管理系统编程库。
- 虽然lmdb的内存消耗是leveldb的1.1倍,但是lmdb的速度比leveldb快10%至15%,更重要的是lmdb允许多种训练模型同时读取同一组数据集。
- 因此lmdb取代了leveldb成为Caffe默认的数据集生成格式。
以下步骤均为在E:\CaffeDev-GPU\caffe-master下实施
第一步
确保路径E:\CaffeDev-GPU\caffe-master\examples\mnist下存在从mnist官网下载的四个文件,我在mnist下新建了一个mnist文件夹,把文件丢进去了
并在E:\CaffeDev-GPU\caffe-master\examples\mnist文件夹下新建bat文件创建训练集create_minist_trainlmdb.bat,内容如下:
E:\CaffeDev-GPU\caffe-master\Build\x64\Debug\convert_mnist_data.exe ./mnist/train-images-idx3-ubyte ./mnist/train-labels-idx1-ubyte ./mnist_train_lmdb
pause
接下来创建测试集create_minist_testlmdb.bat,内容如下:
E:\CaffeDev-GPU\caffe-master\Build\x64\Debug\convert_mnist_data.exe ./mnist/t10k-images-idx3-ubyte ./mnist/t10k-labels-idx1-ubyte ./mnist_test_lmdb
pause
或者跟我们前面建立leveldb一样,建立一个bat,内容如下:
set DATA=../../data/mnist
set TOOLS=../../Build/x64/DebugREM set BACKEND=leveldb
set BACKEND=lmdbecho "Creating %BACKEND%..."rd /s /q "mnist_train_%BACKEND%"
rd /s /q "mnist_test_%BACKEND%""%TOOLS%/convert_mnist_data.exe" %DATA%/train-images-idx3-ubyte %DATA%/train-labels-idx1-ubyte mnist_train_%BACKEND% --backend=%BACKEND%
"%TOOLS%/convert_mnist_data.exe" %DATA%/t10k-images-idx3-ubyte %DATA%/t10k-labels-idx1-ubyte mnist_test_%BACKEND% --backend=%BACKEND%echo "Done."pause
第二步
运行建立训练集的bat,出现我们的第一个问题
原因在于内存问题,打开caffe.sln,然后修改convert_mnist_data.cpp第101行
原始值设置内存为1T,然而我们的内存并没这么大,所以改小一点,差不多100M多一点吧
改完以后重新编译此cpp文件,然后再去运行前面建立训练集和测试集的bat文件
第三步
运行create_minist_trainlmdb.bat会出现
如果你原来有mnist_train_lmdb这个文件夹记得删掉,否则会出现
因为我们写bat的时候并未检测这个文件夹是否存在,只是想单纯建立这个文件夹,用来存lmdb数据,所以会出现mkdir应该就是make dir失败。
如果我们使用第三个bat就不会出现这个问题了,一目了然
【caffe-Windows】以mnist为例lmdb格式数据相关推荐
- caffe学习之conver_imageset.bin的使用方法,caffe下图片转lmdb格式类型数据总结
第一步: 这一步是前提(务必做到这一步后,再操作后面的) 首先:对于像我这样的初学者,对Linux指令相当不熟悉,不过没关系,推荐一个Linux快速入门的学习网站 http://www.runoob. ...
- 【目标检测实战】目标检测实战之一--手把手教你LMDB格式数据集制作!
文章目录 1 目标检测简介 2 lmdb数据制作 2.1 VOC数据制作 2.2 lmdb文件生成 lmdb格式的数据是在使用caffe进行目标检测或分类时,使用的一种数据格式.这里我主要以目标检测为 ...
- caffe windows 训练自己的图片数据
caffe训练自己的数据分为四步: 1.图片数据集准备 2.网络训练所需数据格式 lmdb / leveldb 转换 3.图像均值文件计算 4.网络训练 具体过程如下: 一.图片数据集准备 图片数据收 ...
- 数据集转换成LMDB格式
文章来源https://www.cnblogs.com/dengshunge/p/10841108.html略加修改和补充. 介绍两种LMDB格式数据集的生成,一种是自己的数据集,一种是下载wider ...
- 【KNIME经验】兼容读取多种日期格式数据
KNIME相关视频教程,请移步B站,搜索"星汉长空",多谢支持! 背景:当我们使用KNIME的数据读取节点,读入多种数据格式文件(Excel,csv,txt,json等等)当中的日 ...
- windows下caffe+CPUOnly实现MNIST手写分类
工具下载 微软官方移植的Caffe:https://github.com/Microsoft/caffe 对属性表的操作 需要把实例属性表的后缀改成vs可用的.props 打开同一个文件夹下的Caff ...
- 【Caffe学习01】在Caffe中trian MNIST
在上次搭建好Caffe环境的基础上我们进行第一次实验,将Caffe自带的一个Mnist example跑一跑,对其在处理图像方面的能力有个初步了解. 如果还没有搭建好环境的朋友可以看看我的上一篇文章: ...
- Caffe概览及mnist数据集训练
1. Caffe目录结构 data/用于存放下载的训练数据 docs/ 帮助文档 examples/ 代码样例 matlab/ MATLAB接口文件 python/ PYTHON接口文件 models ...
- Caffe将自己的文件生成lmdb
参考网站: http://www.cnblogs.com/darkknightzh/p/5909121.html (linux下) http://www.mamicode.com/info-detai ...
最新文章
- Java常用软件教程
- sql中的indexof,函数介绍
- Linux---Google Chrome的安装
- Django model中的 class Meta 详解
- SpringBoot2.x Nacos RocketMQ 事务消息
- citra 图形设置_TinkerTool System 6 for Mac(系统深度设置维护工具)
- 【华为云技术分享】探索软件复杂性简洁之道
- python图例重复显示_python – 具有两个标记的多行的自定义图例,用于相同的文本...
- java拉起服务,从Java调用Restful服务
- 宝塔控制面板配置Nginx 安全证书
- 《算法设计》求单峰数组
- 抖音自动清关注服务器,各位有保留抖音自动关注的代码吗
- 中职c语言课程教学标准,C语言课程标准.doc
- java——15位身份证号码升级到18位
- 苹果电脑上堪称神器的几款软件
- CE游戏修改器制作游戏修改器傻瓜教程
- 基于STM32f407的TSL2561模块的使用
- c语言中用梯形法求定积分
- ae渲染存在偏移_E3依旧是最好选择.千元游戏渲染主机该如何搭配
- Survey on Human pose estimation
热门文章
- oracle缺失值表示,Oracle SQL,用最接近的非缺失填充缺失值
- php展示pdf文件内容,php网页展示pdf 问题
- 棋盘里的数学(qduoj 记忆化搜索)
- php查找txt文件是否有,php怎么查询txt文件是否存在
- python程序员专用壁纸_代码没写完,哪里有脸睡觉!17 张程序员壁纸推荐
- 51NOD 1006 最长公共子序列 Lcs 动态规划 DP 模板题 板子
- 数据结构-二叉树的非递归遍历
- 一个基于用户的API限流策略 Rate Limit
- 八、梯度下降法和拟牛顿法
- 机器学习中的无监督学习_无监督机器学习中聚类背后的直觉