Caffe︱构建lmdb数据集、binaryproto均值文件及各类难辨的文件路径名设置细解
Lmdb生成的过程简述
- 1、整理并约束尺寸,文件夹。图片放在不同的文件夹之下,注意图片的size需要规约到统一的格式,不然计算均值文件的时候会报错。
- 2、将内容生成列表放入txt文件中。两个txt文件,train训练文件、val测试文件。 Train里面就是你的分类了。
- 3、形成LMDB数据集。
- 4、形成训练集的均值文件。
整理并规约。一般情况下整理用数据增强的功能,一般用opencv,这块笔者还没有探究,所以先不说。
一、图片列表生成
图片内容变成列表。这个办法很多,很多软件都可以用,python、R、linux系统也可以。
其中如果出现,根据图片中的名字进行定位重命名的话,可以看一下博客:Caffe学习系列(11):图像数据转换成db(leveldb/lmdb)文件
该博客中教你用linux的命令通过抓取一些关键词,来生成列表。
生成列表的时候有这么几个问题?
- 1、txt列表时如何设置路径名?
列表生成的时候,前面要加的路径名该怎么写?网上关于生成列表的时候,前缀都是五花八门的,譬如有:
啥都不加的(参考:http://www.mamicode.com/info-detail-1338521.html)
前面加了一堆乱七八糟的(参考:http://www.voidcn.com/blog/garfielder007/article/p-5005545.html)
笔者作为一枚小白,瞬间蒙圈了…经过自己实践之后发现,路径名尽量少写,因为在后面编辑create_imagenet.sh文件的时候,可以设置。
所以一般情况下,比较方便的办法是:
如果是训练集需要多加一个分类路径;验证集就直接写图片名称即可。
譬如训练集为0/1两分类,则路径名称:
训练集:
0/pic1.jpg 0
1/pic2.jpg 1
...
测试集:
Pic3:jpg 0
Pic4.jpg 1
这样简单方便,即可达到效果。之后可以看编辑create_imagenet.sh时候,会跟这边有关联关系。
注意:Train.txt文件最好是以标签0的图片开始,作为第一张这样会比较好。
- 2、图片名称需要规范成统一的格式吗?
图片名称倒是没有严格规定,但是呢,有规定方便你日后查找。
二、利用create_imagenet.sh生成LMDB文件
Caffe中需要固定的格式,所以需要利用create_imagenet.sh生成LMDB文件。
create_imagenet.sh文件一般在/caffe/examples/imagenet之中,其中为一个imagenet案例,也可以借鉴看出里面如何修改。
1、文件修改
打开之后要修改地方有三块,说起来这些内容的修改,本来应该简单的吧…一看网上就傻眼了…各种版本,尼玛,又让我一顿蒙逼…
文件场景:譬如我现在在caffe/examples/lmdb_test/train文件夹下,放入了train图片训练文件夹(0/1分类)、val图片验证文件夹。然后把create_imagenet.sh复制到这个文件夹来。
这里有一个“难点”:我在train文件夹下放入train图片文件夹
- 修改部分一:数据、工具存放路径
EXAMPLE=/caffe/examples/lmdb_test/train # example是下面第三步、第四步要用的,注意~DATA=/caffe/examples/lmdb_test/train
#数据存在哪?图片集合所在路径trainTOOLS=/caffe/build/tools
#工具在哪?一般都在这个目录下,照抄就行
——数据路径存放位置,注意不是那么细致,跟第三部分生成LMDB文件对应起来,注意看!
- 修改部分二:训练、验证数据集存放路径
(跟“一、图片列表生成”有关)
TRAIN_DATA_ROOT=/caffe/examples/lmdb_test/train/train/(训练集路径)
VAL_DATA_ROOT=/caffe/examples/lmdb_test/train/val/(验证集路径)
——训练、验证集数据存放路径,而且每个路径下的val/后面的”/”一定要加上。
这一部分跟图片生成列表对应的,譬如我的train数据集:
/caffe/examples/lmdb_test/train/train/0/pic1.jpg 0
/caffe/examples/lmdb_test/train/train/1/pic2.jpg 1
验证集:
/caffe/examples/lmdb_test/train/val/Pic3:jpg 0
/caffe/examples/lmdb_test/train/val/Pic4.jpg 1
看到没,这一个部分跟文本列表是完美契合的!所以,前面在设置文本列表的txt时候,保持简洁即可。网上那么多版本又没有说明白的都尼玛坑人呀!!
- 修改部分三:LMDB文件生成路径
GLOG_logtostderr=1 $TOOLS/convert_imageset \--resize_height=$RESIZE_HEIGHT \
--resize_width=$RESIZE_WIDTH \
--shuffle \
$TRAIN_DATA_ROOT \$DATA/train.txt \$EXAMPLE/train_lmdbecho "Creating val lmdb..."GLOG_logtostderr=1 $TOOLS/convert_imageset \--resize_height=$RESIZE_HEIGHT \
--resize_width=$RESIZE_WIDTH \
--shuffle \
$VAL_DATA_ROOT \$DATA/val.txt \$EXAMPLE/val_lmdb
值得注意的就是$$EXAMPLE,$DATA部分,这里路径跟“修改部分一”对应。
$DATA/train.txt == /caffe/examples/lmdb_test/train/train.txt
一般默认,只要$DATA设置对了就没问题了,当然train.txt的文件名改动过了,就得仔细看看了呢
$EXAMPLE/train_lmdb == /caffe/examples/lmdb_test/train/train_lmdb
这里呢,主要就是生成LMDB文件夹,所以名字可以任意修改,前面$DATA部分,可不行!
- 额外需要修改部分四:
RESIZE=false
if $RESIZE; thenRESIZE_HEIGHT=256RESIZE_WIDTH=256
elseRESIZE_HEIGHT=0RESIZE_WIDTH=0
注意:这里RESIZE一般都是false关闭,就是不进行图片尺寸修改,这边如果需要进行图片修正需要打开。
这里一般都是需要统一成一样的size会比较好。
提问——RESIZE=TRUE时候,是否需要安装opencv?
答:不用,不是一个模块
2、文件运行并检查
Sh 或者来到文件夹直接./create_imagenet.sh即可。
如果这个数据包好了我们所有的训练图片数据,查一下这个文件的大小是否符合预期大小,如果文件的大小才几k而已,那么就代表你没有打包成功,估计是因为路径设置错误。
路径错误是主要错误,如果确定不是路径错误要排查数据,可能需要打开看看:可以参考博客:深度学习(十三)caffe之训练数据格式(http://www.voidcn.com/blog/garfielder007/article/p-5005545.html)
最终图,会出现Done:
3、报错
- -
报错一:
E0102 06:07:33.180974 3151 io.cpp:80] Could not open or find file /caffe/examples/lmdb_test/train/train/0/1376_faceimage49773.jpg
图片列表生成的时候,出错了,一些图片都没有匹配上…但是不影响整体的运行。
- -
报错二:
(2)Check failed: mkdir(source.c_str(), 0744) == 0 (-1 vs. 0) mkdir /caffe/examples/train/train_lmdb failed
参数写错了,回去再看看
-
报错三:
Mkdir(source.c_str(),0744)== 0(-1 vs. 0) mkdir examples/.../train_lmdb failed
因为自己的文件夹里面包含了这个名字的文件夹,生成不出来了。
参考博客:(原)caffe中通过图像生成lmdb格式的数据
4、h5py格式数据
Lmdb是一张图片一个标签,但是如果是人脸识别这样的,一张图片要输入4个,那么则需要使用h5py格式数据。
caffe使用h5py数据格式的话,需要自己在外部,进行数据扩充,数据归一化等相关的数据预处理操作,caffe比较麻烦。
暂不做深究,可参考博客:深度学习(十三)caffe之训练数据格式(http://www.voidcn.com/blog/garfielder007/article/p-5005545.html)
三、利用make_imagenet_mean.sh生成图片均值
为什么需要让图片减去均值呢?
- 概括来看:图像的稳定性(降低波动性),可以提高分类精度
- 而且减去均值一般会让亮度下降,但是亮度其实对图像分类来说,不那么重要。
- 另外一般会选择对数据进行标准化处理,但是计算图像方差是么有意义的,所以何不选择更加简单的均值规整的办法。
观点参考博客:深度学习—–数据预处理(http://blog.csdn.net/dcxhun3/article/details/47999281)
- **注意一:**make_imagenet_mean.sh设置跟之前的create_imagenet.sh原理一样,但是有一点要了解,均值文件只是针对训练集的,不针对验证集!
- **注意二:**create_imagenet.sh是在LMDB文件之上计算均值的,并不是在原始图像上。
1、make_imagenet_mean.sh文件修改
EXAMPLE=/caffe/examples/lmdb_test/train
DATA=/caffe/examples/lmdb_test/train
TOOLS=/caffe/build/tools
–以上三个,中间的DATA尤其注意,这个文件里面的DATA是存放均值文件的路径,所以可以稍微随意一些
$TOOLS/compute_image_mean $EXAMPLE/train_lmdb \$DATA/imagenet_mean.binaryproto
–这里要小心,
$EXAMPLE/train_lmdb == /caffe/examples/lmdb_test/train/train_lmdb
这里的EXAMPLE是需要你的训练集LMDB路径
$DATA代表的是生成均值文件的目录,而且文件名字你可以随便修改,存放路径可以随意一些。
之后跟之前一样运行即可。
2、mean.binaryproto转mean.npy
使用Caffe的C++接口进行操作时,需要的图像均值文件是pb格式,例如常见的均值文件名为mean.binaryproto;但在使用Python接口进行操作时,需要的图像均值文件是numpy格式,例如mean.npy。所以在跨语言进行操作时,需要将mean.binaryproto转换成mean.npy
(参考博客:Caffe学习系列——工具篇:计算数据集的图像均值)
3、报错
报错一:
Check failed: size_in_datum == data_size (332667 vs. 17787) Incorrect data field size 332667
均值文件尺寸出现不匹配,说明你的图片尺寸没有统一,没有统一的话就会出现这样的报错。
详情可见博客: caffe实际运行中遇到的问题(持续更新
解决办法:生成LMDB的阶段resize=TRUE,笔者亲测,可用!!
参考博文:
1、CAFFE学习笔记(四)将自己的jpg数据转成lmdb格式(http://lib.csdn.net/article/deeplearning/55138)
2、(原)caffe中通过图像生成lmdb格式的数据(http://www.cnblogs.com/darkknightzh/p/5909121.html)
Caffe︱构建lmdb数据集、binaryproto均值文件及各类难辨的文件路径名设置细解相关推荐
- caffe生成lmdb数据集的脚本
#!/usr/bin/env sh set -eEXAMPLE=/home/hadoop/桌面/caffe_study/more_eyes DATA=/home/hadoop/桌面/caffe_stu ...
- caffe lmdb数据集的制作
我也参考了别人的文章,其实也算不上原创,只是自我感觉能从头到尾的走一遍挺好的. lmdb数据集的制作 以imagenet数据集为例,我们只制作label范围为[0-10)的数据集,这个只是为了演示如何 ...
- 【caffe】mnist数据集lenet训练与测试
在上一篇中,费了九牛二虎之力总算是把Caffe编译通过了,现在我们可以借助mnist数据集,测试下Caffe的训练和检测效果. 准备工作:在自己的工作目录下,新建一个文件夹,命名为mnist_test ...
- 实践详细篇-Windows下使用VS2015编译的Caffe训练mnist数据集
上一篇记录的是学习caffe前的环境准备以及如何创建好自己需要的caffe版本.这一篇记录的是如何使用编译好的caffe做训练mnist数据集,步骤编号延用上一篇 <实践详细篇-Windows下 ...
- 清华构建新一代数据集NICO,定义图像分类新标准
2020-08-15 01:59:36 每件事物的出现都有它各自的使命,我们今天提数据集就不得不提到ImageNet,ImageNet数据集及其它推动的大规模视觉比赛对人工智能特别是计算机视觉领域的巨 ...
- ArcGIS网络分析之构建网络分析数据集(一)
说明: 1. 本文主要用于演示网络分析服务的搭建过程.所以在此不会深入讨论网络分析服务的每一个细节,本文的目的就是让初学者学会使用网络分析服务进行基本的分析(主要针对后续的WEB开发):路径分析,最近 ...
- [caffe(一)]使用caffe训练mnist数据集
1.数据集的下载与转换 1)我们在mnist数据集上做测试,MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris ...
- caffe 提取LMDB时可能出现的错误
在深度学习的实际应用中,我们经常用到的原始数据是图片文件,如jpg,jpeg,png,tif等格式的,而且有可能图片的大小还不一致.而在caffe中经常使用的数据类型是lmdb或leveldb,因此就 ...
- 构建AIDA-CoNLL数据集操作指南
操作指南 介绍 操作流程 下载基础文件 构建CoNLL2003 构建AIDA-CoNLL 参考 介绍 AIDA-CoNLL也称AIDA CoNLL-YAGO,是实体消歧和实体链接常用的公共数据集, ...
最新文章
- 常用的几种大数据架构剖析
- SSM+Maven整合时在Eclipse中使用Mybatis逆向工程自动生成代码
- Eclipse中导入外部jar包
- RTX3090深度学习环境配置(PyTorch1.8)
- 单招计算机专业考多少分可以录取,单招考多少分能过?单招分数线
- 【渝粤题库】广东开放大学 文化市场营销 形成性考核 (2)
- 百度EasyDL深度学习实战营,免费教你转型AI工程师!
- python嵌套字典的建立_python – 从Pandas DataFrame创建复杂的嵌套字典
- 2012-01-17-03
- android跳转到相册需要权限,Android打开相册获取图片路径
- js 浅拷贝(浅复制、浅克隆)、深拷贝(深复制、深克隆)
- 5.3输入两个正整数m和n,求其最大公约数和最小公倍数。
- 秀米推文添加附件的方法
- MySQL 出现数据库表被锁解决方案
- 内部排序(五)快速排序(上)- 概述与选择枢轴
- JFrame的使用方法
- 如何显示文件后缀名(来源 百度)
- java 文件去除扩展名_在Java中删除文件扩展名
- C语言:基础知识(整型常量,实型常量)
- 汽车融资租赁借助君子签,实现业务合同电子化,风控智能化