图像转换成lmdb格式
在深度学习的实际应用中,我们经常用到的原始数据是图片文件,如jpg,jpeg,png,tif等格式的,而且有可能图片的大小还不一致。而在caffe中经常使用的数据类型是lmdb或leveldb,因此就产生了这样的一个问题:如何从原始图片文件转换成caffe中能够运行的db(leveldb/lmdb)文件?
在caffe中,作者为我们提供了这样一个文件:convert_imageset.cpp,存放在根目录下的tools文件夹下。编译之后,生成对应的可执行文件放在 buile/tools/ 下面,这个文件的作用就是用于将图片文件转换成caffe框架中能直接使用的db文件。
该文件的使用格式:
convert_imageset [FLAGS] ROOTFOLDER/ LISTFILE DB_NAME
需要带四个参数:
FLAGS: 图片参数组,后面详细介绍
ROOTFOLDER/: 图片存放的绝对路径,从Linux系统根目录开始
LISTFILE: 图片文件列表清单,一般为一个txt文件,一行一张图片
DB_NAME: 最终生成的db文件存放目录
如果图片已经下载到本地电脑上了,那么我们首先需要创建一个图片列表清单,保存为txt
本文以caffe程序中自带的图片为例,进行讲解,图片目录是 example/images/, 两张图片,一张为cat.jpg, 另一张为fish_bike.jpg,表示两个类别。
我们创建一个sh脚本文件,调用linux命令来生成图片清单:
# sudo vi examples/images/create_filelist.sh
编辑这个文件,输入下面的代码并保存
# /usr/bin/env sh DATA=examples/images echo "Create train.txt..." rm -rf $DATA/train.txt find $DATA -name *cat.jpg | cut -d '/' -f3 | sed "s/$/ 1/">>$DATA/train.txt find $DATA -name *bike.jpg | cut -d '/' -f3 | sed "s/$/ 2/">>$DATA/tmp.txt cat $DATA/tmp.txt>>$DATA/train.txt rm -rf $DATA/tmp.txt echo "Done.."
这个脚本文件中,用到了rm,find, cut, sed,cat等linux命令。
rm: 删除文件
find: 寻找文件
cut: 截取路径
sed: 在每行的最后面加上标注。本例中将找到的*cat.jpg文件加入标注为1,找到的*bike.jpg文件加入标注为2
cat: 将两个类别合并在一个文件里。
最终生成如下的一个train.txt文件:
cat.jpg 1 fish-bike.jpg 2
当然,图片很少的时候,手动编写这个列表清单文件就行了。但图片很多的情况,就需要用脚本文件来自动生成了。在以后的实际应用中,还需要生成相应的val.txt和test.txt文件,方法是一样的。
生成的这个train.txt文件,就可以作为第三个参数,直接使用了。
接下来,我们来了解一下FLAGS这个参数组,有些什么内容:
-gray: 是否以灰度图的方式打开图片。程序调用OpenCV库中的imread()函数来打开图片,默认为false
-shuffle: 是否随机打乱图片顺序。默认为false
-backend:需要转换成的db文件格式,可选为leveldb或lmdb,默认为lmdb
-resize_width/resize_height: 改变图片的大小。在运行中,要求所有图片的尺寸一致,因此需要改变图片大小。 程序调用opencv库的resize()函数来对图片放大缩小,默认为0,不改变
-check_size: 检查所有的数据是否有相同的尺寸。默认为false,不检查
-encoded: 是否将原图片编码放入最终的数据中,默认为false
-encode_type: 与前一个参数对应,将图片编码为哪一个格式:‘png','jpg'......
好了,知道这些参数后,我们就可以调用命令来生成最终的lmdb格式数据了
由于参数比较多,因此我们可以编写一个sh脚本来执行命令:
首先,创建sh脚本文件:
# sudo vi examples/images/create_lmdb.sh
编辑,输入下面的代码并保存
#!/usr/bin/en sh DATA=examples/images rm -rf $DATA/img_train_lmdb build/tools/convert_imageset --shuffle \ --resize_height=256 --resize_width=256 \ /home/xxx/caffe/examples/images/ $DATA/train.txt $DATA/img_train_lmdb
设置参数-shuffle,打乱图片顺序。设置参数-resize_height和-resize_width将所有图片尺寸都变为256*256.
/home/xxx/caffe/examples/images/ 为图片保存的绝对路径。
最后,运行这个脚本文件
# sudo sh examples/images/create_lmdb.sh
就会在examples/images/ 目录下生成一个名为 img_train_lmdb的文件夹,里面的文件就是我们需要的db文件了。
图像转换成lmdb格式相关推荐
- 数据集转换成LMDB格式
文章来源https://www.cnblogs.com/dengshunge/p/10841108.html略加修改和补充. 介绍两种LMDB格式数据集的生成,一种是自己的数据集,一种是下载wider ...
- SSD学习系列(二)LMDB概念以及将VOC数据集转换成LMDB格式
LMDB概念 接上一篇,将SSDa caffen框架代码编译通过后y,接下来就可以利用其脚本将标注好的VOC格式数据集转换成LMDB格式,以便开始SSD模型训练. LMDB是Lightning Mem ...
- 将jpg图像转换成yuv420p格式
二进制读取: https://blog.csdn.net/nie2314550441/article/details/48163269 https://blog.csdn.net/smallflyin ...
- python使用openCV加载图像、并将BGR格式转换成HSV格式、定义HSV格式中需要分离颜色的掩码(掩模)区间(mask)、并使用mask信息进行颜色分离、BGR格式的图像转化为RGB、并可视化
python使用openCV加载图像.并将BGR格式转换成HSV格式.定义HSV格式中需要分离颜色的掩码(掩模)区间(mask).并使用mask信息进行颜色分离.将BGR格式的图像转化为RGB.可视化 ...
- Python 如何把图像转换成video (avi)格式?
Python 如何把图像转换成video (avi)格式? import cv2 def image_to_video(image_dir, save_dir, size: tuple, fps=10 ...
- 基于C++的 将BMP位图转换成JPG格式图像
VC++ 将BMP位图转换成JPG格式图像,源码中同时包括了自定义控件的源码. 项目源代码: 操作步骤:运行程序前,首先将源程序附带的"JPGXControl1.ocx"文件拷贝到 ...
- 将.mat格式的高光谱图像转换成png或jpg格式
将.mat格式的高光谱图像转换成png或jpg格式 使用MATLAB打开.mat文件,并读取高光谱图像数据. 如果高光谱图像数据为三维矩阵,将其转置为(宽度,高度,波段数)的形式.这是因为MATLAB ...
- caffe将图像数据转换成lmdb文件
一.caffe安装 安装步骤:https://blog.csdn.net/yql_617540298/article/details/82718889 二.caffe将图像数据转换成lmdb文件 之前 ...
- Linux终端上如何将图像转换成 ASCII 艺术
想在 Linux 终端中做一些有趣的事情吗?把一张普通的图片转换成 ASCII 艺术怎么样?来看一下. 想在 Linux 终端中做一些有趣的事情吗?把一张普通的图片转换成 ASCII 艺术怎么样? 你 ...
- python读取lmdb文件_python将图片转成lmdb格式
about 本文参考了 在开始前... 先说说几处坑: 虽然安装了caffe,但是 import lmdb 出现error.StackOverflow上的同学们讨论说,要装一个lmdb 2 于是开始装 ...
最新文章
- 海思3559A上编译OpenCV4.1.0源码操作步骤
- 安卓收藏功能怎么实现_收藏!微信群接龙功能怎么操作?
- linux下创建用户及组
- 计算机教育日志,信息技术日志1
- 使用rancher创建负载均衡服务
- halcon get_image_pointer1获取图像指针
- 【POJ - 2631】Roads in the North (树的直径,模板)
- centos-安装ifconfig
- v-html解析的相对地址img 显示不出来_还不懂java类加载机制的,建议看下这份阿里技术官总结的笔记!...
- java编译不报错但运行啥都没_java编译时与运行时概念与实例详解
- AcWing 4241. 货物运输
- 音频传输中的I2S协议
- 基于ssm的仓库管理系统
- HTML5 高频面试题!!!
- 关于jqui datepicker 使用enter选择日期后 点击input 没有打开日期控件问题
- 微信小游戏上线发布全流程详解
- Win10 将 Bookmarks 的书签恢复到 Chrome
- 知乎周源微信_每周源代码34-F#的兴起
- android数据格式化,手机格式化了?教你找回安卓手机误删数据
- 我的世界热力膨胀JAVA_我的世界1.12-1.6.4热力膨胀 Thermal Expansion Mod下载
热门文章
- 2019第十二届全国大学生信息安全竞赛部分WriteUp
- 逆向爬虫19 Scrapy增量式和分布式
- 服务器主机自建的私有云盘,360路由器搭建私有云主机(360路由器加硬盘自建nas)...
- 解读 | 自监督视觉特征学习综述
- vagex挂机php,免费Docker容器来挂机Vagex赚美刀
- 看LIVALL智能头盔是如何借助Google广告和YouTube实现海外众筹“冷启动“?
- Spring Security系列教程16--基于持久化令牌方案实现自动登录
- EntityWrapper
- 交流电路计算方法:复阻抗和相量法
- c语言 请编程序将 China 译成密码,分别用putchar和printf函数输出这5个字符