【AI】caffe使用步骤（一）：将标注数据生成lmdb或leveldb

1、简述

caffe使用工具 convert_imageset 将标注数据转换成lmdb或leveldb格式，convert_imageset 使用方法可以参考脚本examples/imagenet/create_imagenet.sh。
convert_imageset 在./build/tools/中。

2、convert_imageset命令行参数

./build/tools/convert_imageset
convert_imageset: 将一组图像转换为leveldb/lmdb格式用为Caffe输入的格式。
用法:convert_imageset [参数] 保存图片的路径或图片列表 生成文件的名字Flags from tools/convert_imageset.cpp:-backend 选择生成的数据格式（lmdb, leveldb），默认是: "lmdb"-check_size 检查图片大小是否一致，默认不检查: false-encode_type 编码图片格式（jpg、png）-encoded 启用此选项后，已编码的图像将保存在数据中，默认是: false-gray 将图片视为灰度图片，默认是: false-resize_height 调整图片高度，默认是0，不调整-resize_width 调整图片宽度，默认是0，不调整-shuffle 随机打乱图片和标签的顺序，默认是: false

3、create_imagenet.sh脚本说明

#!/usr/bin/env sh
# Create the imagenet lmdb inputs
# N.B. set the path to the imagenet train + val data dirs
set -eEXAMPLE=examples/imagenet    # 保存生成lmdb的路径
DATA=data/ilsvrc12         # 标注文件路径
TOOLS=build/tools          # convert_imageset工具路径TRAIN_DATA_ROOT=examples/imagenet/train_data # 训练图片集路径
VAL_DATA_ROOT=examples/imagenet/val_data    # 验证图片集路径# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool. 是否调整图片大小
RESIZE=true
if $RESIZE; thenRESIZE_HEIGHT=256RESIZE_WIDTH=256
elseRESIZE_HEIGHT=0RESIZE_WIDTH=0
fiif [ ! -d "$TRAIN_DATA_ROOT" ]; thenecho "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \"where the ImageNet training data is stored."exit 1
fiif [ ! -d "$VAL_DATA_ROOT" ]; thenecho "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \"where the ImageNet validation data is stored."exit 1
fiecho "Creating train lmdb..."
# GLOG_logtostderr=1，设置环境变量GLOG_logtostderr，参考glog的使用方法
GLOG_logtostderr=1 $TOOLS/convert_imageset \--resize_height=$RESIZE_HEIGHT \--resize_width=$RESIZE_WIDTH \--shuffle \$TRAIN_DATA_ROOT \$DATA/train.txt \$EXAMPLE/ilsvrc12_train_lmdbecho "Creating val lmdb..."GLOG_logtostderr=1 $TOOLS/convert_imageset \--resize_height=$RESIZE_HEIGHT \--resize_width=$RESIZE_WIDTH \--shuffle \$VAL_DATA_ROOT \$DATA/val.txt \$EXAMPLE/ilsvrc12_val_lmdbecho "Done."

【AI】caffe使用步骤（一）：将标注数据生成lmdb或leveldb相关推荐

史上最强GAN被谷歌超越！标注数据少用90%，造假效果却更逼真
当前生成图像最逼真的BigGAN被超越了! 出手的,是谷歌大脑和苏黎世联邦理工学院.他们提出了新一代GAN:S³GAN. 它们生成的照片,都是真假难辨. 下面这两只蝴蝶,哪只更生动? 两张风景照片,哪 ...
ai项目实施步骤_停止AI产品开发中道德责任的6个步骤
ai项目实施步骤这是官方的:人工智能(AI)并不是我们想要成为的公正的天才. Google的母公司Alphabet(Alphabet)使用其最新的年度报告来警告称,对其产品的道德顾虑可能会损害未来的 ...
无需标注数据，利用辅助性旋转损失的自监督GANs，效果堪比现有最好方法
作者 | Ting Chen 译者 | 王红成出品 | AI科技大本营(ID:rgznai100) 本文作者提出了一种自检督方式的生成对抗网络,通过辅助性的旋转损失来达到目的.因为通常主流方法来生成 ...
预、自训练之争：谷歌说预训练虽火，但在标注数据上自训练更有效
公众号关注 "视学算法" 设为 "星标",重磅干货,第一时间送达! 来源 | 机器之心预训练是当前计算机视觉领域的主要范式,但何恺明等人先前的研究发现,预训练 ...
Caffe上训练使用自己的数据
Caffe上训练使用自己的数据 from: http://www.wjxfpf.com/2015/10/824918.html 接着上篇,上篇讲解了怎么在ubuntu下安装Caffe,如果一切没问题的 ...
【论文复现与改进】针对弱标注数据多标签矩阵恢复问题，改进后的MCWD算法，让你的弱标注多标签数据赢在起跑线上
改进后的MCWD算法,让你的弱标注多标签数据赢在起跑线上前言 MCWD算法算法展示算法改进实现代码实验结果总结前言最近刷完了李航老师的<统计学习与方法>,手痒到又想复现几个 ...
高效利用无标注数据：自监督学习简述
一只小狐狸带你解锁炼丹术&NLP 秘籍作者:huyber 来源:https://zhuanlan.zhihu.com/p/108906502 BERT的大热让自监督学习成为了大家讨论的热点 ...
拯救深度学习：标注数据不足下的深度学习方法
摘要:解决深度学习对数据的依赖问题和减少数据标注成本成为了业界的研究热点.本文将介绍以下几个研究方向:半监督/弱监督学习.数据合成.主动学习.自监督. 1. 引言得益于深度学习的发展,许多计算机视觉 ...
ChatGPT爆火出圈，高质量文本标注数据成关键
"2022年11月30日,OpenAI发布了ChatGPT--一个对话式AI,上线仅五天,注册用户数突破100万,爆火出圈,成为社会热议话题.截止今年1月末,ChatGPT的月活用户数量破亿 ...

【AI】caffe使用步骤（一）：将标注数据生成lmdb或leveldb

1、简述

2、convert_imageset命令行参数

3、create_imagenet.sh脚本说明

【AI】caffe使用步骤（一）：将标注数据生成lmdb或leveldb相关推荐

最新文章

热门文章