利用Caffe实现mnist的数据训练
阿里云的参考文档:https://help.aliyun.com/document_detail/49571.html
在文档里提供了caffe的一个案例,利用Caffe实现mnist的数据训练。准备的数据源可以在“深度学习案例代码及数据下载”页找到Caffe数据下载并解压。要训练自己的图片,还是遇到了不少的问题。
第一,下载图片集,主要参考点击打开链接http://www.cnblogs.com/denny402/p/5083300.html
第二,生成可用的图片列表清单文件。在examples下面创建一个myfile的文件夹,来用存放配置文件和脚本文件。然后编写一个脚本create_filelist.sh,用来生成train.txt和test.txt清单文件。
# sudo mkdir examples/myfile # sudo vi examples/myfile/create_filelist.sh
编辑此文件,写入如下代码,并保存
#!/usr/bin/env sh DATA=data/re/ MY=examples/myfile echo "Create train.txt..." rm -rf $MY/train.txt for i in 3 4 5 6 7 do find $DATA/train -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $i/">>$MY/train.txt done echo "Create test.txt..." rm -rf $MY/test.txt for i in 3 4 5 6 7 do find $DATA/test -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $i/">>$MY/test.txt done echo "All done"
然后,运行此脚本
# sudo sh examples/myfile/create_filelist.sh
成功的话,就会在examples/myfile/ 文件夹下生成train.txt和test.txt两个文本文件,里面就是图片的列表清单。
可以看到test.txt这个列表清单文件里保存的是图片的路径,为了能使用阿里的云服务器,把图片也上传到了oss,所以需要再编写一个脚本文件,将文件中的路径(test/)替换为在阿里云上图片存放的路径(imagestt/owndataset-classify/data-test/)
# sudo gedit examples/myfile/takeplace.sh
插入:
# /usr/bin/env sh MY=examples/myfileecho "Create takeplace_test.txt..."rm -rf $MY/takeplace_test.txt sed 's#test/#imagestt/owndataset-classify/data-test/#g' $MY/test.txt >>$MY/takeplace_test.txtecho "Done..."
takeplace_test.txt是替换路径后的txt文件,主要使用linux命令sed,参考上一篇博客: linux sed 批量替换字符串
运行这个脚本文件,生成 takeplace_test.txt文件 。
# sudo sh examples/myfile/takeplace.sh
第三,上传相应的图片集 data-test , 图片列表清单文件takeplace_test.txt ,训练所需的模型描述文件train_val.prototxt和超参数设置文件solve.prototxt。 其中,outputlist为空文件夹,作为输出oss目录, 如下图所示:
注意:这里的模型描述文件train_val.prototxt和超参数设置文件solve.prototxt,文件里的路径要修改,可参看阿里的文档。
第四,新建空白实验,再 选中格式转换组件-1,进行参数设置,
图片列表文件oss路径:oss://imagestt.oss-cn-shanghai-internal.aliyuncs.com/owndataset-classify/takeplace_test.txt
输出路径:oss://imagestt.oss-cn-shanghai-internal.aliyuncs.com/owndataset-classify/outputlist/
第五,可以直接点击运行了。
第六,拖一个Caffe组件,再选中组件,进行参数设置:oss://imagestt.oss-cn-shanghai-internal.aliyuncs.com/owndataset-classify/solver.prototxt
第七,右击caffe组件,执行到此处。
利用Caffe实现mnist的数据训练相关推荐
- Caffe下自己的数据训练和测试
在caffe提供的例程当中,例如mnist与cifar10中,数据集的准备均是通过调用代码自己完成的,而对于ImageNet1000类的数据库,对于高校实验室而言,常常面临电脑内存不足的尴尬境地.而对 ...
- 【caffe】mnist数据集lenet训练与测试
在上一篇中,费了九牛二虎之力总算是把Caffe编译通过了,现在我们可以借助mnist数据集,测试下Caffe的训练和检测效果. 准备工作:在自己的工作目录下,新建一个文件夹,命名为mnist_test ...
- Windows7 64bit VS2013 Caffe test MNIST操作步骤
在http://blog.csdn.net/fengbingchun/article/details/49849225中用Caffe对MNIST数据库进行训练,产生了model.下面介绍下如何将产生的 ...
- 利用 caffe的 python接口测试训练好的 mnist 模型
参考博客:https://blog.csdn.net/auto1993/article/details/70941440 在上一篇博客中已经训练好了 mnist 识别手写数字的模型,这篇博客就利用 c ...
- Caffe实践】如何利用Caffe训练ImageNet分类网络
Caffe实践]如何利用Caffe训练ImageNet分类网络 源文章:https://github.com/BVLC/caffe/tree/master/examples/imagenet 由于要使 ...
- 【caffe】使用自己的图像数据训练lenet并用opencv进行预测
前面已经介绍了使用使用mnist数据集进行训练lenet,并使用opencv加在caffemodel进行预测.更进一步也是最终的目的,还是要学会使用自己的数据集训练caffemodel并进行预测.这里 ...
- DL之DNN:自定义2层神经网络TwoLayerNet模型(封装为层级结构)利用MNIST数据集进行训练、预测
DL之DNN:自定义2层神经网络TwoLayerNet模型(封装为层级结构)利用MNIST数据集进行训练.预测 导读 计算图在神经网络算法中的作用.计算图的节点是由局部计算构成的. ...
- DL之DNN:自定义2层神经网络TwoLayerNet模型(封装为层级结构)利用MNIST数据集进行训练、GC对比
DL之DNN:自定义2层神经网络TwoLayerNet模型(封装为层级结构)利用MNIST数据集进行训练.GC对比 导读 神经网络算法封装为层级结构的作用.在神经网络算法中,通过将 ...
- 【深度域适配】二、利用DANN实现MNIST和MNIST-M数据集迁移训练
知乎专栏链接:https://zhuanlan.zhihu.com/p/109057360 CSDN链接:https://daipuweiai.blog.csdn.net/article/detail ...
最新文章
- [Dnode]基于Node.js给浏览器提供异步远程方法调用
- Lesson 12.1 深度学习建模实验中数据集生成函数的创建与使用
- C语言 | 基于51单片机实现MPU6050的卡尔曼滤波算法(代码类2)
- 类的加载过程一:Loading
- 《python网络数据采集》读后感 第六章:读取文档
- Windows 10 计算器全新升级,支持三角函数运算
- python学习之老男孩python全栈第九期_day024知识点总结——单继承、多继承
- 持久化存储技术之SharedPreferences存储
- 动态规划入门之最长公共子序列
- apt-get update出现NO_PUBKEY问题解决
- Ubuntu 改鼠标侧键为ctrl,并配合滚轮实现页面缩放
- 孩子沉迷网游 呼唤亲子陪伴教育
- Adversarial Machine Learning 经典算法解读(FGSM, DeepFool)
- wps服务器无响应是什么原因,windows10系统运行wps无响应的解决方案
- IT内部控制体系建设方案-从IT角度解读《企业内部控制规范》
- Tmall商品详情接口(商品列表接口,商品销量接口,app详情接口)代码对接教程
- Invalid vnode type when creating vnode: undefined. vue 3.2版本错误解决
- Java 8 Update 25 (8u25)
- 硅谷码农35岁危机:Java之父也找不到工作
- vue项目webpack打包优化体积优化,打包体积减少200kb到4Mb