mxnet学习记录【1】
由于caffe依赖性太多,配置极其复杂,所以将接下来的学习转向mxnet.因此本文主要记录我的学习历程,如果描述有什么问题,欢迎大家的指正。
mxnet的优点很明显,简洁灵活效率高 ,多机多卡支持好。
mxnet的github下载链接:https://github.com/dmlc/mxnet/
mxnet的开发文档链接:http://mxnet.readthedocs.org/en/latest/build.html
开发文档清晰易读,包含安装、语法、示例等,并且还在不断丰富当中
目录
- 目录
- 1- linux下安装mxnet和python接口配置
- 2- 如何将训练图片转换格式并送入网络
- 3- 构建一个网络模型
- 4- 开始训练
- 未完待续
1- linux下安装mxnet和python接口配置
mxnet可以安装到linux、OSX和windows下。由于windows下配置相对较为复杂,故这里选择安装在linux下。 具体我的linux版本为64位的ubuntu14.04LTS,之前使用ubuntu15时发现不是很稳定。还有,这里我是在笔记本上安装的,因此没有安装CUDA、CUDNN之类的GPU管理程序。
mxnet支持在线安装,在终端中单步依次执行以下代码:
sudo apt-get update
sudo apt-get install -y build-essential git libatlas-base-dev libopencv-dev
git clone --recursive https://github.com/dmlc/mxnet
cd mxnet; make -j4
python接口的配置:
mxnet目前主要支持python、R和Julia这3种接口。我选择了相对熟悉的python。
mxnet要求2.7及以上版本的python和numpy库,一般linux都自带python编译器,因此我们只需要再检查一下是否缺少numpy库。可以直接输入下面的numpy安装代码:
sudo apt-get install python-numpy
上面处理完成之后可以尝试一下能否运行官方提供的一个案例:在mnist数据集上训练一个多层感知器MLP。
python mxnet/example/image-classification/train_mnist.py
如果之前配置过GPU(如何配置可以参考官方文档),可以尝试用GPU测试一下网络:
python mxnet/example/image-classification/train_mnist.py --network lenet --gpus 0
注意:上述过程完成后,直接在python中执行以下代码(如 import mxnet as mx)可能会提示“no module named ”,这可能是因为未添加路径导致的。可以通过单步依次执行下面代码解决:
// ~表示我的mxnet安装在home下面
export PYTHONPATH=~/mxnet/python
cp -r ~/mxnet/python/mxnet .
cp ~/mxnet/lib/libmxnet.so mxnet/
2- 如何将训练图片转换格式并送入网络
就好像在caffe中训练模型之前要现将训练图片转化为leveldb或者LMDB格式数据一样,mxnet在训练之前也要先将图片转化为REC格式的数据。
这里直接记录转换过程,后续会详细讲解REC数据格式的编码以及最终如何将REC格式数据再加载到网络当中。
linux下转换使用的工具是mxnet/bin下名为“im2rec”的可执行文件,该文件的源码可以查看mxnet/tools/im2rec.cc
首先,来说明以下im2rec这个转换工具有哪些输入参数:
首先是必须输入的3个参数,依次是
image_lst: //保存图片和标签信息的文本的名字image_root_dir://图片的存放路径output_rec://转换后的.rec格式文件的存放路径
可选的输入参数有:
label_width://标签个数,默认为1,即每个图片只有一个标签resize: //默认为-1,即不调整图片尺寸。否则将图片的较短边的长度调整为resize大小,另一边按比例调整%%例如图片尺寸为300*200,resize=100,那么调整之后图片尺寸为150*100.quality: //JPEG编码质量,默认为80。输入范围为1-100.(mxnet转换数据时是编码存储的)center_crop: //默认为0,if(center_crop),则将图片以中心裁剪为正方形。注意:只有if(resize>0)成立时,该参数才有效。nsplit://默认为1,用于将部分图片进行转换,按照位置将image_lst中的图片分成nsplit个part%%注意,这里只是大概平分,例如12个训练图片,nsplit=3,实际分块为5+4+3,而不是预想中的4+4+4.(关于这一点我也还没搞明白)part: //默认为0,用于将部分图片进行转换。和nsplit结合使用,可以只转换nsplit中的第part个分块
这里举一个实际应用的例子
(1)首先是保存图片和标签信息的文本,这里我的文件是train.txt.
编号 标签 图片名
1 0 FY2D1.bmp
2 1 FY2E1.bmp
3 0 FY2D2.bmp
4 1 FY2E2.bmp
(2)为了方便运行和调整参数,这里写了一个类似于windows批处理命令一样的可执行文件,来调用im2rec。这里我的可执行文件名为convert.sh,训练图片存储于data文件夹,转换后的结果保存到当前文件夹下,命名为train.rec
#!/bin/sh
/home/zfan/mxnet/bin/im2rec train.txt data/ train.rec quality=90 resize=1000
(3)打开终端,cd到convert.sh所在文件夹,输入 ./convert.sh 回车。运行提示如下:
[15:44:19] tools/im2rec.cc:54: New Image Size: Short Edge 1000
[15:44:19] tools/im2rec.cc:76: Write to output: train.rec
[15:44:19] tools/im2rec.cc:78: Output: train.rec
[15:44:19] tools/im2rec.cc:86: JPEG encoding quality: 90
[15:44:19] tools/im2rec.cc:160: Total: 4 images processed, 0.166033 sec elapsed
迭代器-将转换后的数据送入网络:
总体来说,开始一项训练,需要3个部分:训练参数、网络模型和训练数据。在上一小节,我已经详细介绍了如何将原始图片数据转化为mxnet可以接受的REC格式数据。但是,实际训练的时候我们还需要一个工具来将REC数据送入我们的训练网络中。这个工具就是“迭代器”-iterator
mxnet为我们提供了快速构建迭代器的函数ImageRecordIter,该函数位于python/mxnet/io.py中,其返回一个迭代器对象。或者可以在python命令窗中键入以下命令来获取io函数的位置以及说明:
import mxnet as mx
help(mx.io)
#或者输入help(mx.io.ImageRecordIter)来直接查看迭代器的参数说明
接下来说明ImageRecordIter的几个常用参数:(更多的参数可以通过上面的help查看)
path_imgrec:rec图像数据的存储路径;string型数据;默认为'./data/imgrec.rec'data_shape:迭代器产生的每一个实例的形状,即图片数据的形状;元组型数据;必选参数mean_img:图像均值文件的存放路径;string型数据;默认为空batch_size:batch的大小;int型数据;必选参数shuffle:是否打乱数据;布尔型数据;默认为False;mirror:是否对图片执行镜像操作;布尔型数据;默认为False;rand_mirror:是否随机地对图片执行镜像操作;布尔型数据;默认为False;rand_crop:是否随机地对图片执行剪切操作;布尔型数据;默认为False;label_width:图片的标签个数;int型数据;默认为1mean_r、 mean_g、 mean_b:3个颜色通道的均值;float型数据;默认为0num_parts:将训练数据分为几份;int型数据;默认为1part_index:第几部分数据将会被读取;int型数据;默认为0
接下来以实例来说明怎样构建迭代器,该例子位于example/image-classification/train_imagenet.py中
#分别为训练数据和验证数据各构建一个迭代器
def get_iterator(args, kv):train = mx.io.ImageRecordIter(path_imgrec = args.data_dir + "train.rec",mean_img = args.data_dir + "mean.bin",data_shape = data_shape,batch_size = args.batch_size,rand_crop = True,rand_mirror = True,num_parts = kv.num_workers,part_index = kv.rank)val = mx.io.ImageRecordIter(path_imgrec = args.data_dir + "val.rec",mean_img = args.data_dir + "mean.bin",rand_crop = False,rand_mirror = False,data_shape = data_shape,batch_size = args.batch_size,num_parts = kv.num_workers,part_index = kv.rank)return (train, val)
3- 构建一个网络模型
一个网络模型是一层一层连接器来的,因此想要构建一个网络模型,首先我们得知道mxnet中都有哪些可以用的层。(以下按照使用频率来排序)
下面介绍一些比较常用的层,更多的层大家可以在python命令窗执行以下代码来查询
import mxnet as mx
help(mx.symbol)
(1)Activation:激活函数
data: 输入数据,symbol型变量act_type: {'relu', 'sigmoid', 'tanh'}, 可选的3种激活函数
(2)Convolution:卷积层
data:输入数据,symbol型变量
weight:权重矩阵,symbol型变量
bias:偏置,symbol型变量
kernal:卷积核的尺寸(y,x),二维tuple型变量
stride:卷积步长(y,x),二维tuple型变量,默认为(1,1)
pad:卷积的填补量(y,x),二维tuple型变量,默认为(0,0)
num_filter :卷积滤波器(通道)个数,int型变量
no_bias :是否取消偏置,布尔型变量,默认为False
num_group:groups划分的个数,int型变量,默认为1.该选项不被CUDNN所支持, you can use SliceChannel to num_group,apply convolution and concat instead to achieve the same need.
workspace:卷积的Tmp工作空间的大小MB。long型变量,默认为512
(3)Deconvolution:反卷积层
参数同卷积层一致
(4)Dropout:
data:输入数据,symbol型变量
p : 训练时对输入数据进行dropped out的比例,float型变量,默认为0.5
(5)Flatten:将N维数据变为1维
data:输入数据,symbol型变量
name : string, optional. Name of the resulting symbol.
(6)FullyConnected:全连接层
data:输入数据,symbol型变量
weight:权重矩阵,symbol型变量
bias:偏置,symbol型变量
no_bias :是否取消偏置,布尔型变量,默认为False
num_hidden:输出隐藏节点的个数,int型变量
(7)LRN:
data:输入数据,symbol型变量
alpha : float, optional, default=0.0001.value of the alpha variance scaling parameter in the normalization formula
beta : float, optional, default=0.75.value of the beta power parameter in the normalization formula
knorm : float, optional, default=2.value of the k parameter in normalization formula
nsize : int (non-negative), required.normalization window width in elements.
(8)Pooling
data:输入数据,symbol型变量
kernal:pooling核的尺寸(y,x),二维tuple型变量
stride:pooling步长(y,x),二维tuple型变量,默认为(1,1)
pad:pooling的填补量(y,x),二维tuple型变量,默认为(0,0)
pool_type : pooling的类型,可选的3种{'avg', 'max', 'sum'}
(9)SoftmaxOutput:使用logloss进行BP
data:输入数据,symbol型变量
grad_scale : 为梯度乘以一个比例系数,float型变量,默认为1
multi_output : 布尔型变量,默认为False# If set to true, for a (n,k,x_1,..,x_n) dimensionalinput tensor, softmax will generate n*x_1*...*x_n output, eachhas k classes
(10)Variable:定义一个symbol型变量
name : 变量的名字,str型变量
attr : dict of string -> string.Additional attributes to set on the variable.
mxnet/example/image-classification文件夹下以symbol开头的几个.py文件都是定义好的网络模型。我们可以任意打开一个来具体了解一下如何构建一个网络。
有一点需要注意的是:mxnet中通常要在卷积层和全连接层之间价加一个Flatten层用于衔接
4- 开始训练
首先,来总结一下我们现在都有了什么:保存网络模型的.py文件、REC格式的训练数据、将数据送入网络的迭代器。
在此基础上,我们缺少的就只剩下网络训练的一些控制参数:如学习率、训练日志、GPU选择等等。
在初期,我们往往可以先快速的拿来用,而不用在意其细节。那么,最简单的办法就是直接修改套用mxnet中的示例。示例主要集中在/example/image-classification和/tests/python当中。下面就简单的介绍如何快速开始训练:
(1)新建一个文件夹,将/example/image-classification文件夹下find_mxnet.py、symbol_alexnet.py、train_imagenet.py和train_model.py这4个文件copy进来;
(2)保持find_mxnet.py文件不变,在symbol_alexnet.py中按照里面Alexnet网络的构建方法来建立自己的网络。最后最好再把文件名改为自己的网络名,如mynet.py;
(3)将train_imagenet.py最好也修改一下名字,如改为train_xx.py.将第40行代码中的’symbol’删除,否则你的网络文件就必须以‘symbol’开始命名,如symbol_mynet.py.
net = importlib.import_module('symbol_' + args.network).get_symbol(args.num_classes)
改为:
net = importlib.import_module(args.network).get_symbol(args.num_classes)
剩下的就是要在parser.add_argument中修改默认值了,否则你在调用mynet.py就必须准确的指定每一个参数。
(4)写一个脚本文件,运行脚本文件就可以开始训练了。如
python train_xx.py --data-dir=xx --model-prefix==xx --gpus=0
# 如果想要在每次epoch结束时保存一个模型,那么model-prefix就不能为空
未完待续
mxnet学习记录【1】相关推荐
- mxnet学习记录(转载)
转载来至 http://blog.csdn.net/shuzfan/article/details/50037273 由于caffe依赖性太多,配置极其复杂,所以将接下来的学习转向mxnet.因此本文 ...
- Pytorch学习记录-torchtext和Pytorch的实例( 使用神经网络训练Seq2Seq代码)
Pytorch学习记录-torchtext和Pytorch的实例1 0. PyTorch Seq2Seq项目介绍 1. 使用神经网络训练Seq2Seq 1.1 简介,对论文中公式的解读 1.2 数据预 ...
- HTML5与CSS3权威指南之CSS3学习记录
title: HTML5与CSS3权威指南之CSS3学习记录 toc: true date: 2018-10-14 00:06:09 学习资料--<HTML5与CSS3权威指南>(第3版) ...
- springboot @cacheable不起作用_Springboot学习记录13 使用缓存:整合redis
本学习记录的代码,部分参考自gitee码云的如下工程.这个工程有详尽的Spingboot1.x教程.鸣谢! https://gitee.com/didispace/SpringBoot-Learnin ...
- 【Cmake】Cmake学习记录
Cmake学习记录 1.1 常例 add_library(gen_reference_infogen_reference_info/gen_reference_info.hgen_reference_ ...
- ASP.NETCore学习记录(一)
ASP.NETCore学习记录(一) asp.net core介绍 Startup.cs ConfigureServices Configure 0. ASP.NETCore 介绍 ASP.N ...
- Android开发技术周报176学习记录
Android开发技术周报176学习记录 教程 当 OkHttp 遇上 Http 2.0 http://fucknmb.com/2018/04/16/%E5%BD%93OkHttp%E9%81%87% ...
- add函数 pytorch_Pytorch学习记录-Pytorch可视化使用tensorboardX
Pytorch学习记录-Pytorch可视化使用tensorboardX 在很早很早以前(至少一个半月),我做过几节关于tensorboard的学习记录. https://www.jianshu.co ...
- java之字符串学习记录
java之字符串学习记录 public class StringDemo { public static void main(String[] args) { //静态初始化字符串 String s1 ...
最新文章
- opencv立方体的画法_最详细的立方体透视变化及画法讲解
- 【VSTO】Office开发中遇到的兼容性检查问题
- AreYouBusy
- 使用js在桌面上写一个倒计时器_论一个倒计时器的性能优化之路
- mac mongodb可视化工具_github项目推荐|2019 冠状病毒疫情爬虫。疫情数据可视化
- 【nexus】nexus : mac 安装 nexus
- 黑马程序员—黑客与画家——工作3年再转型(附赠大绝招)
- InfoPath基础应用教程-1 设计一个简单的表单模板
- 2022-2028全球与中国以太网控制器市场现状及未来发展趋势
- HTML下拉菜单代码实现
- python 自动换ip_python实现自动更换ip的方法
- QQ三国七旗阵等级怎么计算?(附Excel计算器,输入队员等级即可计算)
- python计算一个多项式_急求 python 使用class定义多项式P(x)=a0=a1x+a2x^2……anx^n 使用__init__()产生一个列表记录a的值...
- 解压apk后各文件夹含义
- 计算机word知识试题及答案,计算机二级考试word试题及答案
- synaptics安装
- 数字集成电路设计(五、仿真验证与 Testbench 编写)(一)
- C3P0的三种配置方式以及基本配置项详解
- 掌握这些技术,你也能将婚礼拍得很精彩!
- cultureinfo 类 java_使用CultureInfo和RegionInfo类进行全球化和本地化