caffe的python接口学习（2）：生成solver文件

caffe在训练的时候，需要一些参数设置，我们一般将这些参数设置在一个叫solver.prototxt的文件里面，如下：

base_lr: 0.001
display: 782
gamma: 0.1
lr_policy: “step”
max_iter: 78200
momentum: 0.9
snapshot: 7820
snapshot_prefix: “snapshot”
solver_mode: GPU
solver_type: SGD
stepsize: 26067
test_interval: 782
test_iter: 313
test_net: “/home/xxx/data/val.prototxt”
train_net: “/home/xxx/data/proto/train.prototxt”
weight_decay: 0.0005

有一些参数需要计算的，也不是乱设置。

假设我们有50000个训练样本，batch_size为64，即每批次处理64个样本，那么需要迭代50000/64=782次才处理完一次全部的样本。我们把处理完一次所有的样本，称之为一代，即epoch。所以，这里的test_interval设置为782，即处理完一次所有的训练数据后，才去进行测试。如果我们想训练100代，则需要设置max_iter为78200.

同理，如果有10000个测试样本，batch_size设为32，那么需要迭代10000/32=313次才完整地测试完一次，所以设置test_iter为313.

学习率变化规律我们设置为随着迭代次数的增加，慢慢变低。总共迭代78200次，我们将变化lr_rate三次，所以stepsize设置为78200/3=26067，即每迭代26067次，我们就降低一次学习率。

下面是生成solver文件的python代码，比较简单：

# -*- coding: utf-8 -*-
"""
Created on Sun Jul 17 18:20:57 2016@author: root
"""
path='/home/xxx/data/'
solver_file=path+'solver.prototxt'     #solver文件保存位置

sp={}
sp['train_net']=‘“’+path+'train.prototxt”'  # 训练配置文件
sp['test_net']=‘“’+path+'val.prototxt”'     # 测试配置文件
sp['test_iter']='313'                  # 测试迭代次数
sp['test_interval']='782'              # 测试间隔
sp['base_lr']='0.001'                  # 基础学习率
sp['display']='782'                    # 屏幕日志显示间隔
sp['max_iter']='78200'                 # 最大迭代次数
sp['lr_policy']='“step”'                 # 学习率变化规律
sp['gamma']='0.1'                      # 学习率变化指数
sp['momentum']='0.9'                   # 动量
sp['weight_decay']='0.0005'            # 权值衰减
sp['stepsize']='26067'                 # 学习率变化频率
sp['snapshot']='7820'                   # 保存model间隔
sp['snapshot_prefix']=‘"snapshot"’       # 保存的model前缀
sp['solver_mode']='GPU'                # 是否使用gpu
sp['solver_type']='SGD'                # 优化算法

def write_solver():#写入文件
    with open(solver_file, 'w') as f:for key, value in sorted(sp.items()):if not(type(value) is str):raise TypeError('All solver parameters must be strings')f.write('%s: %s\n' % (key, value))
if __name__ == '__main__':write_solver()

执行上面的文件，我们就会得到一个solver.prototxt文件，有了这个文件，我们下一步就可以进行训练了。

当然，如果你觉得上面这种键值对的字典方式，写起来容易出错，我们也可以使用另外一种比较简便的方法，没有引号，不太容易出错，如下:

# -*- coding: utf-8 -*-from caffe.proto import caffe_pb2
s = caffe_pb2.SolverParameter()path='/home/xxx/data/'
solver_file=path+'solver1.prototxt's.train_net = path+'train.prototxt'
s.test_net.append(path+'val.prototxt')
s.test_interval = 782
s.test_iter.append(313)
s.max_iter = 78200 s.base_lr = 0.001
s.momentum = 0.9
s.weight_decay = 5e-4
s.lr_policy = 'step'
s.stepsize=26067
s.gamma = 0.1
s.display = 782
s.snapshot = 7820
s.snapshot_prefix = 'shapshot'
s.type = “SGD”
s.solver_mode = caffe_pb2.SolverParameter.GPUwith open(solver_file, 'w') as f:f.write(str(s))

caffe的python接口学习（2）：生成solver文件相关推荐

caffe的python接口学习（2）生成solver文件
caffe在训练的时候,需要一些参数设置,我们一般将这些参数设置在一个叫solver.prototxt的文件里面有一些参数需要计算的,也不是乱设置. 假设我们有50000个训练样本,batch_si ...
caffe的python接口学习（6）：用训练好的模型（caffemodel）来分类新的图片
经过前面两篇博文的学习,我们已经训练好了一个caffemodel模型,并生成了一个deploy.prototxt文件,现在我们就利用这两个文件来对一个新的图片进行分类预测. 我们从mnist数据集的t ...
caffe的python接口学习（8）：caffemodel中的参数及特征的抽取
如果用公式 y=f(wx+b) 来表示整个运算过程的话,那么w和b就是我们需要训练的东西,w称为权值,在cnn中也可以叫做卷积核(filter),b是偏置项.f是激活函数,有sigmoid.relu ...
利用caffe的python接口实现DeepImageSynthesis实例
在之前实现faster rcnn的博客中,先是配置了caffe的python接口,但是在验证的时候用DeepTexture的实例没有成功.改用pycharm而不是jupyter notebook再试一 ...
Caffe的python接口安装
点击此处返回总目录这一节我们需要编译pycaffe.pycaffe是caffe的python接口.后面我们回用到python进行编程. 一.准备工作准备工作1:Caffe release版本的编译 ...
caffe python接口_ubuntu配置caffe的python接口pycaffe
参考网站: ubuntu配置caffe的python接口pycaffe 依赖前提caffe已经正确编译.见Ubuntu配置caffe库包sudo apt-get install python-pip ...
Windows10上使用Caffe的Python接口进行图像分类例程
本文将会介绍Caffe的Python接口的使用方法.编辑Python可以使用很多种方法,我们采用的是IPython交互式编辑环境. 1 Python的安装如果你的Windows电脑还没有安装Pyth ...
python在内存中生成Zip文件！
python在内存中生成Zip文件! - 天真的好蓝啊 - 博客园 python在内存中生成Zip文件! import zipfile import StringIO class MemoryZipF ...
Python语言学习：创建/删除文件/文件夹、获取当前文件/文件夹路径(系统环境路径/目录)、获取当前文件夹下的所有子文件路径等代码(os系列用法)实现之详细攻略
Python语言学习:创建/删除文件/文件夹.获取当前文件/文件夹路径(系统环境路径/目录).获取当前文件夹下的所有子文件路径等代码(os系列用法)实现之详细攻略目录系统环境路径的设置 1.sys ...
ubuntu16.04 安装caffe以及python接口
http://blog.csdn.net/qq_25073253/article/details/72571714 http://blog.csdn.net/greed7480/article/det ...

caffe的python接口学习（2）：生成solver文件

caffe的python接口学习（2）：生成solver文件相关推荐

最新文章

热门文章