Pycaffe 使用集锦
文章目录
- 如何通过 Pycaffe 创建网络
- 如何保存 Pycaffe 创建的模型
- 保存成 prototxt
- 作为网络参数被解析
- 初始化 net 对象
- 如何修改 Pycaffe 创建模型的参数
- 如何修改网络的输入 shape
- 逐层运行 caffe layer
本文主要是对 Caffe 的 python 接口的一些使用记录,并且包含了一些相关的可以参考链接,有需要的同学可以进一步阅读更丰富相关内容,不仅仅是接口的介绍和使用,也有一些复杂场景使用 PyCaffe 去实现,例如需要修改图结构,节点属性等。
注:本文不包括一些基础的用法,例如如何使用配置环境,如何进行网络的训练,绘制曲线,生成 mean file 文件等内容。
如何通过 Pycaffe 创建网络
在实际使用中,prototxt 可以是理解为纯文本内容,虽然可以直接从其他地方 copy 一段过来,修改成自己想要的样子,可是不够优雅。 通过 Pycaffe 的接口可以像 Pytorch 一样随意构建自己的网络结构:
from caffe import layers as L, params as P
# 定义一个 NetSpec 类型对象
n = caffe.NetSpec()
# 开始向 NetSpec 中添加层
n.data = L.Input(shape=[dict(dim=[1,3,224,224])], ntop=1)n["conv"] = L.Convolution(n.data, num_output=3, kernel_size=3,weight_filler={"type":"xavier"},bias_filler={"type":"constant"})
以上就可以构建出一个网络了, prototxt 结构像是这样:
layer {name: "data"type: "Input"top: "data"input_param {shape {dim: 1dim: 3dim: 9dim: 9}}
}
layer {name: "conv"type: "Convolution"bottom: "data"top: "conv"convolution_param {num_output: 3kernel_size: 3weight_filler {type: "xavier"}bias_filler {type: "constant"}}
}
如何保存 Pycaffe 创建的模型
Caffe 的模型分为两个文件组成: prototxt 结构文件和 caffemodel 权重文件。现在我们接着上面的示例代码,以 NetSpec 对象 n
举例:
保存成 prototxt
with open('demo.prototxt', 'w') as f:f.write(str(n.to_proto()))
这里我们就将 Pycaffe 创建的网络保存到了本地文件,供后续使用。
注意这里构建的网络仅能保存成 prototxt 结构的模型。
prototxt 文件有两个主要用途,一个是作为网络参数结构被读取解析,还有就是用来初始化一个用于训练或者推理的 net 对象。
作为网络参数被解析
from caffe.proto import caffe_pb2net_param = caffe_pb2.NetParameter()with open('demo.prototxt', 'rb') as f:google.protobuf.text_format.Parse(f.read(), net_param)
这里加载进去主要可以利用 protobuf 结构化的读取 prototxt 文件,可以用来查询一些需要的信息,例如节点的名字:
for layer_param in net_param.layer:# 查询 layer namelayer_name = layer_param.name# 查询输入,输出的名字input_name = layer_param.bottomoutput_name = layer_param.top# 查询层的属性及相关数值,以 conv 层为例pad = layer_param.convolution_param.padkernel_size = layer_param.convolution_param.kernel_size
初始化 net 对象
初始化可以提供 caffemodel ,也可以只有一个 prototxt 文件,这样权重就是根据 prototxt 里面的设置随机的。
# 权重随机
net = caffe.Net(proto_file, caffe.TEST)
# 加载权重
net = caffe.Net(proto_file, caffemodel_file, caffe.TEST)
如何修改 Pycaffe 创建模型的参数
Caffe 的数据是以 blob 的数据结构传递的,以上面我们定义的只包含单 conv 的 Net 对象 net
为例:
output = net.blobs['data'].data[...] # 获取节点的输出,输出为 Numpy 节点
conv_weight = net.params['conv'][0].data[...] # 获取节点的参数,输出为 Numpy 节点
conv_bias = net.params['conv'][1].data[...]
如果我们想修改则直接赋值即可:
net.blobs['data'].data[...] = np.random.randn(1,3,9,9) # 修改输出
net.params['conv'][0].data[...] = np.random.randn(3,3,3,3) # 修改权重
注意上面的复制要保证数据的 shape 是能够对上的,如果我们需要保存修改 net params 之后的模型权重,直接 net.save("xxx.caffemodel")
即可。
如何修改网络的输入 shape
当我们输入的 shape 改变,与原先 prototxt 中定义的不同时,可以使用 pycaffe 提供的 reshape 接口:
net.blobs[name].reshape(1,3,5,5) # 只改变单层的数据 shape
net.reshape() # 将新的输入 shape 应用到整个网络所有层
逐层运行 caffe layer
pycaffe 的 net 对象设置好以后可以直接调用 net.forward()
进行前向推理,但是这个整个网络的行为,其实它还有一个隐蔽的接口,可以每次只 forward 一层来实现逐层运行。
for i in range(len(net.layers)):
Pycaffe 使用集锦相关推荐
- GitHub:TensorFlow、PyTorch最全资料集锦
给各位小伙伴们推出几个深度学习框架的资料集锦,统一命名为:XXX-From-Zero-To-One.下面po一幅深度学习框架发展的重要历史点: 从上图可知,TensorFlow和PyTorch是目前深 ...
- LAMP 关键数据集锦技术选项参考
LAMP 关键数据集锦技术选项参考 源自日积月累自己的其他人的经验总结 负载均衡 LVS 工作在四层,内核态,性能极高,有VIP功能,配合 keepalived 做有效的 心跳检查和负载均衡安装配置 ...
- HEAD元素使用集锦
作者:火焰鸟 文章来源:大众网络报 HTML文档由两部分组成:Head(主题部分,一般来说是不可见的)和Body(正文部分,在浏览器中是可见的).随着FrontPage及Dreamweaver( ...
- 【Python】ubuntu14安装pycaffe环境:python2.7及依赖库
1.问题描述 ubuntu14自带的python2.7版本是python2.7.5,安装pycaffe环境时,出现错误,提示版本低.在bing上搜索源码安装python2.7.16的步骤,后续使用时, ...
- Unity 4.x游戏开发技巧集锦(内部资料)
2019独角兽企业重金招聘Python工程师标准>>> Unity 4.x游戏开发技巧集锦(内部资料) 淘宝书店地址:http://item.taobao.com/item.htm? ...
- Centos系统上安装php遇到的错误解决方法集锦
Centos系统上安装php遇到的错误解决方法集锦 1.configure: error: xml2-config not found. Please check your libxml2 insta ...
- 常用MySQL的命令集锦
常用MySQL的命令集锦 一.连接MySQL 格式: mysql -h主机地址 -u用户名 -p用户密码 1.例1:连接到本机上的MYSQL. 首先在打开DOS窗口,然后进入目录 mysqlbin,再 ...
- 创建响应式布局的优秀网格工具集锦《系列五》
在这篇文章中,我们为您呈现了一组优秀的网格工具清单.如果网页设计和开人员采用了正确的工具集,并基于一个灵活的网格架构,以及能够把响应图像应用到到设计之中,那么创建一个具备响应式的网站并不一定是一项艰巨 ...
- J2EE面试题集锦(附答案)
转自:http://blog.sina.com.cn/s/blog_4e8be0590100fbb8.html J2EE面试题集锦(附答案) 一.基础问答 1.下面哪些类可以被继承? java.lan ...
最新文章
- linux sftp 重命名,linux下ssh/sftp配置和权限设置
- 浅析网络推广外包公司如何完成营销型网站建设完成网络推广外包?
- js 和C# ashx之间数组参数传递问题
- 多队列 部分队列没有包_记一次TCP全队列溢出问题排查过程
- 揭秘手机行业未来AI之路
- eclipse 创建java窗体_eclipse创建Dialog窗口的操作流程
- Java版扫雷小游戏
- python预处理tif格式图片
- 化工过程开发与工程思维
- windows的IPAM无法独立安装,需要域环境才能使用
- SRM采购框架协议阶梯计价方法
- win10 提升administrator权限 管理员权限
- 树洞程序php,Anonymous v20200926 – 秘密 PHP树洞程序
- 网页中为什么不显示图片
- 微信公众号01: ase实现access_token的存储和被动刷新
- 西电计算机考研历年分数线,西安电子科技大学研究生,西电历年考研分数线?...
- Stata | 简单操作2(display)
- Ninth season twentieth episode,Joey held a celebrities party but did not invited his friends!!!!!!
- cesium给广告牌加动图
- Vue Clipboard 异步复制粘贴