深度学习（三）theano学习笔记(2)基础函数-未完待续

theano学习笔记（2）基础函数

1、随机函数库的调用

2、卷积神经网络

[python] view plaincopy

#-*-coding:utf-8-*-
import theano
import numpy as np
import matplotlib.pyplot as plt
from loaddata import loadmnist
import theano.tensor as T
#softmax函数
class softmax:
#outdata为我们标注的输出，hiddata网络输出层的输入，nin,nout为输入、输出神经元个数
def __init__(self,hiddata,outdata,nin,nout):
self.w=theano.shared(value=np.zeros((nin,nout),dtype=theano.config.floatX),name='w');
self.b=theano.shared(value=np.zeros((nout,),dtype=theano.config.floatX),name='b')
prey=T.nnet.softmax(T.dot(hiddata,self.w)+self.b)#通过softmax函数，得到输出层每个神经元数值(概率)
self.loss=-T.mean(T.log(prey)[T.arange(outdata.shape[0]),outdata])#损失函数
self.para=[self.w,self.b]
self.predict=T.argmax(prey,axis=1)
self.error=T.mean(T.neq(T.argmax(prey,axis=1),outdata))
#输入层到隐藏层
class HiddenLayer:
def __init__(self,inputx,nin,nout):
a=np.sqrt(6./(nin+nout))
ranmatrix=np.random.uniform(-a,a,(nin,nout));
self.w=theano.shared(value=np.asarray(ranmatrix,dtype=theano.config.floatX),name='w')
self.b=theano.shared(value=np.zeros((nout,),dtype=theano.config.floatX),name='b')
self.out=T.tanh(T.dot(inputx,self.w)+self.b)
self.para=[self.w,self.b]
#传统三层感知器
class mlp:
def __init__(self,nin,nhid,nout):
x=T.fmatrix('x')
y=T.ivector('y')
#å‰å‘
hlayer=HiddenLayer(x,nin,nhid)
olayer=softmax(hlayer.out,y,nhid,nout)
#åå‘
paras=hlayer.para+olayer.para
dparas=T.grad(olayer.loss,paras)
updates=[(para,para-0.1*dpara) for para,dpara in zip(paras,dparas)]
self.trainfunction=theano.function(inputs=[x,y],outputs=olayer.loss,updates=updates)
def train(self,trainx,trainy):
return self.trainfunction(trainx,trainy)
#卷积神经网络的每一层，包括卷积、池化、激活映射操作
#img_shape为输入特征图，img_shape=（batch_size,特征图个数，图片宽、高）
#filter_shape为卷积操作相关参数，filter_shape=（输入特征图个数、输出特征图个数、卷积核的宽、卷积核的高）
#，这样总共filter的个数为：输入特征图个数*输出特征图个数*卷积核的宽*卷积核的高
class LeNetConvPoolLayer:
def __init__(self,inputx,img_shape,filter_shape,poolsize=(2,2)):
#参数初始化
assert img_shape[1]==filter_shape[1]
a=np.sqrt(6./(filter_shape[0]+filter_shape[1]))
v=np.random.uniform(low=-a,high=a,size=filter_shape)
wvalue=np.asarray(v,dtype=theano.config.floatX)
self.w=theano.shared(value=wvalue,name='w')
bvalue=np.zeros((filter_shape[0],),dtype=theano.config.floatX)
self.b=theano.shared(value=bvalue,name='b')
covout=T.nnet.conv2d(inputx,self.w)#卷积操作
covpool=T.signal.downsample.max_pool_2d(covout,poolsize)#池化操作
self.out=T.tanh(covpool+self.b.dimshuffle('x', 0, 'x', 'x'))
self.para=[self.w,self.b]
trainx,trainy=loadmnist()
trainx=trainx.reshape(-1,1,28,28)
batch_size=30
m=trainx.shape[0]
ne=m/batch_size
batchx=T.tensor4(name='batchx',dtype=theano.config.floatX)
batchy=T.ivector('batchy')
#
cov1_layer=LeNetConvPoolLayer(inputx=batchx,img_shape=(batch_size,1,28,28),filter_shape=(20,1,5,5))
cov2_layer=LeNetConvPoolLayer(inputx=cov1_layer.out,img_shape=(batch_size,20,12,12),filter_shape=(50,20,5,5))
cov2out=cov2_layer.out.flatten(2)
hlayer=HiddenLayer(cov2out,4*4*50,500)
olayer=softmax(hlayer.out,batchy,500,10)
paras=cov1_layer.para+cov2_layer.para+hlayer.para+olayer.para
dparas=T.grad(olayer.loss,paras)
updates=[(para,para-0.1*dpara) for para,dpara in zip(paras,dparas)]
train_function=theano.function(inputs=[batchx,batchy],outputs=olayer.loss,updates=updates)
test_function=theano.function(inputs=[batchx,batchy],outputs=[olayer.error,olayer.predict])
testx,testy=loadmnist(True)
testx=testx.reshape(-1,1,28,28)
train_history=[]
test_history=[]
for it in range(20):
sum=0
for i in range(ne):
a=trainx[i*batch_size:(i+1)*batch_size]
loss_train=train_function(trainx[i*batch_size:(i+1)*batch_size],trainy[i*batch_size:(i+1)*batch_size])
sum=sum+loss_train
sum=sum/ne
print 'train_loss:',sum
test_error,predict=test_function(testx,testy)
print 'test_error:',test_error
train_history=train_history+[sum]
test_history=test_history+[test_error]
n=len(train_history)
fig1=plt.subplot(111)
fig1.set_ylim(0.001,0.2)

fig1.plot(np.arange(n),train_history,'-')

from: http://blog.csdn.net/hjimce/article/details/46806923

深度学习（三）theano学习笔记(2)基础函数-未完待续相关推荐

MySQL学习笔记（基础篇未完待补充）
一.MySQL数据库基目录一.MySQL数据库基础篇 1.数据库概述与MySQL安装篇第1章:数据库概述 1.为什么要使用数据库 2. 数据库与数据库管理系统 2.2 数据库与数据库管理系统的关 ...
5G网络学习（三）——大白话讲解PDU会话（未完待续）
在介绍PDU会话之前让我们介绍一下什么是PDU PDU简介 PDU(Protocol Data Unit)是协议层的协议在对等层之间交换的信息叫协议数据单元. 封装数据要通过网络进行传输,要从高层一 ...
火箭发射理论（基础篇-未完待续）//2021-1-27
前言: 嗯,这个就没有那么多为什么了,浩瀚星海,对于人类而言,这是探索宇宙的第一步吧,所以对于我这种只有几十年生命周期的普通生物而言,这不言而喻.正如康德所言:有两种东西,我对它们的思考越是深沉和持久 ...
CMake Cookbook笔记（12/23未完待续，游戏服务器观点阅读，编译器及指令集不涉及）
文章目录一.配置环境(略) 二.从可执行文件到库 1)将单个源码文件编译为可执行文件 2)切换生成器(-G) 3)构建和链接静态库和动态库(还有对象库的使用举例) 4)用条件句控制编译 5)向用户显 ...
jQuery基础（未完待续）
1. jQuery核心函数 jQuery也可写$,通常情况下$可能会与其他框架中的对象冲突(php有$的用法),所以如果所用的框架没有$的用法,jQuery可用$代替 (1)$(docum ...
脚本基础（未完待续）
脚本执行 1.赋予权限,chmod 755 hello.sh ./hello.sh 2.通过bash执行脚本,bash hello.sh bash快捷键 dos2unix 文件名 windows文 ...
pythonb超分辨成像_Papers | 超分辨 + 深度学习（未完待续）
1. SRCNN 1.1. Contribution end-to-end深度学习应用在超分辨领域的开山之作(非 end-to-end 见 Story.3 ). 指出了超分辨方向上传统方法( spar ...
二叉树学习笔记（未完待续）
摘要二叉树学习笔记(未完待续). 博客 IT老兵驿站. 前言昨天(2019-11-07)复习红黑树,发现红黑树和二叉树密不可分,所以这里再复习一下二叉树. 在大学的时候,这块我很认真地学习了一遍. ...
Windows x64内核学习笔记（五）—— KPTI（未完待续）
Windows x64内核学习笔记(五)-- KPTI(未完待续) KPTI 实验一:构造IDT后门并读取Cr3 参考资料 KPTI 描述:KPTI(Kernel page-table isolati ...

深度学习（三）theano学习笔记(2)基础函数-未完待续

深度学习（三）theano学习笔记(2)基础函数-未完待续相关推荐

最新文章

热门文章