[python] view plaincopy

1. <span style="font-family:Arial;">import os
2. import sys
3. import timeit
4. import numpy
5. import theano
6. import theano.tensor as T
7. from logistic_sgd import load_data
8. from utils import tile_raster_images
9. try:
10. import PIL.Image as Image
11. except ImportError:
12. import Image
13. '''''代码编写参考文献：Contractive Auto-Encoder class
14. 这篇文献主要是提出一个约束正则项
15. 整个总计算过程，参考文献的公式：7'''
16. class cA(object):
17. def __init__(self, numpy_rng, input=None, n_visible=784, n_hidden=100,
18. n_batchsize=1, W=None, bhid=None, bvis=None):
19. """
20. input:输入训练数据数据， input与n_batchsize是对应的，input中有n_batchsize个样本
21. input每一行代表一个样本，共有n_batchsize个样本
22. n_visible:可见层神经元的个数
23. n_hidden: 隐藏层神经元个数
24. n_batchsize:批量训练，每批数据的个数
25. W:输入当隐藏层的全连接权值矩阵，因为使用了tied weight 所以从隐藏到输入的权值
26. 矩阵为:W.transpose()
27. bhid:从输入到隐藏层的偏置单元
28. bvis:从隐藏层的偏置单元
29. """
30. self.n_visible = n_visible
31. self.n_hidden = n_hidden
32. self.n_batchsize = n_batchsize
33. # 如果没有输入W，则在类里面进行初始化
34. if not W:
35. '''''W 采用[-a,a]的均匀采样方法进行初始化，因为后面采用s函数，所以
36. a=4*sqrt(6./(n_visible+n_hidden)) ,矩阵类型theano.config.floatX
37. 这样才能保证在GPU上运行'''
38. initial_W = numpy.asarray(
39. numpy_rng.uniform(
40. low=-4 * numpy.sqrt(6. / (n_hidden + n_visible)),
41. high=4 * numpy.sqrt(6. / (n_hidden + n_visible)),
42. size=(n_visible, n_hidden)
43. ),
44. dtype=theano.config.floatX
45. )
46. W = theano.shared(value=initial_W, name='W', borrow=True)
47. if not bvis:
48. bvis = theano.shared(value=numpy.zeros(n_visible,
49. dtype=theano.config.floatX),
50. borrow=True)
51. if not bhid:
52. bhid = theano.shared(value=numpy.zeros(n_hidden,
53. dtype=theano.config.floatX),
54. name='b',
55. borrow=True)
56. self.W = W
57. # 输入到隐藏的偏置单元
58. self.b = bhid
59. # 隐藏到输出的偏置单元
60. self.b_prime = bvis
61. # 使用了tied weights, 所以 W_prime 是 W 的转置
62. self.W_prime = self.W.T
63. # 如果没有给定input，那么创建一个
64. if input is None:
65. self.x = T.dmatrix(name='input')
66. else:
67. self.x = input
68. self.params = [self.W, self.b, self.b_prime]
69. #1、输入层到隐藏层
70. def get_hidden_values(self, input):
71. return T.nnet.sigmoid(T.dot(input, self.W) + self.b)
72. #2、隐藏层到输出层。重建结果 x' = s(W' h  + b') ，因为文献使用了tied weigth，所以
73. #W'等于W的转置，这个可以百度搜索：自编码，tied weight等关键词
74. def get_reconstructed_input(self, hidden):
75. return T.nnet.sigmoid(T.dot(hidden, self.W_prime) + self.b_prime)
76. #计算 J_i = h_i (1 - h_i) * W_i
77. def get_jacobian(self, hidden, W):
78. return T.reshape(hidden * (1 - hidden),(self.n_batchsize, 1, self.n_hidden))*T.reshape(W, (1, self.n_visible, self.n_hidden))
79. #权值更新函数
80. def get_cost_updates(self, contraction_level, learning_rate):
81. y = self.get_hidden_values(self.x)#输入-》隐藏
82. z = self.get_reconstructed_input(y)#隐藏-》输出
83. J = self.get_jacobian(y, self.W)#y*(1-y)*W
84. #文献Contractive Auto-Encoders:公式4损失函数计算公式
85. self.L_rec = - T.sum(self.x * T.log(z) +(1 - self.x) * T.log(1 - z),axis=1)
86. # 因为J是由n_batchsize*n_hidden计算而来，有n_batchsize个样本，所以要求取样本平均值
87. self.L_jacob = T.sum(J ** 2) / self.n_batchsize
88. #整个惩罚函数
89. cost = T.mean(self.L_rec) + contraction_level * T.mean(self.L_jacob)
90. #对参数求导
91. gparams = T.grad(cost, self.params)
92. #梯度下降法更新参数
93. updates = []
94. for param, gparam in zip(self.params, gparams):
95. updates.append((param, param - learning_rate * gparam))
96. return (cost, updates)
97. #测试验证上面的类是否正确
98. def test_cA(learning_rate=0.01, training_epochs=20,
99. dataset='mnist.pkl.gz',
100. batch_size=10, output_folder='cA_plots', contraction_level=.1):
101. """
102. learning_rate:梯度下降法的学习率
103. training_epochs: 最大迭代次数
104. contraction_level：为正则项的权重
105. """
106. #datasets[0]为训练集，datasets[1]为验证集，datasets[2]为测试集
107. datasets = load_data(dataset)
108. train_set_x, train_set_y = datasets[0]
109. # 批量下降法，训练的批数
110. n_train_batches = train_set_x.get_value(borrow=True).shape[0] / batch_size
111. # allocate symbolic variables for the data
112. index = T.lscalar()    # 每一批训练数据的索引
113. x = T.matrix('x')  # 每一批训练数据
114. if not os.path.isdir(output_folder):
115. os.makedirs(output_folder)
116. os.chdir(output_folder)
117. rng = numpy.random.RandomState(123)
118. ca = cA(numpy_rng=rng, input=x,
119. n_visible=28 * 28, n_hidden=500, n_batchsize=batch_size)
120. cost, updates = ca.get_cost_updates(contraction_level=contraction_level,
121. learning_rate=learning_rate)
122. #每一批，训练更新函数，输入参数index
123. train_ca = theano.function(
124. [index],
125. [T.mean(ca.L_rec), ca.L_jacob],
126. updates=updates,
127. givens={
128. x: train_set_x[index * batch_size: (index + 1) * batch_size]
129. }
130. )
131. start_time = timeit.default_timer()
132. ############
133. # TRAINING #
134. ############
135. # go through training epochs
136. for epoch in xrange(training_epochs):
137. # go through trainng set
138. c = []
139. for batch_index in xrange(n_train_batches):
140. c.append(train_ca(batch_index))
141. c_array = numpy.vstack(c)
142. print 'Training epoch %d, reconstruction cost ' % epoch, numpy.mean(
143. c_array[0]), ' jacobian norm ', numpy.mean(numpy.sqrt(c_array[1]))
144. end_time = timeit.default_timer()
145. training_time = (end_time - start_time)
146. print >> sys.stderr, ('The code for file ' + os.path.split(__file__)[1] +
147. ' ran for %.2fm' % ((training_time) / 60.))
148. image = Image.fromarray(tile_raster_images(
149. X=ca.W.get_value(borrow=True).T,
150. img_shape=(28, 28), tile_shape=(10, 10),
151. tile_spacing=(1, 1)))
152. image.save('cae_filters.png')
153. os.chdir('../')
154. if __name__ == '__main__':
155. test_cA()</span>

**********************作者：hjimce   时间：2015.10.13  联系QQ：1393852684   地址：http://blog.csdn.net/hjimce   原创文章，版权所有，转载请保留本行信息（不允许删除）