lstm网络python代码实现

LSTM的宏观讲解推荐这篇博客，以动图的形式展示特别容易理解https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/82922386

LSTM的输入、输出、遗忘门的控制推荐这篇博客。本篇的代码也是基于这篇博客的

https://zybuluo.com/hanbingtao/note/581764

import numpy as np
import matplotlib.pyplot as plt
class ReluActivator(object):def forward(self, weighted_input):#return weighted_inputreturn max(0, weighted_input)def backward(self, output):return 1 if output > 0 else 0class IdentityActivator(object):def forward(self, weighted_input):return weighted_inputdef backward(self, output):return 1class SigmoidActivator(object):def forward(self, weighted_input):return 1.0 / (1.0 + np.exp(-weighted_input))def backward(self, output):return output * (1 - output)class TanhActivator(object):def forward(self, weighted_input):return 2.0 / (1.0 + np.exp(-2 * weighted_input)) - 1.0def backward(self, output):return 1 - output * output
def element_wise_op(array, op):for i in np.nditer(array,op_flags=['readwrite']):i[...] = op(i)
class LstmLayer(object):def __init__(self, input_width, state_width, learning_rate):self.input_width = input_widthself.state_width = state_widthself.learning_rate = learning_rate# 门的激活函数self.gate_activator = SigmoidActivator()# 输出的激活函数self.output_activator = TanhActivator()# 当前时刻初始化为t0self.times = 0       # 各个时刻的单元状态向量cself.c_list = self.init_state_vec()# 各个时刻的输出向量hself.h_list = self.init_state_vec()# 各个时刻的遗忘门fself.f_list = self.init_state_vec()# 各个时刻的输入门iself.i_list = self.init_state_vec()# 各个时刻的输出门oself.o_list = self.init_state_vec()# 各个时刻的即时状态c~self.ct_list = self.init_state_vec()# 遗忘门权重矩阵Wfh, Wfx, 偏置项bfself.Wfh, self.Wfx, self.bf = (self.init_weight_mat())# 输入门权重矩阵Wfh, Wfx, 偏置项bfself.Wih, self.Wix, self.bi = (self.init_weight_mat())# 输出门权重矩阵Wfh, Wfx, 偏置项bfself.Woh, self.Wox, self.bo = (self.init_weight_mat())# 单元状态权重矩阵Wfh, Wfx, 偏置项bfself.Wch, self.Wcx, self.bc = (self.init_weight_mat())def init_state_vec(self):'''初始化保存状态的向量'''state_vec_list = []state_vec_list.append(np.zeros((self.state_width, 1)))return state_vec_listdef init_weight_mat(self):'''初始化权重矩阵'''Wh = np.random.uniform(-1e-4, 1e-4,(self.state_width, self.state_width))Wx = np.random.uniform(-1e-4, 1e-4,(self.state_width, self.input_width))b = np.zeros((self.state_width, 1))return Wh, Wx, bdef forward(self, x):'''根据式1-式6进行前向计算'''self.times += 1# 遗忘门fg = self.calc_gate(x, self.Wfx, self.Wfh, self.bf, self.gate_activator)self.f_list.append(fg)# 输入门ig = self.calc_gate(x, self.Wix, self.Wih,self.bi, self.gate_activator)self.i_list.append(ig)# 输出门og = self.calc_gate(x, self.Wox, self.Woh,self.bo, self.gate_activator)self.o_list.append(og)# 即时状态ct = self.calc_gate(x, self.Wcx, self.Wch,self.bc, self.output_activator)self.ct_list.append(ct)# 单元状态c = fg * self.c_list[self.times - 1] + ig * ctself.c_list.append(c)# 输出h = og * self.output_activator.forward(c)self.h_list.append(h)def calc_gate(self, x, Wx, Wh, b, activator):'''计算门'''h = self.h_list[self.times - 1] # 上次的LSTM输出net = np.dot(Wh, h) + np.dot(Wx, x) + bgate = activator.forward(net)return gatedef backward(self, x, delta_h, activator):'''实现LSTM训练算法'''self.calc_delta(delta_h, activator)self.calc_gradient(x)def update(self):'''按照梯度下降，更新权重'''self.Wfh -= self.learning_rate * self.Whf_gradself.Wfx -= self.learning_rate * self.Whx_gradself.bf -= self.learning_rate * self.bf_gradself.Wih -= self.learning_rate * self.Whi_gradself.Wix -= self.learning_rate * self.Whi_gradself.bi -= self.learning_rate * self.bi_gradself.Woh -= self.learning_rate * self.Wof_gradself.Wox -= self.learning_rate * self.Wox_gradself.bo -= self.learning_rate * self.bo_gradself.Wch -= self.learning_rate * self.Wcf_gradself.Wcx -= self.learning_rate * self.Wcx_gradself.bc -= self.learning_rate * self.bc_graddef calc_delta(self, delta_h, activator):# 初始化各个时刻的误差项self.delta_h_list = self.init_delta()  # 输出误差项self.delta_o_list = self.init_delta()  # 输出门误差项self.delta_i_list = self.init_delta()  # 输入门误差项self.delta_f_list = self.init_delta()  # 遗忘门误差项self.delta_ct_list = self.init_delta() # 即时输出误差项# 保存从上一层传递下来的当前时刻的误差项self.delta_h_list[-1] = delta_h# 迭代计算每个时刻的误差项for k in range(self.times, 0, -1):self.calc_delta_k(k)def init_delta(self):'''初始化误差项'''delta_list = []for i in range(self.times + 1):delta_list.append(np.zeros((self.state_width, 1)))return delta_listdef calc_delta_k(self, k):'''根据k时刻的delta_h，计算k时刻的delta_f、delta_i、delta_o、delta_ct，以及k-1时刻的delta_h'''# 获得k时刻前向计算的值ig = self.i_list[k]og = self.o_list[k]fg = self.f_list[k]ct = self.ct_list[k]c = self.c_list[k]c_prev = self.c_list[k-1]tanh_c = self.output_activator.forward(c)delta_k = self.delta_h_list[k]# 根据式9计算delta_odelta_o = (delta_k * tanh_c * self.gate_activator.backward(og))delta_f = (delta_k * og * (1 - tanh_c * tanh_c) * c_prev *self.gate_activator.backward(fg))delta_i = (delta_k * og * (1 - tanh_c * tanh_c) * ct *self.gate_activator.backward(ig))delta_ct = (delta_k * og * (1 - tanh_c * tanh_c) * ig *self.output_activator.backward(ct))delta_h_prev = (np.dot(delta_o.transpose(), self.Woh) +np.dot(delta_i.transpose(), self.Wih) +np.dot(delta_f.transpose(), self.Wfh) +np.dot(delta_ct.transpose(), self.Wch)).transpose()# 保存全部delta值self.delta_h_list[k-1] = delta_h_prevself.delta_f_list[k] = delta_fself.delta_i_list[k] = delta_iself.delta_o_list[k] = delta_oself.delta_ct_list[k] = delta_ctdef calc_gradient(self, x):# 初始化遗忘门权重梯度矩阵和偏置项self.Wfh_grad, self.Wfx_grad, self.bf_grad = (self.init_weight_gradient_mat())# 初始化输入门权重梯度矩阵和偏置项self.Wih_grad, self.Wix_grad, self.bi_grad = (self.init_weight_gradient_mat())# 初始化输出门权重梯度矩阵和偏置项self.Woh_grad, self.Wox_grad, self.bo_grad = (self.init_weight_gradient_mat())# 初始化单元状态权重梯度矩阵和偏置项self.Wch_grad, self.Wcx_grad, self.bc_grad = (self.init_weight_gradient_mat())# 计算对上一次输出h的权重梯度for t in range(self.times, 0, -1):# 计算各个时刻的梯度(Wfh_grad, bf_grad,Wih_grad, bi_grad,Woh_grad, bo_grad,Wch_grad, bc_grad) = (self.calc_gradient_t(t))# 实际梯度是各时刻梯度之和self.Wfh_grad += Wfh_gradself.bf_grad += bf_gradself.Wih_grad += Wih_gradself.bi_grad += bi_gradself.Woh_grad += Woh_gradself.bo_grad += bo_gradself.Wch_grad += Wch_gradself.bc_grad += bc_grad# 计算对本次输入x的权重梯度xt = x.transpose()self.Wfx_grad = np.dot(self.delta_f_list[-1], xt)self.Wix_grad = np.dot(self.delta_i_list[-1], xt)self.Wox_grad = np.dot(self.delta_o_list[-1], xt)self.Wcx_grad = np.dot(self.delta_ct_list[-1], xt)def init_weight_gradient_mat(self):'''初始化权重矩阵'''Wh_grad = np.zeros((self.state_width,self.state_width))Wx_grad = np.zeros((self.state_width,self.input_width))b_grad = np.zeros((self.state_width, 1))return Wh_grad, Wx_grad, b_graddef calc_gradient_t(self, t):'''计算每个时刻t权重的梯度'''h_prev = self.h_list[t-1].transpose()Wfh_grad = np.dot(self.delta_f_list[t], h_prev)bf_grad = self.delta_f_list[t]Wih_grad = np.dot(self.delta_i_list[t], h_prev)bi_grad = self.delta_f_list[t]Woh_grad = np.dot(self.delta_o_list[t], h_prev)bo_grad = self.delta_f_list[t]Wch_grad = np.dot(self.delta_ct_list[t], h_prev)bc_grad = self.delta_ct_list[t]return Wfh_grad, bf_grad, Wih_grad, bi_grad, \Woh_grad, bo_grad, Wch_grad, bc_graddef reset_state(self):# 当前时刻初始化为t0self.times = 0       # 各个时刻的单元状态向量cself.c_list = self.init_state_vec()# 各个时刻的输出向量hself.h_list = self.init_state_vec()# 各个时刻的遗忘门fself.f_list = self.init_state_vec()# 各个时刻的输入门iself.i_list = self.init_state_vec()# 各个时刻的输出门oself.o_list = self.init_state_vec()# 各个时刻的即时状态c~self.ct_list = self.init_state_vec()def data_set():x = [np.array([[1], [2], [3]]),np.array([[2], [3], [4]])]d = np.array([[1], [2]])return x, d
def test():l = LstmLayer(3, 2, 1e-3)x, d = data_set()l.forward(x[0])l.forward(x[1])l.backward(x[1], d, IdentityActivator())return l

lstm网络python代码实现相关推荐

控制论python_[干货]深入浅出LSTM及其Python代码实现
人工神经网络在近年来大放异彩,在图像识别.语音识别.自然语言处理与大数据分析领域取得了巨大的成功,而长短期记忆网络LSTM作为一种特殊的神经网络模型,它又有哪些特点呢?作为初学者,如何由浅入深地理解L ...
理解LSTM网络+Python实现
文章目录前言一.传统RNN 二.RNN带来的缺陷 1.梯度爆炸和梯度弥散 2.memory记忆不足三.LSTM理解 1.LSTM原理 2.LSTM公式前向传播反向传播四.LSTM实践(Py ...
unet网络python代码详解_python网络编程详解
最近在看<UNIX网络编程卷1>和<FREEBSD操作系统设计与实现>这两本书,我重点关注了TCP协议相关的内容,结合自己后台开发的经验,写下这篇文章,一方面是为了帮助有需要 ...
贝叶斯网络python代码_贝叶斯网络，看完这篇我终于理解了(附代码)！
1. 对概率图模型的理解概率图模型是用图来表示变量概率依赖关系的理论,结合概率论与图论的知识,利用图来表示与模型有关的变量的联合概率分布.由图灵奖获得者Pearl开发出来. 如果用一个词来形容概率图 ...
BP网络Python实现代码
➤00 说明本文后面给出的BP网络Python代码主要依据 <飞浆PaddlePaddle深度学习实战> 中给出的示例进行总结而得. AC20KHz.AVI 无线充电系统裁判系统的简介 ...
python 代码-python经典代码
广告关闭 2017年12月,云+社区对外发布,从最开始的技术博客到现在拥有多个社区产品.未来,我们一起乘风破浪,创造无限可能. 在昨天的文章中,我们介绍了关于python列表推导式的使用,字典推导式 ...
视频教程-深度学习原理详解及Python代码实现-深度学习
深度学习原理详解及Python代码实现大学教授,美国归国博士.博士生导师:人工智能公司专家顾问:长期从事人工智能.物联网.大数据研究:已发表学术论文100多篇,授权发明专利10多项白勇 ¥88.0 ...
教你用深度学习LSTM网络预测流行音乐趋势（附代码）
来源:大数据挖掘DT数据分析本文长度为1500字,建议阅读5分钟本文为你介绍LSTM网络原理及其在流行音乐趋势预测赛题中的应用. 后台回复关键词"音乐",下载完整代码及数据集 ...
从Tensorflow代码中理解LSTM网络
目录 RNN LSTM 参考文档与引子缩略词 RNN (Recurrent neural network) 循环神经网络 LSTM (Long short-term memory) 长短期记忆人 ...

lstm网络python代码实现

lstm网络python代码实现相关推荐

最新文章

热门文章