用c语言实现循环神经网络,浅谈LSTM循环神经网络

姓名：程祖晗

学号：19021210938

【嵌牛导读】人工神经网络(ANN)由大量相互连接的神经元或称节点组成，这些节点经过网络中的大量加权连接，将数据进行相互通信，实现了神经网络的记忆特性。在常规的神经网络中，各个层之间的所有神经元彼此连接，但层间神经元不连接，即不能对前后位置具有一定关系的系列化数据进行更有效的分析，无法学习序列数据中前后样本的内在关联。为了优化此问题，多方研究提出了循环神经网络，且为了解决长距离依赖的问题，出现了长短期记忆网络(LSTM)。本篇就LSTM循环神经网络进行简单的讲解。

【嵌牛鼻子】LSTM循环神经网络

【嵌牛正文】LSTM循环神经网络应用了门控算法，即增加了一个状态

来保存长期的状态，此算法在学习时既能掌握长距离依赖又能选择性地遗忘信息防止过载。因此在当前时刻下，LSTM 的单个神经元中共有三个输入，分别是当前时刻网络的输入值

$x_{t}$ 、LSTM 隐含层上一时刻的输出值

$h_{t-1}$ 以及上一时刻的单元状态

$c_{t-1}$ 。现研究其模型的建立过程。

a.初始化各项参数

LSTM是改进的循环神经网络，如图1所示，

$X=[x_{1},x_{2},……,x_{m}]$ 为输入样本，

$Y=[y_{1},y_{2},……,y_{n}]$ 为输出样本，

$H=[h_{1},h_{2},……,h_{s-1}]$ 为LSTM单元输出。

分别为样本个数，输出样本个数及神经元个数。即：

模型中需要初始化的参数有

$W_{f} =[W_{fh} W_{fx} ]^T$ 、

$W_{i} =[W_{ih} W_{ix} ]^T$ 、

$W_{c} =[W_{ch} W_{cx} ]^T$ 、

$W_{o} =[W_{oh} W_{ox} ]^T$ 、

$W_{h}$ 。

b.前向计算

遗忘门限

$f_{t}$ 决定了当前时刻的神经元状态

$c_{t}$ 中保存了多少上一时刻的神经元状态

$c_{t-1}$ ：

输入门限

$i_{t}$ 决定了当前时刻网络的输入

$x_{t}$ 有多少保留到当前时刻的神经元状态

$c_{t}$ ，同时计算当前输出的神经元状态

$\tilde{c_{t}}$ 。

输出门限

$o_{t}$ 限制了神经元状态

$c_{t}$ 对

$h_{t}$ 的作用：

最后输出的预测结果为：

$y_{t}= h_{t}\ast W_{h}+b$ ，其中

为偏移量。

c.反向误差值

与 WNN 不同，RNN 的反向误差值包括两个方面：一个是沿时间的反向传播，即当前时刻开始后的每个时刻的误差；一个是将层间的误差值传递。设 LSTM 单元的输出值为

$h_{t}$ ，定义

时刻的误差项为：

(1)误差项沿时间的反向传递

根据上式得到

时刻的

$\delta _{t-1}$ ，即

因此

$\delta _{t-1}= \delta _{o,t}^TW_{oh}+ \delta _{f,t}^TW_{fh}+ \delta _{i,t}^TW_{ih}+ \delta _{\tilde{c} ,t}^TW_{\tilde{c}h}$ 。且由前向计算可知：

(2)层间传递

假设当前为第

层，定义

层的误差项为：

因此

$\delta _{t}^{l-1}=(\delta _{f,t}^TW_{fx} +\delta _{i,t}^TW_{ix} +\delta _{o,t}^TW_{ox} +\delta _{\tilde{c} ,t}^TW_{\tilde{c}x} )\odot f(net_{t}^{l-1} )$

d.计算梯度权值

由前可计算出各权值对应的梯度值，如下所示：

e.权值修正

设置学习率

$\eta =0.01$ ，则示例如下所示：

模型建立完成，可利用此模型完成对数据的预测，其结果比常规的神经网络更精确。

https://zybuluo.com/hanbingtao/note/541458

用c语言实现循环神经网络,浅谈LSTM循环神经网络相关推荐

c语言switch语句嵌套,浅谈c语言中switch语句的嵌套使用
switch语句是一种分支控制语句,它的应用在程序设计中起到了很重要的作用.由于其格式复杂,对于初学者来说很难掌握,switch语句的嵌套使用更是让初学者难以理解.本文通过介绍switch嵌套语句的形 ...
c语言指针很危险,浅谈C语言中指针使用不当的危险性.doc
浅谈C语言中指针使用不当的危险性.doc 第 19 卷 Vol . 19 第 2 期 No . 2 洛阳师专学报 Journal of Luoyang Teachers College 2000 年 ...
考研考c语言程序设计的军校,浅谈军校学员C语言程序设计的教学现状及教法改进...
塞熬宣浅谈军校学员语言程序设计的教学现状及教法改进邓静寰 (成都市华阳镇武警指挥学院四川成都 ) 摘要:本文从当前军校学员语 ...
linux 易语言窗口程序_浅谈Linux入门的基本知识
浅谈Linux入门的基本知识图形模式与文字模式的切换方式Linux预设提供了六个命令窗口终端机让我们来登录. 默认我们登录的就是第一个窗口,也就是tty1,这个六个窗口分别为tty1.tty2 - ...
c语言枚举类型 uint32_浅谈C语言枚举类型 | 附自创用法分享
经济学家说过,路边是不会有100元的:但如果有,你还是要捡起来. 同理,在貌似万物免费的网络时代,你是很难找到有针对性的好资料:但是如果有,希望你能认真学习吸收. 比如笔者今天写的这一篇一今天这篇 ...
oracle for循环_浅谈Oracle的执行计划
执行计划执行计划是一条sql语句在ORACLE中的执行过程或访问路径的描述.即对一个sql语句,从执行计划可以看出oracle完成任务的详细方案.如果要分析某条SQL的性能问题,通常我们要先看SQL的 ...
c语言如何初始化程序,浅谈C语言的初始化
可能以前写的代码太少了,现在突然发现其实C语言变量的初始化也是一门不小的学问.其实很早之前我都天真的以为C语言会将变量自动初始化为0或'0'或NULL,但是在以后的编程我愈发发现,我真是太天真了.跟大 ...
浅谈for循环在语法设计上的必要性
简单完整的单层for循环依我的理解,就是一连串的if. 这些if所判断对象的和最后一步的操作对象都是同一个变量,而且这些if块所包含的代码块完全一样. 所以为了避免代码冗余,有了for循环这种语法结构 ...
如何求c语言表达式的值,浅谈C语言中表达式的求值
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 C语言研究性学习的路线现行的多数C语言教材有太多的误区,不仅不能给读者提供有效的学习线索,还常常"误导"读者,于是,"死记 ...

用c语言实现循环神经网络,浅谈LSTM循环神经网络

用c语言实现循环神经网络,浅谈LSTM循环神经网络相关推荐

最新文章

热门文章