长短时记忆网络(LSTM)的训练

长短时记忆网络的训练

熟悉我们这个系列文章的同学都清楚，训练部分往往比前向计算部分复杂多了。LSTM的前向计算都这么复杂，那么，可想而知，它的训练算法一定是非常非常复杂的。现在只有做几次深呼吸，再一头扎进公式海洋吧。

LSTM训练算法框架

LSTM的训练算法仍然是反向传播算法，对于这个算法，我们已经非常熟悉了。主要有下面三个步骤：

前向计算每个神经元的输出值，对于LSTM来说，即ft、it、ct、ot、ht五个向量的值。计算方法已经在上一节中描述过了。
反向计算每个神经元的误差项δ值。与循环神经网络一样，LSTM误差项的反向传播也是包括两个方向：一个是沿时间的反向传播，即从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向上一层传播。
根据相应的误差项，计算每个权重的梯度。

关于公式和符号的说明

首先，我们对推导中用到的一些公式、符号做一下必要的说明。

接下来的推导中，我们设定gate的激活函数为sigmoid函数，输出的激活函数为tanh函数。他们的导数分别为：

σ(z)σ′(z)tanh(z)tanh′(z)=y=11+e−z=y(1−y)=y=ez−e−zez+e−z=1−y2(8)(9)(10)(11)

从上面可以看出，sigmoid和tanh函数的导数都是原函数的函数。这样，我们一旦计算原函数的值，就可以用它来计算出导数的值。

LSTM需要学习的参数共有8组，分别是：遗忘门的权重矩阵Wf和偏置项bf、输入门的权重矩阵Wi和偏置项bi、输出门的权重矩阵Wo和偏置项bo，以及计算单元状态的权重矩阵Wc和偏置项bc。因为权重矩阵的两部分在反向传播中使用不同的公式，因此在后续的推导中，权重矩阵Wf、Wi、Wc、Wo都将被写为分开的两个矩阵：Wfh、Wfx、Wih、Wix、Woh、Wox、Wch、Wcx。

我们解释一下按元素乘∘符号。当∘作用于两个向量时，运算如下：

a∘b=⎡⎣⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢⎢b1b2b3...bn⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a1b1a2b2a3b3...anbn⎤⎦⎥⎥⎥⎥⎥

当∘作用于一个向量和一个矩阵时，运算如下：

a∘X=⎡⎣⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢x11x21x31xn1x12x22x32xn2x13x23x33...xn3............x1nx2nx3nxnn⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢a1x11a2x21a3x31anxn1a1x12a2x22a3x32anxn2a1x13a2x23a3x33...anxn3............a1x1na2x2na3x3nanxnn⎤⎦⎥⎥⎥⎥(12)(13)

当∘作用于两个矩阵时，两个矩阵对应位置的元素相乘。按元素乘可以在某些情况下简化矩阵和向量运算。例如，当一个对角矩阵右乘一个矩阵时，相当于用对角矩阵的对角线组成的向量按元素乘那个矩阵：

diag[a]X=a∘X

当一个行向量右乘一个对角矩阵时，相当于这个行向量按元素乘那个矩阵对角线组成的向量：

aTdiag[b]=a∘b

上面这两点，在我们后续推导中会多次用到。

在t时刻，LSTM的输出值为ht。我们定义t时刻的误差项δt为：

δt=def∂E∂ht

注意，和前面几篇文章不同，我们这里假设误差项是损失函数对输出值的导数，而不是对加权输入netlt的导数。因为LSTM有四个加权输入，分别对应ft、it、ct、ot，我们希望往上一层传递一个误差项而不是四个。但我们仍然需要定义出这四个加权输入，以及他们对应的误差项。

netf,tneti,tnetc~,tneto,tδf,tδi,tδc~,tδo,t=Wf[ht−1,xt]+bf=Wfhht−1+Wfxxt+bf=Wi[ht−1,xt]+bi=Wihht−1+Wixxt+bi=Wc[ht−1,xt]+bc=Wchht−1+Wcxxt+bc=Wo[ht−1,xt]+bo=Wohht−1+Woxxt+bo=def∂E∂netf,t=def∂E∂neti,t=def∂E∂netc~,t=def∂E∂neto,t(14)(15)(16)(17)(18)(19)(20)(21)(22)(23)(24)(25)

误差项沿时间的反向传递

沿时间反向传递误差项，就是要计算出t-1时刻的误差项δt−1。

δTt−1=∂E∂ht−1=∂E∂ht∂ht∂ht−1=δTt∂ht∂ht−1(26)(27)(28)

我们知道，∂ht∂ht−1是一个Jacobian矩阵。如果隐藏层h的维度是N的话，那么它就是一个N×N矩阵。为了求出它，我们列出ht的计算公式，即前面的式6和式4：

htct=ot∘tanh(ct)=ft∘ct−1+it∘c~t(29)(30)

显然，ot、ft、it、c~t都是ht−1的函数，那么，利用全导数公式可得：

δTt∂ht∂ht−1=δTt∂ht∂ot∂ot∂neto,t∂neto,t∂ht−1+δTt∂ht∂ct∂ct∂ft∂ft∂netf,t∂netf,t∂ht−1+δTt∂ht∂ct∂ct∂it∂it∂neti,t∂neti,t∂ht−1+δTt∂ht∂ct∂ct∂c~t∂c~t∂netc~,t∂netc~,t∂ht−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc~,t∂netc~,t∂ht−1(式7)(31)(32)

下面，我们要把式7中的每个偏导数都求出来。根据式6，我们可以求出：

∂ht∂ot∂ht∂ct=diag[tanh(ct)]=diag[ot∘(1−tanh(ct)2)](33)(34)

根据式4，我们可以求出：

∂ct∂ft∂ct∂it∂ct∂c~t=diag[ct−1]=diag[c~t]=diag[it](35)(36)(37)

因为：

otneto,tftnetf,titneti,tc~tnetc~,t=σ(neto,t)=Wohht−1+Woxxt+bo=σ(netf,t)=Wfhht−1+Wfxxt+bf=σ(neti,t)=Wihht−1+Wixxt+bi=tanh(netc~,t)=Wchht−1+Wcxxt+bc(38)(39)(40)(41)(42)(43)(44)(45)(46)(47)(48)

我们很容易得出：

∂ot∂neto,t∂neto,t∂ht−1∂ft∂netf,t∂netf,t∂ht−1∂it∂neti,t∂neti,t∂ht−1∂c~t∂netc~,t∂netc~,t∂ht−1=diag[ot∘(1−ot)]=Woh=diag[ft∘(1−ft)]=Wfh=diag[it∘(1−it)]=Wih=diag[1−c~2t]=Wch(49)(50)(51)(52)(53)(54)(55)(56)

将上述偏导数带入到式7，我们得到：

δt−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc~,t∂netc~,t∂ht−1=δTo,tWoh+δTf,tWfh+δTi,tWih+δTc~,tWch(式8)(57)(58)

根据δo,t、δf,t、δi,t、δc~,t的定义，可知：

δTo,tδTf,tδTi,tδTc~,t=δTt∘tanh(ct)∘ot∘(1−ot)(式9)=δTt∘ot∘(1−tanh(ct)2)∘ct−1∘ft∘(1−ft)(式10)=δTt∘ot∘(1−tanh(ct)2)∘c~t∘it∘(1−it)(式11)=δTt∘ot∘(1−tanh(ct)2)∘it∘(1−c~2)(式12)(59)(60)(61)(62)

式8到式12就是将误差沿时间反向传播一个时刻的公式。有了它，我们可以写出将误差项向前传递到任意k时刻的公式：

δTk=∏j=kt−1δTo,jWoh+δTf,jWfh+δTi,jWih+δTc~,jWch(式13)

将误差项传递到上一层

我们假设当前为第l层，定义l-1层的误差项是误差函数对l-1层加权输入的导数，即：

δl−1t=def∂Enetl−1t

本次LSTM的输入xt由下面的公式计算：

xlt=fl−1(netl−1t)

上式中，fl−1表示第l-1层的激活函数。

因为netlf,t、netli,t、netlc~,t、netlo,t都是xt的函数，xt又是netl−1t的函数，因此，要求出E对netl−1t的导数，就需要使用全导数公式：

∂E∂netl−1t=∂E∂netlf,t∂netlf,t∂xlt∂xlt∂netl−1t+∂E∂netli,t∂netli,t∂xlt∂xlt∂netl−1t+∂E∂netlc~,t∂netlc~,t∂xlt∂xlt∂netl−1t+∂E∂netlo,t∂netlo,t∂xlt∂xlt∂netl−1t=δTf,tWfx∘f′(netl−1t)+δTi,tWix∘f′(netl−1t)+δTc~,tWcx∘f′(netl−1t)+δTo,tWox∘f′(netl−1t)=(δTf,tWfx+δTi,tWix+δTc~,tWcx+δTo,tWox)∘f′(netl−1t)(式14)(63)(64)(65)

式14就是将误差传递到上一层的公式。

权重梯度的计算

对于Wfh、Wih、Wch、Woh的权重梯度，我们知道它的梯度是各个时刻梯度之和（证明过程请参考文章零基础入门深度学习(5) - 循环神经网络），我们首先求出它们在t时刻的梯度，然后再求出他们最终的梯度。

我们已经求得了误差项δo,t、δf,t、δi,t、δc~,t，很容易求出t时刻的Woh、的Wih、的Wfh、的Wch：

∂E∂Woh,t∂E∂Wfh,t∂E∂Wih,t∂E∂Wch,t=∂E∂neto,t∂neto,t∂Woh,t=δo,thTt−1=∂E∂netf,t∂netf,t∂Wfh,t=δf,thTt−1=∂E∂neti,t∂neti,t∂Wih,t=δi,thTt−1=∂E∂netc~,t∂netc~,t∂Wch,t=δc~,thTt−1(66)(67)(68)(69)(70)(71)(72)(73)(74)(75)(76)

将各个时刻的梯度加在一起，就能得到最终的梯度：

∂E∂Woh∂E∂Wfh∂E∂Wih∂E∂Wch=∑j=1tδo,jhTj−1=∑j=1tδf,jhTj−1=∑j=1tδi,jhTj−1=∑j=1tδc~,jhTj−1(77)(78)(79)(80)

对于偏置项bf、bi、bc、bo的梯度，也是将各个时刻的梯度加在一起。下面是各个时刻的偏置项梯度：

∂E∂bo,t∂E∂bf,t∂E∂bi,t∂E∂bc,t=∂E∂neto,t∂neto,t∂bo,t=δo,t=∂E∂netf,t∂netf,t∂bf,t=δf,t=∂E∂neti,t∂neti,t∂bi,t=δi,t=∂E∂netc~,t∂netc~,t∂bc,t=δc~,t(81)(82)(83)(84)(85)(86)(87)(88)(89)(90)(91)

下面是最终的偏置项梯度，即将各个时刻的偏置项梯度加在一起：

∂E∂bo∂E∂bi∂E∂bf∂E∂bc=∑j=1tδo,j=∑j=1tδi,j=∑j=1tδf,j=∑j=1tδc~,j(92)(93)(94)(95)

对于Wfx、Wix、Wcx、Wox的权重梯度，只需要根据相应的误差项直接计算即可：

∂E∂Wox∂E∂Wfx∂E∂Wix∂E∂Wcx=∂E∂neto,t∂neto,t∂Wox=δo,txTt=∂E∂netf,t∂netf,t∂Wfx=δf,txTt=∂E∂neti,t∂neti,t∂Wix=δi,txTt=∂E∂netc~,t∂netc~,t∂Wcx=δc~,txTt(96)(97)(98)(99)(100)(101)(102)(103)(104)(105)(106)

以上就是LSTM的训练算法的全部公式。因为这里面存在很多重复的模式，仔细看看，会发觉并不是太复杂。

当然，LSTM存在着相当多的变体，读者可以在互联网上找到很多资料。因为大家已经熟悉了基本LSTM的算法，因此理解这些变体比较容易，因此本文就不再赘述了。