连续型Hopfield神经网络(SHNN)结构和特点及其能量函数

1 连续型Hopfield神经网络

连续型Hopfield网络结构如右图所示，它是单层反馈非线性网络，每一个节点的输出均反馈至节点的输入。

Hopfield网络用模拟电路实现的神经元节点如下图。图中电阻 Ri0R_{i0}Ri0 和电容 CiC_iCi 并联，模拟生物神经元的延时特性，电阻 Rij(j=1,2,...,n)R_{ij}(j=1, 2, ... , n)Rij(j=1,2,...,n) 模拟突触特征，偏置电流 IiI_iIi 相当于阈值，运算放大器模拟神经元的非线性饱和特性。

设模型中放大器为理想放大器，其输入端无电流输入，则第 i 个放大器的输入方程为：
CidUidt=−UiRi0+∑j=1nWij(Vi−Ui)+IiWij=1Rij\begin{array}{l} C_{i} \frac{d U_{i}}{d t}=-\frac{U_{i}}{R_{i0}}+\sum\limits_{j=1}^{n} W_{i j}\left(V_{i}-U_{i}\right)+I_{i} \\ W_{i j}=\frac{1}{R_{i j}} \end{array} CidtdUi=−Ri0Ui+j=1∑nWij(Vi−Ui)+IiWij=Rij1

连续型 HopfieId 动态神经网络模型如下图所示，取 Wij=Wji,Wii=0W_{ij}=W_{ji},\;W_{ii}=0Wij=Wji,Wii=0 (无自反馈)

设
1Ri=1Ri0+∑j=1nWij\frac{1}{R_i}=\frac{1}{R_{i0}}+\sum\limits_{j=1}^nW_{ij} Ri1=Ri01+j=1∑nWij

则有：
{CidUidt=−UiRi+∑j=1nWijVi+IiVi=f(Ui)(1)\left\{ \begin{array}{l} C_{i} \frac{d U_{i}}{d t}=-\frac{U_{i}}{R_{i}}+\sum\limits_{j=1}^{n} W_{i j}V_{i}+I_{i} \\ V_i=f(U_i) \end{array} \right. \tag{1} ⎩⎨⎧CidtdUi=−RiUi+j=1∑nWijVi+IiVi=f(Ui)(1)

一般设
{U=xV=yRiCi=τIC=θ\left\{ \begin{aligned} &U=x\\ &V=y\\ &R_iC_i=\tau\\ &\frac{I}{C}=\theta \end{aligned} \right. ⎩⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎧U=xV=yRiCi=τCI=θ

{dxidt=−1τxi+1Ci∑jWijyj+θiyi=f(xi)\left\{\begin{array}{l} \frac{d x_{i}}{d t}=-\frac{1}{\tau} x_{i}+\frac{1}{C_{i}} \sum\limits_{j} W_{i j} y_{j}+\theta_{i} \\ y_{i}=f\left(x_{i}\right) \end{array}\right. {dtdxi=−τ1xi+Ci1j∑Wijyj+θiyi=f(xi)

式中 f(x)为S形激励函数。一般有以下两种形式：

非对称型 Sigmoid 函数：f(x)=11+e−xf(x)=\frac{1}{1+e^{-x}}f(x)=1+e−x1
对称型 Sigmoid 函数：f(x)=1−e−x1+e−xf(x)=\frac{1-e^{-x}}{1+e^{-x}}f(x)=1+e−x1−e−x

2 能量函数

能量函数的定义
E=−12∑i=1n∑j=1nWijViVj−∑i=1nViIi+∑i=1n1Ri∫0Vif−1(V)dVE=-\frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} W_{i j} V_{i} V_{j}-\sum_{i=1}^{n} V_{i} I_{i}+\sum_{i=1}^{n} \frac{1}{R_{i}} \int_{0}^{V_{i}} f^{-1}(V) d V E=−21i=1∑nj=1∑nWijViVj−i=1∑nViIi+i=1∑nRi1∫0Vif−1(V)dV

对 ∑i=1n1Ri∫0Vif−1(V)dV\sum_{i=1}^{n} \frac{1}{R_{i}} \int_{0}^{V_{i}} f^{-1}(V)dV∑i=1nRi1∫0Vif−1(V)dV 的 ViV_iVi 求导：积分的求导就是 f−1(Vi)f^{-1}(V_i)f−1(Vi) 了，由于 Vi=f(Ui)V_i=f(U_i)Vi=f(Ui)，所以 ∂∑i=1n1Ri∫0Vif−1(V)dV∂Vi=Ui\frac{\partial \sum_{i=1}^{n} \frac{1}{R_{i}} \int_{0}^{V_{i}} f^{-1}(V)dV}{\partial V_i}=U_i∂Vi∂∑i=1nRi1∫0Vif−1(V)dV=Ui

求取 dEdt\frac{dE}{dt}dtdE：
dEdt=∑i∂E∂VidVidt(2)\frac{d E}{d t}=\sum_{i} \frac{\partial E}{\partial V_{i}} \frac{d V_{i}}{d t} \tag{2} dtdE=i∑∂Vi∂EdtdVi(2)

其中：
∂E∂Vi=−12∑jWijVj−12∑jWjiVj−Ii+1RiUi\frac{\partial E}{\partial V_{i}}=-\frac{1}{2} \sum_{j} W_{i j} V_{j}-\frac{1}{2} \sum_{j} W_{j i} V_{j}-I_{i}+\frac{1}{R_{i}} U_{i} ∂Vi∂E=−21j∑WijVj−21j∑WjiVj−Ii+Ri1Ui

由于 Wij=WjiW_{ij}=W_{ji}Wij=Wji，则有：
∂E∂Vi=−∑jWijVj−Ii+1RiUi\frac{\partial E}{\partial V_i}=-\sum\limits_j W_{ij}V_j-I_i+\frac{1}{R_i}U_i ∂Vi∂E=−j∑WijVj−Ii+Ri1Ui

由连续 Hopfield 运行方程 (1) 可得：
∂E∂Vi=−CidUidt=−Ci(dVidt)dUidVi=−Ci(dVidt)ddVif−1(Vi)\frac{\partial E}{\partial V_i}=-C_i\frac{dU_i}{dt}=-C_i\left(\frac{dV_i}{dt}\right)\frac{dU_i}{dV_i}=-C_i\left(\frac{dV_i}{dt}\right)\frac{d}{dV_i}f^{-1}(V_i) ∂Vi∂E=−CidtdUi=−Ci(dtdVi)dVidUi=−Ci(dtdVi)dVidf−1(Vi)

将上式代入式 (2) 可得：
dEdt=−∑iCi(dVidt)2f−1(Vi)\frac{dE}{dt}=-\sum_iC_i\left(\frac{dV_i}{dt}\right)^2f^{-1}(V_i) dtdE=−i∑Ci(dtdVi)2f−1(Vi)

由于 Ci>0,f(U)C_i>0,\; f(U)Ci>0,f(U) 单调递增，故 f−1(V)f^{-1}(V)f−1(V)也单调递增，可得：
dEdt≤0\frac{dE}{dt}\le 0 dtdE≤0

当且仅当，dVidt=0\frac{dV_i}{dt}=0dtdVi=0 时，dEdt=0\frac{dE}{dt}=0dtdE=0

结论：网络是渐进稳定的，随着时间的推移，网络的状态向E减小的方向运动，其稳定平衡状态就是E的极小点。

没看懂看这里

3 连续型 Hopfield 神经网络特点

连续神经网络模型在简化生物神经元性质的同时，重点突出了以下特点：
a. 神经元作为一个输入输出变换，其传输特性具有 sigmoid 特性。
b. 神经元之间大量的兴奋性、抑制性连接，主要通过反馈来实现。
C. 既代表产生动作电位的神经元又代表按渐进方式工作的神经元。

因此，连续神经网络模型准确地保留了生物神经网络的动态和非线形特征。