系统学习机器学习之神经网络（六） --GrossBerg网络

原文：http://m.blog.csdn.net/article/details?id=52574264

这里先介绍GrossBerg网络是因为后面CPN中，输出层会用到GrossBerg网络，所以，先做些简单说明。

1.生物学启发

Grossberg网络是受到了人类视觉系统的生理学研究的启发，如图，视网膜是大脑的一部分，它由三层神经细胞组成：
外层
光感受器：转化光成电信号
杆状体 – 使我们能在昏暗的情况下看见东西
锥体 – 使我们能看到精细的细节和色彩
中间层
双极细胞 – 连接光感受器到第三层
水平细胞 – 连结感受器和双极细胞
无长突细胞 – 连结双极细胞与神经节细胞
第三层
神经节细胞 – 通过视觉神经连结视网膜到大脑

（1）幻觉

克服视网膜的不完善的吸收机制产生了幻觉，Grossberg和其他人使用了大量已知的幻觉来探测自适应感知机制。

视网膜的吸收过程中存在着不完善之处：

（a）视神经乳头处既无杆状细胞，也无椎体细胞，给视场造成盲点。

（b）动脉和静脉在视网膜后部的光感受器的前面交叉，阻碍了杆状细胞及椎体细胞接收市场中的所有光线。

对此，视觉路径上的神经系统做出了某些补偿处理

（a）应急切断(Emergent Segmentation)：补偿了丢失的边界。
（b）特征填充(Featural Filling-In)：在产生的边界内填充颜色和亮度

（2）视觉规格化

（a）亮度一致

（b）亮度对比

仅觉察到相对亮度的差别，非绝对亮度。

2.基本线性系统

（1）漏积分器

一阶线性微分方程

(1)

ε是系统的时间常量

对于一个任意的输入p(t)，漏积分器的响应是

(2)

当p为常数，n(0)=0时，

上式变为

重要属性：

(a)由于（1）式是线性的，如果输入p按比例变化，则响应n(t)也会以同样的大小按比例变化

(b)漏积分器的响应速度由时间常数ε决定。当ε减少时，响应速度变快，当ε增加时相应速度变慢。

（2）并联模型

操作方程：

p+：非负激励输入，使网络响应增加
p-：非负抑制输入，使网络响应减少
b+：非负常量，上限
b-：非负常量，下限

上式中，第一部分-n（t）是一个线性衰减项，当n（t）为正时这一项为负，n（t）为负时这一项为正。

第二部分，提供非线性的增益控制，当n（t）比b+小时，这部分为负，但当n（t）=b+时变为0，提供非线性的增益控制。

第三部分也提供非线性的增益控制，给n（t）设置了一个下限-。

(分析：令，则或，即<n<)

令

得

增加激励输入，网络稳定响应将增加，但总是小于b+ = 1，即保持了相对强度

3.两层竞争网络

（1）短期记忆和长期记忆

Grossberg网络由三部分组成：第一层，第二层和自适应权值。第一层是视网膜操作的一个粗略模型，第二层代表视觉皮层。具有短期记忆（STM）和长期记忆（LTM）机制，能够自适应调整、过滤、标准化和对比度增强。

第一层

Grossberg网络的第一层接收外部输入并规格化输入模式的强度。使用并联模式，以输入向量p计算出来激励输入和抑制输入。

第一层的运算方程

上式是一个有激励输入和抑制输入的并联模式，其中

因此对神经元i的激励输入时输入向量的第i个元素，抑制输入时除了输入向量第i个元素的所有元素之和。

规格化输入模式：加强中心/抑制周围

设

（i=1，2，3.....）

因此所有神经元的上限相同。

在稳定状态下

定义相对强度

其中

稳定状态神经元的活跃度

总活跃度

自此，输入向量已规格化，从而总的活跃度<。而第一层的输出与相对强度成正比，无论总输入P的幅度如何。

Grossberg网络的第一层解释了人类视觉系统的亮度一致性和亮度对比特征。这种网络

（a）对于一个图像的相对强度而非绝对强度是敏感的。

（b）具有加强中心/抑制周围的连接模式，和视网膜神经节细胞的接收区域相似。

eg：一个有两神经元的例子

其相应情况如下图

如上图，对于p1或p2，其第2个元素都是第1个元素的4倍，p2是p1的5倍，，上图可以看出网络的相应保持了输入的相对强度，而同时限制了总强度。

第二层

（1）短期记忆

Grossberg的第二层，是一个连续的instar层，实现（a）规格化这一层的总活跃度（b）对模式产生对比度增强。（c）最后，像短期记忆（STM）一样通过存储对比度增强模式操作

第二层也是用并联模型，与第一层的区别是使用了反馈式连接。反馈使得网络能够存储模式，即使是在输入撤销之后，反馈也能进行竞争，从而产生模式的对比度增强。

第二层的运算方程为

激励输入：

W2的行在训练之后会代表原型模式。

抑制输入：

eg：一个由两个神经元组成的层

则运算方程为：

如下图，当输入向量时，输入向量加入了0.25秒

第二层输入为

因此第二个神经元是第一个神经元输入的1.5倍，然而在0.25秒，第二个神经元的输出是第一个神经元输出的6.34倍。高与低的对比度急剧的增加了

（2）对比度增强

（a）第二层的输入是第一层的输出（规格化的输入）的内积。最大的内积与输入模式最相近的原型对应。第二层在在神经元之间实行竞争，将易于产生输出模式的对比度增强，保持大的输出并使小的输出减弱。这种对比度增强比起Hamming网络及Kohonen网络通常要缓和一些。在Hamming和Kohonen中，竞争除了一个意外的所有神经元输出归0。而在grossberg网络中，竞争保持大的值而削弱小的值。对比度增强的大小是由传输函数f所决定的。

（b）当输入被置0时，网络进一步增强对比度，并且存储模式。

由上图，当输入撤销（0.25秒后），第一个神经元的输出衰减至0，而同时第二个神经元的输出达到一个稳定状态值0.79.及时在这个输入撤消后，这个输出仍然得到了保存。（非线性反馈=》网络存储模式，对比度增强的加强中心/抑制周围的连接模式）

（3）传输函数

Grossberg第二层的行为很大程度上依赖于传输函数f(n)。例如，假定一个输入在使用一段时间后被撤销

4.学习规则

无监督的Hebb规则

W2的学习规则：

当ni2（t）不活跃时关闭学习：

eg：两个神经元的例子

设α=1，开始时所有权值置为0

模式1用第二层的第一个神经元编码，模式2用第二层的第二个神经元编码。

如下图，只在非0时更新，并且收敛到相应的n1模式：和，

只在非0时得到调整，并且收敛到相应的n1模式。

系统学习机器学习之神经网络（六） --GrossBerg网络相关推荐

系统学习机器学习之神经网络（七） --CPN
原文:http://blog.csdn.net/u014070279/article/details/47299987 1987年,美国学者Robert Hecht-Nielsen提出了对偶传播神经网 ...
系统学习机器学习之神经网络（十二） --人工神经网络总结
本来这篇还缺个RBM,但RBM在DBN中使用,暂时放在深度学习那里.这里看到一篇非常好的总结,保存下来. 转自:http://blog.csdn.net/fengbingchun/article/de ...
系统学习机器学习之神经网络（三）--GA神经网络与小波神经网络WNN
1 遗传算法 1.1 遗传算法简介: 遗传算法是一类借鉴生物界的进化规律(适者生存,优胜劣汰遗传机制)演化而来的随机化搜索方法.它是由美国的 J.Holland 教授 1975 年首先提出,其主要特 ...
系统学习机器学习之神经网络（一）--MLP及局部模型,RBF综述
今天我们要谈的MLP其实是一种人工神经网络结构,属于非参数估计,可以用于解决分类和回归问题.我们先来了解下神经网络的背景,然后再来介绍下感知器. 神经网络感知器多层感知器神经网络的应用局部模型 ...
系统学习机器学习之神经网络（九） --Hopfield网络
转自:http://blog.csdn.net/lg1259156776/article/details/47323889 一.前言经过一段时间的积累,对于神经网络,已经基本掌握了感知器.BP算法及 ...
系统学习机器学习之神经网络（十） --BAM网络
转自:http://www.07net01.com/2015/08/897795.html 联想记忆网络的研究是神经网络的重要分支,在各种联想记忆网络模型中,由B·Kosko于1988年提出的双向联想 ...
系统学习机器学习之神经网络（五） --ART
原文:http://blog.csdn.net/lg1259156776/article/details/47780695?ticket=ST-86810-0pIYIAWVt6D75CfTmo6O-p ...
系统学习机器学习之神经网络（四） --SOM
转自:http://blog.csdn.net/xbinworld/article/details/50818803,其实内容更多的是百度文库里叫<SOM自组织特征映射神经网络>这篇文章上 ...
系统学习机器学习之神经网络（十一） --TDNN
转自:http://blog.csdn.net/richard2357/article/details/16896837 近来在了解卷积神经网络(CNN),后来查到CNN是受语音信号处理中时延神经网络 ...

系统学习机器学习之神经网络（六） --GrossBerg网络

系统学习机器学习之神经网络（六） --GrossBerg网络相关推荐

最新文章

热门文章