神经网络国内外发展概况,图神经网络和神经网络

bp神经网络研究现状

。

BP网络的误差逆传播算法因有中间隐含层和相应的学习规则，使得它具有很强的非线性映射能力，而且网络的中间层数、各层神经元个数及网络的学习系数等参数可以根据实际情况设定，有很大的灵活性，且能够识别含有噪声的样本，经过学习能够把样本隐含的特征和规则分布在神经网络的连接权上。

总的说来，BP网络的优点主要有：(1)算法推导清楚，学习精度较高；(2)经过训练后的BP网络，运行速度很快，有的可用于实时处理；(3)多层(至少三层)BP网络具有理论上逼近任意非线性连续函数的能力，也就是说，可以使多层前馈神经网络学会任何可学习的东西，而信息处理的大部分问题都能归纳为数学映射，通过选择一定的非线性和连接强度调节规律，BP网络就可解决任何一个信息处理的问题。

目前，在手写字体的识别、语音识别、文本一语言转换、图像识别以及生物医学信号处理方面已有实际的应用。

同时BP算法与其它算法一样，也存在自身的缺陷：(1)由于该算法采用误差导数指导学习过程，在存在较多局部极小点的情况下容易陷入局部极小点，不能保证收敛到全局最小点：(2)存在学习速度与精度之间的矛盾，当学习速度较快时，学习过程容易产生振荡，难以得到精确结果，而当学习速度较慢时，虽然结果的精度较高，但学习周期太长：(3)算法学习收敛速度慢；(4)网络学习记忆具有不稳定性，即当给一个训练好的网络提供新的学习记忆模式时，将使已有的连接权值打乱，导致已记忆的学习模式的信息消失；(5)网络中间层(隐含层)的层数及它的单元数的选取无理论上的指导，而是根据经验确定，因此网络的设计有时不一定是最佳的方案。

谷歌人工智能写作项目：小发猫

人工神经网络的发展趋势

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用AI爱发猫。

人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。

近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。

其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。

由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。

目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。下面主要就神经网络与小波分析、混沌、粗集理论、分形理论的融合进行分析。

与小波分析的结合1981年，法国地质学家Morlet在寻求地质数据时，通过对Fourier变换与加窗Fourier变换的异同、特点及函数构造进行创造性的研究，首次提出了小波分析的概念，建立了以他的名字命名的Morlet小波。

1986年以来由于YMeyer、S.Mallat及IDaubechies等的奠基工作，小波分析迅速发展成为一门新兴学科。

Meyer所著的小波与算子，Daubechies所著的小波十讲是小波研究领域最权威的著作。小波变换是对Fourier分析方法的突破。

它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。

小波分析相当于一个数学显微镜，具有放大、缩小和平移功能，通过检查不同放大倍数下的变化来研究信号的动态特性。因此，小波分析已成为地球物理、信号处理、图像处理、理论物理等诸多领域的强有力工具。

小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合，因而具有较强的逼近能力和容错能力。

在结合方法上，可以将小波函数作为基函数构造神经网络形成小波网络，或者小波变换作为前馈神经网络的输入前置处理工具，即以小波变换的多分辨率特性对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态特性，作为神经网络的输入。

小波神经网络在电机故障诊断、高压电网故障信号处理与保护研究、轴承等机械故障诊断以及许多方面都有应用，将小波神经网络用于感应伺服电机的智能控制，使该系统具有良好的跟踪控制性能，以及好的鲁棒性，利用小波包神经网络进行心血管疾病的智能诊断，小波层进行时频域的自适应特征提取，前向神经网络用来进行分类，正确分类率达到94%。

小波神经网络虽然应用于很多方面，但仍存在一些不足。从提取精度和小波变换实时性的要求出发，有必要根据实际情况构造一些适应应用需求的特殊小波基，以便在应用中取得更好的效果。

另外，在应用中的实时性要求，也需要结合DSP的发展，开发专门的处理芯片，从而满足这方面的要求。混沌神经网络混沌第一个定义是上世纪70年代才被Li-Yorke第一次提出的。

由于它具有广泛的应用价值，自它出现以来就受到各方面的普遍关注。

混沌是一种确定的系统中出现的无规则的运动，混沌是存在于非线性系统中的一种较为普遍的现象，混沌运动具有遍历性、随机性等特点，能在一定的范围内按其自身规律不重复地遍历所有状态。

混沌理论所决定的是非线性动力学混沌，目的是揭示貌似随机的现象背后可能隐藏的简单规律，以求发现一大类复杂问题普遍遵循的共同规律。

1990年Kaihara、T.Takabe和M.Toyoda等人根据生物神经元的混沌特性首次提出混沌神经网络模型，将混沌学引入神经网络中，使得人工神经网络具有混沌行为，更加接近实际的人脑神经网络，因而混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一，成为神经网络的主要研究方向之一。

与常规的离散型Hopfield神经网络相比较，混沌神经网络具有更丰富的非线性动力学特性，主要表现如下：在神经网络中引入混沌动力学行为；混沌神经网络的同步特性；混沌神经网络的吸引子。

当神经网络实际应用中，网络输入发生较大变异时，应用网络的固有容错能力往往感到不足，经常会发生失忆现象。

混沌神经网络动态记忆属于确定性动力学运动，记忆发生在混沌吸引子的轨迹上，通过不断地运动(回忆过程)一一联想到记忆模式，特别对于那些状态空间分布的较接近或者发生部分重叠的记忆模式，混沌神经网络总能通过动态联想记忆加以重现和辨识，而不发生混淆，这是混沌神经网络所特有的性能，它将大大改善Hopfield神经网络的记忆能力。

混沌吸引子的吸引域存在，形成了混沌神经网络固有容错功能。这将对复杂的模式识别、图像处理等工程应用发挥重要作用。

混沌神经网络受到关注的另一个原因是混沌存在于生物体真实神经元及神经网络中，并且起到一定的作用，动物学的电生理实验已证实了这一点。

混沌神经网络由于其复杂的动力学特性，在动态联想记忆、系统优化、信息处理、人工智能等领域受到人们极大的关注。

针对混沌神经网络具有联想记忆功能，但其搜索过程不稳定，提出了一种控制方法可以对混沌神经网络中的混沌现象进行控制。研究了混沌神经网络在组合优化问题中的应用。

为了更好的应用混沌神经网络的动力学特性，并对其存在的混沌现象进行有效的控制，仍需要对混沌神经网络的结构进行进一步的改进和调整，以及混沌神经网络算法的进一步研究。

基于粗集理论粗糙集(RoughSets)理论是1982年由波兰华沙理工大学教授Z.Pawlak首先提出，它是一个分析数据的数学理论，研究不完整数据、不精确知识的表达、学习、归纳等方法。

粗糙集理论是一种新的处理模糊和不确定性知识的数学工具，其主要思想就是在保持分类能力不变的前提下，通过知识约简，导出问题的决策或分类规则。

目前，粗糙集理论已被成功应用于机器学习、决策分析、过程控制、模式识别与数据挖掘等领域。

粗集和神经网络的共同点是都能在自然环境下很好的工作，但是，粗集理论方法模拟人类的抽象逻辑思维，而神经网络方法模拟形象直觉思维，因而二者又具有不同特点。

粗集理论方法以各种更接近人们对事物的描述方式的定性、定量或者混合性信息为输入，输入空间与输出空间的映射关系是通过简单的决策表简化得到的，它考虑知识表达中不同属性的重要性确定哪些知识是冗余的，哪些知识是有用的，神经网络则是利用非线性映射的思想和并行处理的方法，用神经网络本身结构表达输入与输出关联知识的隐函数编码。

在粗集理论方法和神经网络方法处理信息中，两者存在很大的两个区别：其一是神经网络处理信息一般不能将输入信息空间维数简化，当输入信息空间维数较大时，网络不仅结构复杂，而且训练时间也很长；而粗集方法却能通过发现数据间的关系，不仅可以去掉冗余输入信息，而且可以简化输入信息的表达空间维数。

其二是粗集方法在实际问题的处理中对噪声较敏感，因而用无噪声的训练样本学习推理的结果在有噪声的环境中应用效果不佳。而神经网络方法有较好的抑制噪声干扰的能力。

因此将两者结合起来，用粗集方法先对信息进行预处理，即把粗集网络作为前置系统，再根据粗集方法预处理后的信息结构，构成神经网络信息处理系统。

通过二者的结合，不但可减少信息表达的属性数量，减小神经网络构成系统的复杂性，而且具有较强的容错及抗干扰能力，为处理不确定、不完整信息提供了一条强有力的途径。

目前粗集与神经网络的结合已应用于语音识别、专家系统、数据挖掘、故障诊断等领域，将神经网络和粗集用于声源位置的自动识别，将神经网络和粗集用于专家系统的知识获取中，取得比传统专家系统更好的效果，其中粗集进行不确定和不精确数据的处理，神经网络进行分类工作。

虽然粗集与神经网络的结合已应用于许多领域的研究，为使这一方法发挥更大的作用还需考虑如下问题：模拟人类抽象逻辑思维的粗集理论方法和模拟形象直觉思维的神经网络方法更加有效的结合；二者集成的软件和硬件平台的开发，提高其实用性。

与分形理论的结合自从美国哈佛大学数学系教授BenoitB.Mandelbrot于20世纪70年代中期引入分形这一概念，分形几何学(Fractalgeometry)已经发展成为科学的方法论--分形理论，且被誉为开创了20世纪数学重要阶段。

现已被广泛应用于自然科学和社会科学的几乎所有领域，成为现今国际上许多学科的前沿研究课题之一。由于在许多学科中的迅速发展，分形已成为一门描述自然界中许多不规则事物的规律性的学科。

它已被广泛应用在生物学、地球地理学、天文学、计算机图形学等各个领域。

用分形理论来解释自然界中那些不规则、不稳定和具有高度复杂结构的现象，可以收到显著的效果，而将神经网络与分形理论相结合，充分利用神经网络非线性映射、计算能力、自适应等优点，可以取得更好的效果。

分形神经网络的应用领域有图像识别、图像编码、图像压缩，以及机械设备系统的故障诊断等。

分形图像压缩/解压缩方法有着高压缩率和低遗失率的优点，但运算能力不强，由于神经网络具有并行运算的特点，将神经网络用于分形图像压缩/解压缩中，提高了原有方法的运算能力。

将神经网络与分形相结合用于果实形状的识别，首先利用分形得到几种水果轮廓数据的不规则性，然后利用3层神经网络对这些数据进行辨识，继而对其不规则性进行评价。

分形神经网络已取得了许多应用，但仍有些问题值得进一步研究：分形维数的物理意义；分形的计算机仿真和实际应用研究。随着研究的不断深入，分形神经网络必将得到不断的完善，并取得更好的应用效果。?。

人工神经网络的发展

现代意义上对神经网络（特指人工神经网络）的研究一般认为从1943年美国芝加哥大学的生理学家W.S.McCulloch和W.A.Pitts提出M-P神经元模型开始，到今年正好六十年。

在这六十年中，神经网络的发展走过了一段曲折的道路。

1965年M.Minsky和S.Papert在《感知机》一书中指出感知机的缺陷并表示出对这方面研究的悲观态度，使得神经网络的研究从兴起期进入了停滞期，这是神经网络发展史上的第一个转折。

到了20世纪80年代初，J.J.Hopfield的工作和D.Rumelhart等人的PDP报告显示出神经网络的巨大潜力，使得该领域的研究从停滞期进入了繁荣期，这是神经网络发展史上的第二个转折。

到了20世纪90年代中后期，随着研究者们对神经网络的局限有了更清楚的认识，以及支持向量机等似乎更有前途的方法的出现，“神经网络”这个词不再象前些年那么“火爆”了。

很多人认为神经网络的研究又开始陷入了低潮，并认为支持向量机将取代神经网络。

有趣的是，著名学者C.-J.Lin于2003年1月在德国马克斯·普朗克研究所所做的报告中说，支持向量机虽然是一个非常热门的话题，但目前最主流的分类工具仍然是决策树和神经网络。

由著名的支持向量机研究者说出这番话，显然有一种特殊的意味。事实上，目前神经网络的境遇与1965年之后真正的低潮期相比有明显的不同。

在1965年之后的很长一段时期里，美国和前苏联没有资助任何一项神经网络的研究课题，而今天世界各国对神经网络的研究仍然有大量的经费支持；1965年之后90%以上的神经网络研究者改变了研究方向，而今天无论是国际还是国内都有一支相对稳定的研究队伍。

实际上，神经网络在1965年之后陷入低潮是因为当时该领域的研究在一定意义上遭到了否定，而今天的相对平静是因为该领域已经走向成熟，很多技术开始走进生产和生活，从而造成了原有研究空间的缩小。

在科学研究中通常有这么一个现象，当某个领域的论文大量涌现的时候，往往正是该领域很不成熟、研究空间很大的时候，而且由于这时候人们对该领域研究的局限缺乏清楚的认识，其热情往往具有很大的盲目性。

从这个意义上说，过去若干年里各领域研究者一拥而上、各种专业刊物满眼“神经网络”的风光，其实是一种畸形繁荣的景象，而对神经网络的研究现在才进入了一个比较理智、正常的发展期。

在这段时期中，通过对以往研究中存在的问题和局限进行反思，并适当借鉴相关领域的研究进展，将可望开拓新的研究空间，为该领域的进一步发展奠定基础。

超大规模图神经网络系统真的可以实现赋予机器常识吗？

机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。

机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。从学习方式来讲，机器学习包括监督式学习、非监督式学习、半监督式学习和强化学习。

以算法来分类，则有回归算法、基于实例的算法、正则化方法、决策树学习、贝叶斯方法、基于核的算法、聚类算法、关联规则学习、遗传算法、人工神经网络、深度学习、降低维度算法和集成算法。

因此，深度学习又是机器学习的分支。深度学习是一种以人工神经网络为架构，对数据进行表征学习的算法。

如今，单纯的深度学习已经成熟，结合了深度学习的图神经网络将端到端学习与归纳推理相结合，有望解决深度学习无法处理的关系推理、可解释性等一系列问题。

强大的图神经网络将会类似于由神经元等节点所形成网络的人的大脑，机器有望成为具备常识，具有理解、认知能力的AI。

机器阅读和理解人类语言比尔·盖茨曾经发表过对人工智能的一些看法，他认为人工智能会有惊人的影响，并且大多都是好的。比如帮助学生，帮助查看分析图像，帮助我们了解发生了什么。

同时他也提出，人工智能还有一件事还不能实现，而一旦实现，将帮助人们解决更多的难题，这一点就是：阅读。

“所有相关的公司都在努力实现这一点，比如有一本生物学的书，人工智能会不会阅读它，然后通过考试或者操作一项实验。

这是最后一个难题，目前视力问题解决了，语言能力也不错，甚至翻译也很好，现在我们都在攻克阅读问题。一旦有了阅读能力，就可以帮助科学发明，这将会非常了不起，可以更好地帮助人们解决问题。

人工智能势头很猛，发展比我们预期的更快，像那场围棋比赛的结果，就是一个惊人的里程碑。”是的，让机器正确理解人类知识和语言的技术比起图片和声音识别技术来说更加困难。

一是因为人类语言的“余地”，语言作为一种表达方式，是非常偏向于模糊和不确定的。

二是因为人类语言会因环境变化而变化，对它的理解多数是通过当时情境的作用，而这一点又让语言理解的复杂程度加倍，机器是难以标记和模拟相关环境的。

尽管互联网上已经包含了足够多的语言文字信息，我们还是无法以机器能够理解的形式将这些信息真正传递给它们。

因此，比尔·盖茨认为让机器学会阅读和理解人类语言是一个里程碑式事件，而微软、谷歌、Facebook和IBM等公司也在发力机器学习阅读理解能力。

从某种意义上来讲，我的理解是，机器阅读人类语言应该也是从弱人工智能到强人工智能跨越的标志之一。机器理解和创造自己随着越来越多的这类技术变得成熟，机器将会在各种各样的任务上超越人类。

那么，机器是否可以理解自己呢？甚至机器是否可以设计和编码自己本身呢？可以想象一下，一旦机器做到这一步，那将会带来什么样的颠覆。

GoogleBrain团队在探索这个领域，他们称之为“自动机器学习”方向。顶尖的人工智能专家们发现，设计机器学习系统本身这样一个他们最困难的工作之一，也有可能通过AI系统自动完成。

甚至在一些场景下，AI系统自己开发的AI系统已经赶上甚至超过了人类专家。

国外著名科技记者StevenLevy在他刊于BackChannel的文章《谷歌如何将自己重塑为一家“机器学习为先”的公司》中提到，谷歌大脑负责人JeffDean表示，如果现在让他改写谷歌的基础设施，大部分代码都不会由人编码，而将由机器学习自动生成。

学术界也有相关研究，伯克利的KeLi和JitendraMalik在他们日前提交的论文《LearningtoOptimize》中提出了让算法自我优化的方法。

他们在论文摘要中写道，“算法设计是一个费力的过程，通常需要许多迭代的思想和验证。在本文中，我们探讨自动化算法设计，并提出了一种方法学习自动优化算法”。

从强化学习的角度入手，KeLi和JitendraMalik使用指导性策略搜索来让AI学习优化算法，并且证明了他们所设计的算法在收敛速度和/或最终目标值方面优于现有的手工编程开发的算法。

神经网络优缺点，

优点：（1）具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。

预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。（2）具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。（3）具有高速寻找优化解的能力。

寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

缺点：（1）最严重的问题是没能力来解释自己的推理过程和推理依据。（2）不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。

（3）把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。（4）理论和学习算法还有待于进一步完善和提高。

扩展资料：神经网络发展趋势人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。

人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。

神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。

由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。

目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。参考资料：百度百科-人工神经网络。

有人可以介绍一下什么是"神经网络"吗?

由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的见解。

目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

"如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方式进行比较，就可以看出人脑具有以下鲜明特征：1.巨量并行性。

在冯·诺依曼机中，信息处理的方式是集中、串行的，即所有的程序指令都必须调到CPU中后再一条一条地执行。而人在识别一幅图像或作出一项决策时，存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。

据研究，人脑中约有多达10^(10)～10^(11)数量级的神经元，每一个神经元具有103数量级的连接，这就提供了巨大的存储容量，在需要时能以很高的反应速度作出判断。

2.信息处理和存储单元结合在一起。在冯·诺依曼机中，存储内容和存储地址是分开的，必须先找出存储器的地址，然后才能查出所存储的内容。一旦存储器发生了硬件故障，存储器中存储的所有信息就都将受到毁坏。

而人脑神经元既有信息处理能力又有存储功能，所以它在进行回忆时不仅不用先找存储地址再调出所存内容，而且可以由一部分内容恢复全部内容。

当发生"硬件"故障（例如头部受伤）时，并不是所有存储的信息都失效，而是仅有被损坏得最严重的那部分信息丢失。3.自组织自学习功能。

冯·诺依曼机没有主动学习能力和自适应能力，它只能不折不扣地按照人们已经编制好的程序步骤来进行相应的数值计算或逻辑计算。

而人脑能够通过内部自组织、自学习的能力，不断地适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。神经网络研究的主要发展过程大致可分为四个阶段：1.第一阶段是在五十年代中期之前。

西班牙解剖学家Cajal于十九世纪末创立了神经元学说，该学说认为神经元的形状呈两极，其细胞体和树突从其他神经元接受冲动，而轴索则将信号向远离细胞体的方向传递。

在他之后发明的各种染色技术和微电极技术不断提供了有关神经元的主要特征及其电学性质。

1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经活动中所蕴含思想的逻辑活动》中，提出了一个非常简单的神经元模型，即M－P模型。

该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经网络模型的理论研究。

1949年，心理学家D.O.Hebb写了一本题为《行为的组织》的书，在这本书中他提出了神经元之间连接强度变化的规则，即后来所谓的Hebb学习法则。

Hebb写道："当神经细胞A的轴突足够靠近细胞B并能使之兴奋时，如果A重复或持续地激发B，那么这两个细胞或其中一个细胞上必然有某种生长或代谢过程上的变化，这种变化使A激活B的效率有所增加。

"简单地说，就是如果两个神经元都处于兴奋状态，那么它们之间的突触连接强度将会得到增强。

五十年代初，生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电路时，将膜上离子的迁移变化分别等效为可变的Na+电阻和K+电阻，从而建立了著名的Hodykin-Huxley方程。

这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神经计算的出现打下了基础。2.第二阶段从五十年代中期到六十年代末。

1958年，F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络特点的模式识别装置，即代号为MarkI的感知机（Perceptron），这一重大事件是神经网络研究进入第二阶段的标志。

对于最简单的没有中间层的感知机，Rosenblatt证明了一种学习算法的收敛性，这种学习算法通过迭代地改变连接权来使网络执行预期的计算。

稍后于Rosenblatt，B.Widrow等人创造出了一种不同类型的会学习的神经网络处理单元，即自适应线性元件Adaline，并且还为Adaline找出了一种有力的学习规则，这个规则至今仍被广泛应用。

Widrow还建立了第一家神经计算机硬件公司，并在六十年代中期实际生产商用神经计算机和神经计算机软件。

除Rosenblatt和Widrow外，在这个阶段还有许多人在神经计算的结构和实现思想方面作出了很大的贡献。例如，K.Steinbuch研究了称为学习矩阵的一种二进制联想网络结构及其硬件实现。

N.Nilsson于1965年出版的《机器学习》一书对这一时期的活动作了总结。3.第三阶段从六十年代末到八十年代初。

第三阶段开始的标志是1969年M.Minsky和S.Papert所著的《感知机》一书的出版。

该书对单层神经网络进行了深入分析，并且从数学上证明了这种网络功能有限，甚至不能解决象"异或"这样的简单逻辑运算问题。同时，他们还发现有许多模式是不能用单层网络训练的，而多层网络是否可行还很值得怀疑。

由于M.Minsky在人工智能领域中的巨大威望，他在论著中作出的悲观结论给当时神经网络沿感知机方向的研究泼了一盆冷水。

在《感知机》一书出版后，美国联邦基金有15年之久没有资助神经网络方面的研究工作，前苏联也取消了几项有前途的研究计划。

但是，即使在这个低潮期里，仍有一些研究者继续从事神经网络的研究工作，如美国波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen以及日本东京大学的甘利俊一等人。

他们坚持不懈的工作为神经网络研究的复兴开辟了道路。4.第四阶段从八十年代初至今。

1982年，美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型神经网络模型，利用所定义的计算能量函数，成功地求解了计算复杂度为NP完全型的旅行商问题（TravellingSalesmanProblem，简称TSP）。

这项突破性进展标志着神经网络方面的研究进入了第四阶段，也是蓬勃发展的阶段。Hopfield模型提出后，许多研究者力图扩展该模型，使之更接近人脑的功能特性。

1983年，T.Sejnowski和G.Hinton提出了"隐单元"的概念，并且研制出了Boltzmann机。

日本的福岛邦房在Rosenblatt的感知机的基础上，增加隐层单元，构造出了可以实现联想学习的"认知机"。Kohonen应用3000个阈器件构造神经网络实现了二维网络的联想式学习功能。

1986年，D.Rumelhart和J.McClelland出版了具有轰动性的著作《并行分布处理-认知微结构的探索》，该书的问世宣告神经网络的研究进入了高潮。

1987年，首届国际神经网络大会在圣地亚哥召开，国际神经网络联合会（INNS）成立。

随后INNS创办了刊物《JournalNeuralNetworks》，其他专业杂志如《NeuralComputation》，《IEEETransactionsonNeuralNetworks》，《InternationalJournalofNeuralSystems》等也纷纷问世。

世界上许多著名大学相继宣布成立神经计算研究所并制订有关教育计划，许多国家也陆续成立了神经网络学会，并召开了多种地区性、国际性会议，优秀论著、重大成果不断涌现。

今天，在经过多年的准备与探索之后，神经网络的研究工作已进入了决定性的阶段。日本、美国及西欧各国均制订了有关的研究规划。日本制订了一个"人类前沿科学计划"。

这项计划为期15－20年，仅初期投资就超过了1万亿日元。在该计划中，神经网络和脑功能的研究占有重要地位，因为所谓"人类前沿科学"首先指的就是有关人类大脑以及通过借鉴人脑而研制新一代计算机的科学领域。

在美国，神经网络的研究得到了军方的强有力的支持。美国国防部投资4亿美元，由国防部高级研究计划局（DAPRA）制订了一个8年研究计划，并成立了相应的组织和指导委员会。

同时，海军研究办公室（ONR）、空军科研办公室（AFOSR）等也纷纷投入巨额资金进行神经网络的研究。DARPA认为神经网络"看来是解决机器智能的唯一希望"，并认为"这是一项比原子弹工程更重要的技术"。

美国国家科学基金会（NSF）、国家航空航天局（NASA）等政府机构对神经网络的发展也都非常重视，它们以不同的形式支持了众多的研究课题。欧共体也制订了相应的研究计划。

在其ESPRIT计划中，就有一个项目是"神经网络在欧洲工业中的应用"，除了英、德两国的原子能机构外，还有多个欧洲大公司卷进这个研究项目，如英国航天航空公司、德国西门子公司等。

此外，西欧一些国家还有自己的研究计划，如德国从1988年就开始进行一个叫作"神经信息论"的研究计划。我国从1986年开始，先后召开了多次非正式的神经网络研讨会。

1990年12月，由中国计算机学会、电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了"中国神经网络首届学术会议"，从而开创了我国神经网络研究的新纪元。