深度神经网络是什么意思,深度神经网络通俗理解

什么叫神经网络？

南搞小孩给出基本的概念:一.一些基本常识和原理[什么叫神经网络?]人的思维有逻辑性和直观性两种不同的基本方式。

逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。

这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。人工神经网络就是模拟人思维的第二种方式。

这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

[人工神经网络的工作原理]人工神经网络首先要以一定的学习准则进行学习，然后才能工作。

现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。

所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。

首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。

在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。

如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。

如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。

这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。

一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。

南搞小孩一个小程序:关于一个神经网络模拟程序的下载人工神经网络实验系统(BP网络)V1.0Beta作者:沈琦作者关于此程序的说明:从输出结果可以看到，前3条"学习"指令，使"输出"神经元收敛到了值0.515974。

而后3条"学习"指令，其收敛到了值0.520051。再看看处理4和11的指令结果P*Out1:0.520051看到了吗？"大脑"识别出了4和11是属于第二类的！

怎么样?很神奇吧?再打show指令看看吧!"神经网络"已经形成了!你可以自己任意的设"模式"让这个"大脑"学习分辩哦!只要样本数据量充分(可含有误差的样本)，如果能够在out数据上收敛地话，那它就能分辨地很准哦!有时不是绝对精确，因为它具有"模糊处理"的特性.看Process输出的值接近哪个Learning的值就是"大脑"作出的"模糊性"判别!南搞小孩神经网络研究社区:人工神经网络论坛(旧版,枫舞推荐)国际神经网络学会(INNS)(英文)欧洲神经网络学会(ENNS)(英文)亚太神经网络学会(APNNA)(英文)日本神经网络学会(JNNS)(日文)国际电气工程师协会神经网络分会研学论坛神经网络;sty=1&age=0人工智能研究者俱乐部2nsoft人工神经网络中文站=南搞小孩推荐部分书籍:人工神经网络技术入门讲稿(PDF)神经网络FAQ(英文)数字神经网络系统(电子图书)神经网络导论(英文)=南搞小孩还找到一份很有参考价值的讲座是Powerpoint文件，比较大，如果网速不够最好用鼠标右键下载另存.南搞小孩添言:很久之前，枫舞梦想智能机器人从自己手中诞生,SO在学专业的时候也有往这方面发展...考研的时候亦是朝着人工智能的方向发展..但是很不幸的是枫舞考研失败只好放弃这个美好的愿望,为生活奔波.希望你能够成为一个好的智能计算机工程师..枫舞已经努力的在给你提供条件资源哦~~。

谷歌人工智能写作项目：神经网络伪原创

有人可以介绍一下什么是"神经网络"吗?

由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的见解文案狗。

目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

"如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方式进行比较，就可以看出人脑具有以下鲜明特征：1.巨量并行性。

在冯·诺依曼机中，信息处理的方式是集中、串行的，即所有的程序指令都必须调到CPU中后再一条一条地执行。而人在识别一幅图像或作出一项决策时，存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。

据研究，人脑中约有多达10^(10)～10^(11)数量级的神经元，每一个神经元具有103数量级的连接，这就提供了巨大的存储容量，在需要时能以很高的反应速度作出判断。

2.信息处理和存储单元结合在一起。在冯·诺依曼机中，存储内容和存储地址是分开的，必须先找出存储器的地址，然后才能查出所存储的内容。一旦存储器发生了硬件故障，存储器中存储的所有信息就都将受到毁坏。

而人脑神经元既有信息处理能力又有存储功能，所以它在进行回忆时不仅不用先找存储地址再调出所存内容，而且可以由一部分内容恢复全部内容。

当发生"硬件"故障（例如头部受伤）时，并不是所有存储的信息都失效，而是仅有被损坏得最严重的那部分信息丢失。3.自组织自学习功能。

冯·诺依曼机没有主动学习能力和自适应能力，它只能不折不扣地按照人们已经编制好的程序步骤来进行相应的数值计算或逻辑计算。

而人脑能够通过内部自组织、自学习的能力，不断地适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。神经网络研究的主要发展过程大致可分为四个阶段：1.第一阶段是在五十年代中期之前。

西班牙解剖学家Cajal于十九世纪末创立了神经元学说，该学说认为神经元的形状呈两极，其细胞体和树突从其他神经元接受冲动，而轴索则将信号向远离细胞体的方向传递。

在他之后发明的各种染色技术和微电极技术不断提供了有关神经元的主要特征及其电学性质。

1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经活动中所蕴含思想的逻辑活动》中，提出了一个非常简单的神经元模型，即M－P模型。

该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经网络模型的理论研究。

1949年，心理学家D.O.Hebb写了一本题为《行为的组织》的书，在这本书中他提出了神经元之间连接强度变化的规则，即后来所谓的Hebb学习法则。

Hebb写道："当神经细胞A的轴突足够靠近细胞B并能使之兴奋时，如果A重复或持续地激发B，那么这两个细胞或其中一个细胞上必然有某种生长或代谢过程上的变化，这种变化使A激活B的效率有所增加。

"简单地说，就是如果两个神经元都处于兴奋状态，那么它们之间的突触连接强度将会得到增强。

五十年代初，生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电路时，将膜上离子的迁移变化分别等效为可变的Na+电阻和K+电阻，从而建立了著名的Hodykin-Huxley方程。

这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神经计算的出现打下了基础。2.第二阶段从五十年代中期到六十年代末。

1958年，F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络特点的模式识别装置，即代号为MarkI的感知机（Perceptron），这一重大事件是神经网络研究进入第二阶段的标志。

对于最简单的没有中间层的感知机，Rosenblatt证明了一种学习算法的收敛性，这种学习算法通过迭代地改变连接权来使网络执行预期的计算。

稍后于Rosenblatt，B.Widrow等人创造出了一种不同类型的会学习的神经网络处理单元，即自适应线性元件Adaline，并且还为Adaline找出了一种有力的学习规则，这个规则至今仍被广泛应用。

Widrow还建立了第一家神经计算机硬件公司，并在六十年代中期实际生产商用神经计算机和神经计算机软件。

除Rosenblatt和Widrow外，在这个阶段还有许多人在神经计算的结构和实现思想方面作出了很大的贡献。例如，K.Steinbuch研究了称为学习矩阵的一种二进制联想网络结构及其硬件实现。

N.Nilsson于1965年出版的《机器学习》一书对这一时期的活动作了总结。3.第三阶段从六十年代末到八十年代初。

第三阶段开始的标志是1969年M.Minsky和S.Papert所著的《感知机》一书的出版。

该书对单层神经网络进行了深入分析，并且从数学上证明了这种网络功能有限，甚至不能解决象"异或"这样的简单逻辑运算问题。同时，他们还发现有许多模式是不能用单层网络训练的，而多层网络是否可行还很值得怀疑。

由于M.Minsky在人工智能领域中的巨大威望，他在论著中作出的悲观结论给当时神经网络沿感知机方向的研究泼了一盆冷水。

在《感知机》一书出版后，美国联邦基金有15年之久没有资助神经网络方面的研究工作，前苏联也取消了几项有前途的研究计划。

但是，即使在这个低潮期里，仍有一些研究者继续从事神经网络的研究工作，如美国波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen以及日本东京大学的甘利俊一等人。

他们坚持不懈的工作为神经网络研究的复兴开辟了道路。4.第四阶段从八十年代初至今。

1982年，美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型神经网络模型，利用所定义的计算能量函数，成功地求解了计算复杂度为NP完全型的旅行商问题（TravellingSalesmanProblem，简称TSP）。

这项突破性进展标志着神经网络方面的研究进入了第四阶段，也是蓬勃发展的阶段。Hopfield模型提出后，许多研究者力图扩展该模型，使之更接近人脑的功能特性。

1983年，T.Sejnowski和G.Hinton提出了"隐单元"的概念，并且研制出了Boltzmann机。

日本的福岛邦房在Rosenblatt的感知机的基础上，增加隐层单元，构造出了可以实现联想学习的"认知机"。Kohonen应用3000个阈器件构造神经网络实现了二维网络的联想式学习功能。

1986年，D.Rumelhart和J.McClelland出版了具有轰动性的著作《并行分布处理-认知微结构的探索》，该书的问世宣告神经网络的研究进入了高潮。

1987年，首届国际神经网络大会在圣地亚哥召开，国际神经网络联合会（INNS）成立。

随后INNS创办了刊物《JournalNeuralNetworks》，其他专业杂志如《NeuralComputation》，《IEEETransactionsonNeuralNetworks》，《InternationalJournalofNeuralSystems》等也纷纷问世。

世界上许多著名大学相继宣布成立神经计算研究所并制订有关教育计划，许多国家也陆续成立了神经网络学会，并召开了多种地区性、国际性会议，优秀论著、重大成果不断涌现。

今天，在经过多年的准备与探索之后，神经网络的研究工作已进入了决定性的阶段。日本、美国及西欧各国均制订了有关的研究规划。日本制订了一个"人类前沿科学计划"。

这项计划为期15－20年，仅初期投资就超过了1万亿日元。在该计划中，神经网络和脑功能的研究占有重要地位，因为所谓"人类前沿科学"首先指的就是有关人类大脑以及通过借鉴人脑而研制新一代计算机的科学领域。

在美国，神经网络的研究得到了军方的强有力的支持。美国国防部投资4亿美元，由国防部高级研究计划局（DAPRA）制订了一个8年研究计划，并成立了相应的组织和指导委员会。

同时，海军研究办公室（ONR）、空军科研办公室（AFOSR）等也纷纷投入巨额资金进行神经网络的研究。DARPA认为神经网络"看来是解决机器智能的唯一希望"，并认为"这是一项比原子弹工程更重要的技术"。

美国国家科学基金会（NSF）、国家航空航天局（NASA）等政府机构对神经网络的发展也都非常重视，它们以不同的形式支持了众多的研究课题。欧共体也制订了相应的研究计划。

在其ESPRIT计划中，就有一个项目是"神经网络在欧洲工业中的应用"，除了英、德两国的原子能机构外，还有多个欧洲大公司卷进这个研究项目，如英国航天航空公司、德国西门子公司等。

此外，西欧一些国家还有自己的研究计划，如德国从1988年就开始进行一个叫作"神经信息论"的研究计划。我国从1986年开始，先后召开了多次非正式的神经网络研讨会。

1990年12月，由中国计算机学会、电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了"中国神经网络首届学术会议"，从而开创了我国神经网络研究的新纪元。

神经网络（深度学习）的几个基础概念

从广义上说深度学习的网络结构也是多层神经网络的一种。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。

而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。

具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。

输入层-卷积层-降维层-卷积层-降维层--....--隐藏层-输出层简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。深度学习做的步骤是信号->特征->值。

特征是由网络自己选择。

人工神经网络，人工神经网络是什么意思

。

一、人工神经网络的概念人工神经网络（ArtificialNeuralNetwork，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。

该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。

它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。

每个节点代表一种特定的输出函数，称为激活函数（activationfunction）。

每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。

而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。

人工神经网络则是把对生物神经网络的认识与数学统计模型相结合，借助数学统计工具来实现。

另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。

输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。

神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。

人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。

神经网络，是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术。

二、人工神经网络的发展神经网络的发展有悠久的历史。其发展过程大致可以概括为如下4个阶段。

1.第一阶段----启蒙时期(1)、M-P神经网络模型：20世纪40年代，人们就开始了对神经网络的研究。

1943年，美国心理学家麦克洛奇（Mcculloch）和数学家皮兹（Pitts）提出了M-P模型，此模型比较简单，但是意义重大。

在模型中，通过把神经元看作个功能逻辑器件来实现算法，从此开创了神经网络模型的理论研究。

(2)、Hebb规则：1949年，心理学家赫布（Hebb）出版了《TheOrganizationofBehavior》（行为组织学），他在书中提出了突触连接强度可变的假设。

这个假设认为学习过程最终发生在神经元之间的突触部位，突触的连接强度随之突触前后神经元的活动而变化。这一假设发展成为后来神经网络中非常著名的Hebb规则。

这一法则告诉人们，神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。

(3)、感知器模型：1957年，罗森勃拉特（Rosenblatt）以M-P模型为基础，提出了感知器（Perceptron）模型。

感知器模型具有现代神经网络的基本原则，并且它的结构非常符合神经生理学。

这是一个具有连续可调权值矢量的MP神经网络模型，经过训练可以达到对一定的输入矢量模式进行分类和识别的目的，它虽然比较简单，却是第一个真正意义上的神经网络。

Rosenblatt证明了两层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。

Rosenblatt的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突破。

(4)、ADALINE网络模型：1959年，美国著名工程师威德罗（B.Widrow）和霍夫（M.Hoff）等人提出了自适应线性元件(Adaptivelinearelement，简称Adaline)和Widrow-Hoff学习规则（又称最小均方差算法或称δ规则）的神经网络训练方法，并将其应用于实际工程，成为第一个用于解决实际问题的人工神经网络，促进了神经网络的研究应用和发展。

ADALINE网络模型是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。

2.第二阶段----低潮时期人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于1969年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。

这一论断给当时人工神经元网络的研究带来沉重的打击。开始了神经网络发展史上长达10年的低潮期。

(1)、自组织神经网络SOM模型：1972年，芬兰的KohonenT.教授，提出了自组织神经网络SOM(Self-Organizingfeaturemap)。

后来的神经网络主要是根据KohonenT.的工作来实现的。SOM网络是一类无导师学习网络，主要用于模式识别﹑语音识别及分类问题。

它采用一种“胜者为王”的竞争学习算法，与先前提出的感知器有很大的不同，同时它的学习训练方式是无指导训练，是一种自组织网络。

这种学习训练方式往往是在不知道有哪些分类类型存在时，用作提取分类信息的一种训练。

(2)、自适应共振理论ART：1976年，美国Grossberg教授提出了著名的自适应共振理论ART(AdaptiveResonanceTheory)，其学习过程具有自组织和自稳定的特征。

3.第三阶段----复兴时期(1)、Hopfield模型：1982年，美国物理学家霍普菲尔德（Hopfield）提出了一种离散神经网络，即离散Hopfield网络，从而有力地推动了神经网络的研究。

在网络中，它首次将李雅普诺夫（Lyapunov）函数引入其中，后来的研究学者也将Lyapunov函数称为能量函数。证明了网络的稳定性。

1984年，Hopfield又提出了一种连续神经网络，将网络中神经元的激活函数由离散型改为连续型。

1985年，Hopfield和Tank利用Hopfield神经网络解决了著名的旅行推销商问题（TravellingSalesmanProblem）。Hopfield神经网络是一组非线性微分方程。

Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括，提出了动力方程和学习方程，还对网络算法提供了重要公式和参数，使人工神经网络的构造和学习有了理论指导，在Hopfield模型的影响下，大量学者又激发起研究神经网络的热情，积极投身于这一学术领域中。

因为Hopfield神经网络在众多方面具有巨大潜力，所以人们对神经网络的研究十分地重视，更多的人开始了研究神经网络，极大地推动了神经网络的发展。

(2)、Boltzmann机模型：1983年，Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解，这种模拟高温物体退火过程来找寻全局最优解的方法最早由Metropli等人1953年提出的。

1984年，Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机，并明确提出隐单元的概念，这种学习机后来被称为Boltzmann机。

Hinton和Sejnowsky利用统计物理学的感念和方法，首次提出的多层网络的学习算法，称为Boltzmann机模型。

(3)、BP神经网络模型：1986年，儒默哈特（melhart）等人在多层神经网络模型的基础上，提出了多层神经网络权值修正的反向传播学习算法----BP算法（ErrorBack-Propagation），解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。

(4)、并行分布处理理论：1986年，由Rumelhart和McCkekkand主编的《ParallelDistributedProcessing：ExplorationintheMicrostructuresofCognition》，该书中，他们建立了并行分布处理理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。

可以求解感知机所不能解决的问题，回答了《Perceptrons》一书中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力。

(5)、细胞神经网络模型：1988年，Chua和Yang提出了细胞神经网络（CNN）模型，它是一个细胞自动机特性的大规模非线性计算机仿真系统。

Kosko建立了双向联想存储模型（BAM），它具有非监督学习能力。(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初产生了很大的影响，他建立了一种神经网络系统理论。

(7)、1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。

(8)、1988年，Broomhead和Lowe用径向基函数(Radialbasisfunction,RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。

(9)、1991年，Haken把协同引入神经网络，在他的理论框架中，他认为，认知过程是自发的，并断言模式识别过程即是模式形成过程。

(10)、1994年，廖晓昕关于细胞神经网络的数学理论与基础的提出，带来了这个领域新的进展。

通过拓广神经网络的激活函数类，给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络（HNN）、双向联想记忆网络（BAM）模型。

(11)、90年代初，Vapnik等提出了支持向量机(Supportvectormachines,SVM)和VC(Vapnik-Chervonenkis)维数的概念。

经过多年的发展，已有上百种的神经网络模型被提出。

人工神经网络的定义，详细说明

人工神经网络（ArtificialNeuralNetworks,ANN），一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。

（引自《环球科学》2007年第一期《神经语言：老鼠胡须下的秘密》）概念由大量处理单元互联组成的非线性、自适应信息处理系统。

它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：（1）非线性非线性关系是自然界的普遍特性。

大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。

联想记忆是非局限性的典型例子。（3）非常定性人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。

经常采用迭代过程描写动力系统的演化过程。（4）非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。

非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。

网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。

神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。

它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。

人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。

历史沿革1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。

他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。

60年代，人工神经网络的到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。

M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。

他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。

在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。

1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。

1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。

1986年进行认知微观结构地研究，提出了并行分布处理的理论。

人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。

在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。基本内容人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。

目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。

根据连接的拓扑结构，神经网络模型可以分为：（1）前向网络网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。

这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。

（2）反馈网络网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。

Hopfield网络、波耳兹曼机均属于这种类型。学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。

由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。

在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。

有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。

根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。

在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。

当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。

此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。

自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。

研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。

为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。

一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。

“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。

混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。

混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。

混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。混沌轨线是整体上稳定与局部不稳定相结合的结果，称之为奇异吸引子。

一个奇异吸引子有如下一些特征：（1）奇异吸引子是一个吸引子，但它既不是不动点，也不是周期解；（2）奇异吸引子是不可分割的，即不能分为两个以及两个以上的吸引子；（3）它对初始值十分敏感，不同的初始值会导致极不相同的行为。

发展趋势人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。

人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。

近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

Matlab里的神经网络是什么意思啊，我是新手，谁能简单通俗地解释下啊？谢谢了！！！

。

所谓神经网络算法顾名思义是模拟生物神经网络而产生的一种算法，首先需要用一些已知的数据输入到神经网络中，使它知道什么样的数据属于哪一类（训练），然后将未知的数据输入进去，神经网络通过已知的数据对其进行判断来完成分类（分类）。

可以用来进行图像识别、分类；数据预测；曲线拟合等。推荐找本机器学习，人工智能方面的书看。

神经网络有哪些主要分类规则并如何分类？

神经网络模型的分类人工神经网络的模型很多，可以按照不同的方法进行分类。其中，常见的两种分类方法是，按照网络连接的拓朴结构分类和按照网络内部的信息流向分类。

1按照网络拓朴结构分类网络的拓朴结构，即神经元之间的连接方式。按此划分，可将神经网络结构分为两大类：层次型结构和互联型结构。

层次型结构的神经网络将神经元按功能和顺序的不同分为输出层、中间层（隐层）、输出层。输出层各神经元负责接收来自外界的输入信息，并传给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换。

根据需要可设计为一层或多层；最后一个隐层将信息传递给输出层神经元经进一步处理后向外界输出信息处理结果。

而互连型网络结构中，任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的连接程度将互连型网络细分为三种情况：全互连型、局部互连型和稀疏连接型2按照网络信息流向分类从神经网络内部信息传递方向来看，可以分为两种类型：前馈型网络和反馈型网络。

单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名的。

前馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。反馈型网络的结构与单层全互连结构网络相同。

在反馈型网络中的所有节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。

神经网络算法是什么?

。

Introduction--------------------------------------------------------------------------------神经网络是新技术领域中的一个时尚词汇。

很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。

“神经网络”这个词实际是来自于生物学，而我们所指的神经网络正确的名称应该是“人工神经网络（ANNs）”。在本文，我会同时使用这两个互换的术语。

一个真正的神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。

在这里有一个难题：我们对生物学上的神经网络知道的不多！因此，不同类型之间的神经网络体系结构有很大的不同，我们所知道的只是神经元基本的结构。

Theneuron--------------------------------------------------------------------------------虽然已经确认在我们的大脑中有大约50至500种不同的神经元，但它们大部份都是基于基本神经元的特别细胞。

基本神经元包含有synapses、soma、axon及dendrites。

Synapses负责神经元之间的连接，它们不是直接物理上连接的，而是它们之间有一个很小的空隙允许电子讯号从一个神经元跳到另一个神经元。

然后这些电子讯号会交给soma处理及以其内部电子讯号将处理结果传递给axon。而axon会将这些讯号分发给dendrites。

最后，dendrites带着这些讯号再交给其它的synapses，再继续下一个循环。如同生物学上的基本神经元，人工的神经网络也有基本的神经元。

每个神经元有特定数量的输入，也会为每个神经元设定权重（weight）。权重是对所输入的资料的重要性的一个指标。

然后，神经元会计算出权重合计值（netvalue），而权重合计值就是将所有输入乘以它们的权重的合计。每个神经元都有它们各自的临界值（threshold），而当权重合计值大于临界值时，神经元会输出1。

相反，则输出0。最后，输出会被传送给与该神经元连接的其它神经元继续剩余的计算。

Learning--------------------------------------------------------------------------------正如上述所写，问题的核心是权重及临界值是该如何设定的呢？

世界上有很多不同的训练方式，就如网络类型一样多。但有些比较出名的包括back-propagation,deltarule及Kohonen训练模式。

由于结构体系的不同，训练的规则也不相同，但大部份的规则可以被分为二大类别-监管的及非监管的。监管方式的训练规则需要“教师”告诉他们特定的输入应该作出怎样的输出。

然后训练规则会调整所有需要的权重值（这是网络中是非常复杂的），而整个过程会重头开始直至数据可以被网络正确的分析出来。监管方式的训练模式包括有back-propagation及deltarule。

非监管方式的规则无需教师，因为他们所产生的输出会被进一步评估。

Architecture--------------------------------------------------------------------------------在神经网络中，遵守明确的规则一词是最“模糊不清”的。

因为有太多不同种类的网络，由简单的布尔网络（Perceptrons），至复杂的自我调整网络（Kohonen），至热动态性网络模型（Boltzmannmachines）！

而这些，都遵守一个网络体系结构的标准。一个网络包括有多个神经元“层”，输入层、隐蔽层及输出层。输入层负责接收输入及分发到隐蔽层（因为用户看不见这些层，所以见做隐蔽层）。

这些隐蔽层负责所需的计算及输出结果给输出层，而用户则可以看到最终结果。现在，为免混淆，不会在这里更深入的探讨体系结构这一话题。

对于不同神经网络的更多详细资料可以看Generation5essays尽管我们讨论过神经元、训练及体系结构，但我们还不清楚神经网络实际做些什么。

TheFunctionofANNs--------------------------------------------------------------------------------神经网络被设计为与图案一起工作-它们可以被分为分类式或联想式。

分类式网络可以接受一组数，然后将其分类。例如ONR程序接受一个数字的影象而输出这个数字。或者PPDA32程序接受一个坐标而将它分类成A类或B类（类别是由所提供的训练决定的）。

更多实际用途可以看ApplicationsintheMilitary中的军事雷达，该雷达可以分别出车辆或树。联想模式接受一组数而输出另一组。

例如HIR程序接受一个‘脏’图像而输出一个它所学过而最接近的一个图像。联想模式更可应用于复杂的应用程序，如签名、面部、指纹识别等。

TheUpsandDownsofNeuralNetworks--------------------------------------------------------------------------------神经网络在这个领域中有很多优点，使得它越来越流行。

它在类型分类/识别方面非常出色。神经网络可以处理例外及不正常的输入数据，这对于很多系统都很重要（例如雷达及声波定位系统）。很多神经网络都是模仿生物神经网络的，即是他们仿照大脑的运作方式工作。

神经网络也得助于神经系统科学的发展，使它可以像人类一样准确地辨别物件而有电脑的速度！前途是光明的，但现在...是的，神经网络也有些不好的地方。这通常都是因为缺乏足够强大的硬件。

神经网络的力量源自于以并行方式处理资讯，即是同时处理多项数据。因此，要一个串行的机器模拟并行处理是非常耗时的。

神经网络的另一个问题是对某一个问题构建网络所定义的条件不足-有太多因素需要考虑：训练的算法、体系结构、每层的神经元个数、有多少层、数据的表现等，还有其它更多因素。

因此，随着时间越来越重要，大部份公司不可能负担重复的开发神经网络去有效地解决问题。

NN神经网络，NeuralNetworkANNs人工神经网络，ArtificialNeuralNetworksneurons神经元synapses神经键self-organizingnetworks自我调整网络networksmodellingthermodynamicproperties热动态性网络模型++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++网格算法我没听说过好像只有网格计算这个词网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。

这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”，所以这种计算方式叫网格计算。

这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。

简单地讲，网格是把整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。