人工神经网络——笔记摘抄1

一、人工神经网络简介

人工神经网络(Artificial Neural Networks，ANN)基本组成成分是：输入(感知)器、加权求和(信息汇聚)、传递(信息传输)器、输出(响应)器组成。

决定神经网络信息处理性能的三大要素：激励函数、学习算法、拓扑结构。

二、人工神经网络研究热点

①激励函数——反应神经元输入累积和与输出之间的函数关系。

激活函数的种类：线性恒等函数；阈值型激励函数(如阶跃函数)；非线性激励函数(常指sigmod函数，即S形函数，分为单极性S形函数和双极性S形函数两种)；分段线性函数概率型激励函数(利用一个随机函数来描述输出状态为1或0的概率，它重点描述状态的统计概率)。

目前关于激活函数的研究有两个方向：1>复杂形势的函数用作激励函数；2>某线性无关或正交的函数系。前者有可调激励函数(Tunable Activation Function，TAF)神经元模型，具有可调节的权值、阈值(偏置)、激励函数族的参数，优点是学习速度快，网络结构简单，逼近性能好。后者用线性无关或者正交的函数组作为激励函数的神经网络被称为基函数神经网络，包括：高斯基函数神经网络，径向基函数神经网络，小波基函数神经网络，傅里叶基函数神经网络，正交多项式基函数，Legendre正交基钱箱神经网络，Laguerre正交基前向神经网络，Gegenbauer神经网络，Hermite前向神经网络，复指数Fourier神经元网络等神经网络模型。

②学习算法——为使神经网络执行某种任务，需使用有效的学习算法来调节神经元的互联权值或偏置，这就算神经网络的学习修正过程。

1>有监督学习(有教师学习)：采用纠错规则，在学习过程中需要提供与网络输入相对应的期望输出，并根据神经网络的实际输出与期望输出之间的误差信号对应地调整网络的连接权值以使该误差不断缩小，进而使得下一次学习完成后该神经网络的输出更接近期望结果，直至达到所要求的逼近精度(性能指标)。

2>无监督学习(无教师学习)：神经网络根据其特有的结构、外部输入信号特征和学习规则来调节自身参数或结构，其结果是使神经网络的输出能够反映输入的某种固有特性。一般认为这种学习模式中神经网络的学习评价标准隐含于网络内部。

3>混合型学习算法

4>强化学习算法

5>预置型学习算法

☆☆权值调整算法：典型的就是最速梯度下降的误差回传算法，可搜索到最优连接权值，但迭代(收敛)时间长，易陷入局部极小值，学习精度不高，学习率难选取。

基于矩阵逆和伪逆的思想尝试直接确定该类神经网络的最优权值，有点是在ms级的时间内直接计算确定该类神经网络的最优连接权值，学习精度也大大提高。

③拓扑结构

1>前向网络：多采用层次型结构，以层的形式组织起来，各层顺序相联，网络中各神经元接收前一级的输入，并输出到下一级，神经元自身及神经元之间都不存在连接，即网络中没有反馈型物理连接。由输入层，隐藏层，输出层构成。隐层神经元不与外接发生直接的联系，它从网络内部接受输入信息，所产生的输出也只作用于该神经网络中的其他神经元。隐节点过少，学习达不到期望的收敛精度；相反，隐节点过多，网络学习性能得到加强。隐神经元数目的选取直接影响到神经网络拓扑结构和网络性能。

2>反馈型网络：是一种从输出到输入或网络各层具有反馈连接的网络结构。在反馈网络中，输入信号决定网络的初始状态，经过一系列变换(转移)后网络逐渐稳定和接近平衡状态(稳态)，稳态结果就作为反馈网络的最终结果而输出。

☆☆典型的钱箱神经网络是反向误差传播神经网络(Error Back Propagation Neural Network，BP神经网络)，而典型的反馈神经网络是Hopfield类型神经网络。

人工神经网络——笔记摘抄1相关推荐

人工神经网络——笔记摘抄2
一.模式识别系统的主要目标模式识别系统的主要目标是在特征空间和解释空间之间找个一种映射关系. 二.模式识别系统的构成 ①数据获取:将对象属性转换为计算机可以接受的数值或者符号串集合.数值或者符号串组 ...
数据挖掘学习笔记之人工神经网络（一）
由于本人这段时间在学习数据挖掘的知识,学习了人工神经网络刚好就把学习的一些笔记弄出来,也为以后自己回头看的时候方便些. 神经网络学习方法对于逼近实数值.离散值或向量值的目标函数提供了一种健壮性很强的方 ...
人工神经网络(Artificial Neural Netwroks)笔记-消除样本顺序的BP算法
人工神经网络(Artificial Neural Netwroks)笔记-基本BP算法上文中已经提到"基础BP算法"偏爱"较后出现的样本,因此较后出现的样本对网络影响较 ...
[Mitchell 机器学习读书笔记]——人工神经网络
1.简介神经网络学习方法对于逼近实数值.离散值或向量值的目标函数提供了一种健壮性很强的方法.在现实中,学习解释复杂的现实世界中的传感器数据,人工神经网络(Artificial Neural Netw ...
机器学习笔记-人工神经网络（artificial neural networks）
目录人工神经网络(ANN) 引言感知器什么是感知器? 感知器的例子权重和阈值多层前馈神经网络网络结构正向传播反向传播(Error Back Propagation,BP算法) 后话 ...
《人工神经网络原理》读书笔记（六）-Boltzmann机
全部笔记的汇总贴:<人工神经网络原理>-读书笔记汇总一.随机型神经网络的提出 BP和Hopfield网络陷入局部最小点的原因网络误差或能量函数构成了含有多个极小点的非线性超曲面: 网络 ...
《人工神经网络原理》读书笔记（五）-Hopfield神经网络
全部笔记的汇总贴:<人工神经网络原理>-读书笔记汇总 Hopfield神经网络丢弃了"层次"概念,创造出无层次的全互联型神经网络. 引入了"能量函数" ...
【深度学习笔记1.1】人工神经网络（内含模型保存与恢复介绍）
线性阈值单元线性阈值单元(LTU):输入和输出是数字(而不是二进制开/关值),并且每个输入连接都与权重相连.LTU计算其输入的加权和(z = W1×1 + W2×2 + - + + WN×n = W ...
《神经网络和深度学习学习笔记》（二）人工神经网络简介
文章目录第10章人工神经网络简介 1 从生物神经元到人工神经元 1.1 生物神经元 1.2 具有神经元的逻辑计算 1.3 感知器 1.4 多层感知器和反 ...

人工神经网络——笔记摘抄1

人工神经网络——笔记摘抄1相关推荐

最新文章

热门文章