神经元模型及网络结构

作者：明天依旧可好

原文链接：https://mtyjkh.blog.csdn.net/article/details/111284220

人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。（来自：百度百科）

神经网络包括输入层、输出层和中间层（也叫隐藏层）。下图是一个三层神经网络，输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。

神经网络结构图

注意：

1.设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；
2.神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别；
3.结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。

神经元

神经元模型是一个包含输入，输出与计算功能的模型。

结构：

函数表达式：

n=f(wp+b)n=f(wp+b)n=f(wp+b)

w：为权值
p：为输入
b：偏置值

一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。

传输函数

也称激活函数，可以直接当数学里面的函数来理解

多输入神经元

结构：

函数表达式：
n=w1,1p1+w1,2p2+...+w1,RpR+bn=w_{1,1}p_1+w_{1,2}p_2+...+w_{1,R}p_R+bn=w1,1p1+w1,2p2+...+w1,RpR+b
改写成矩阵形式
n=wp+bn=wp+bn=wp+b
进而
a=f(wp+b)a=f(wp+b)a=f(wp+b)

网络结构

单层神经网络

结构：

函数表达式：

n=wp+bn=wp+bn=wp+b

a=f(wp+b)a=f(wp+b)a=f(wp+b)
www为：
w=[w1,1w1,2⋯w1,Rw2,1w2,2⋯w2,R⋮⋮⋱⋮wS,1wS,1⋯wS,R]w= \begin{bmatrix} w_{1,1} & w_{1,2} & ⋯& w_{1,R} \\ w_{2,1} & w_{2,2} & ⋯&w_{2,R} \\ ⋮& ⋮ & ⋱&⋮ \\ w_{S,1} & w_{S,1} & ⋯&w_{S,R} \\ \end{bmatrix} w=⎣⎢⎢⎢⎡w1,1w2,1⋮wS,1w1,2w2,2⋮wS,1⋯⋯⋱⋯w1,Rw2,R⋮wS,R⎦⎥⎥⎥⎤

S：神经元个数
R：输入值个数

单层神经网络

结构：

回复神经网络

结构：

参考书籍：《神经网络设计》第二版
参考文章：https://www.cnblogs.com/subconscious/p/5058741.html#second