类似于人脑的一种神经递质，有一个信号经过一系列传到有一个输出（单线）。既然是网络，应该就是一堆上述带有输入输出的线构成的网络吧。

reference:

一文看懂四种基本的神经网络架构​www.jianshu.com

基本三大类架构：

前馈神经网络：第一层输入，最后一层输出。中间为隐藏层。内部链接是非线性函数。

循环网络：定向循环，按照箭头指示。input-> hidden->output 全连接，但是每层节点无连接（独立）；

循环神经网络（递归）： 节点之间有关联。

对称神经网络：个单元之间连接对称（两方向上权重相等）。有隐藏层的叫Hopfield， 无隐藏藏层的叫玻尔兹曼机。

神经网络分类：

1. 卷积神经网络CNN:

构成（层）： 卷积（提取特征），池化（降维减少参数），全连接（通过链接得到结果）。

主要用途：模式识别（语音，像素，情景，人脸），p图，自动驾驶，定位，分割。

特点：有特征提取器（卷积层+子采样层pooling[常用有均值采样和最大值采样 ]），将大量图片进行降维，压缩成小数据量，且有效保存特征（即便是倒置，反转镜像，也能识别）。

优点： 通过卷积减少网络之间的链接（减少参数），防止过拟合。

2. 递归神经网络RNN（循环， 输入层之间有联系！）：

结构模式：将每一次的训练结果带到下一个隐藏层中。

主要用途：预测（根据已有信息， 有条件，非独立）， 文本填空， 机器翻译，语音识别。

特点：可处理任何长度序列，且隐藏层内部有链接（每个节点都和隐藏层的每个节点有链接）。

问题：结果层临近的几个隐藏层对结果的权重影响较大，（短期记忆问题，因而长输入序列无法有效处理，可能会忘了初始的几层），而且训练成本也挺大。

解决办法：

长短期记忆网络： LSTM （只保留重要信息）

LSTM进化升级产生了Gate Recurrent Unit (GRU) 保留重要信息，在长期传播也不丢失，简化节省了大量数据集的训练。

3. 深度信念（DBN）:

主要用途：协同滤波、分类、降维、图像检索、信息检索、语言处理、自动语音识别、时间序列建模、文档分类、非线性嵌入学习、暂态数据模型学习和信号与信息处理等任务。（百度百科）

特点： 概率生成模型，考虑了联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估。given 的条件是observation, 已知观察值，定义标签。有点类似于似然和条件概率。逐层训练。

优点：考虑内部连接关系，（联合分布，耦合，高阶相关性）与传统相比，避免误差累积传递过长。

*（区别于） 受限玻尔兹曼机RBM: 通过输入数据集学习概率分布的随机生成神经网络。一种拓扑结构，有高阶相互作用。 BM是对称耦合的随机反馈型二值单元神经网络，通过权值表达单元的相关性。无输出层，只是通过模型学习数据内部关系，而且无定向（单向不可逆），是双向全连接。受限的意思就是收到了二分（显层和隐层）的限制。层级之间有链接，但是单元无连接。

4. 生成对抗网络：无监督

构成：生成器generator (常见为通过机器自动生成的图像) + 判别器 discriminator（判断该图像是生成的还是真实的）

步骤：

1. 确定判别器的指标（或判别式）【制定规则标准】； 生成器训练，训练的目的是【迷惑判别器】，不让判别器识别出来它是自动生成的伪图像。（也算是变相检验判别器的规则）

2. 接着确定生成器，开始训练判别器。

3. 循环上述两步，使得机器生成的图像逼真。

主要用途：生成逼真图像(锐度高，清晰)，修复老照片。

优点： 可以训练任意生成器； 无需马尔科夫反复采样，无需推断，避开复杂概率计算。

问题： 不稳定，难收敛训练；模式缺失，不能继续学习。