神经网络的结构呈指数型增长的趋势，下图展示了多部分神经网络经典的拓扑结构。

P --> FF : 增加了一层隐藏层，所有节点为全连接

FF --> RBF : 使用径向基函数（Radical Basis Function，RBF）作为激活函数，而不是逻辑函数。这使得神经网络可以处理连续的值。

FF --> DFF : 使用了多层隐藏层，开启了深度学习的纪元。
DFF --> RNN : 在神经网络中传递状态等信息，适用于上下文非常重要的情况。例如当过去的迭代或样本的决策会影响当前的决策时，常见的如文本信息。
RNN --> LSTM : LSTM引入记忆单元，可以控制信息的记录和遗忘，可以处理长依赖信息。不仅可以处理文本，还可以处理视频，语音等。
LSTM --> GRU : GRU是一种门结构不同的LSTM。与LSTM相比，它们消耗的资源更少，并且效果几乎相同。

FF --> AE : 自动编码器用于分类，聚类和特征压缩，是一种无监督学习。
AE --> VAE : 与AE相比，VAE压缩的是概率而不是特征。VAE关注的是两个事件中的连接性等问题。
AE --> DAE : AE往往只是适应输入数据（这实际上是过度拟合的一个例子）。DAE在输入单元上增加了一点噪声—通过随机位，随机切换输入中的位等方式改变数据。
AE --> SAE : 结构与AE中相同，但隐藏的单元数大于输入/输出层单元数。在某些情况下可以显示数据中某些隐藏的分组模式。

FF --> MC : 马尔可夫链是非常古老的图概念，其中每个边都有一个概率。在过去，它们被用来构造文本，如预测下一句话。MC可以用于基于概率的分类（例如贝叶斯过滤器），聚类（某种形式）以及有限状态机。

DFF --> DCN : 引入了卷积核、池化层等操作。在图像处理领域较为常用。

DFF --> GAN : GAN代表了一个庞大的双重网络家族，它由生成器和鉴别器组成。

不同的网络拓扑结构其中的差异：

隐藏层
- AE和SAE中的结构信息完全相同，但中间隐藏层单元的多少决定了是对输入的压缩还是放大。
- 感知机到FF，以及FF到DFF也因为隐藏层的数量不同而不同
神经元
- 神经元具有多样的类型，每一种类型为不同的任务和目的而设定，由此组成了多种多样的神经网络结构
激活函数
- FF和RBF仅仅是激活函数不同

模型结构判断依据

隐藏层
- 数量
- 结构
神经元
- 循环单元
- 记忆单元
- ···
激活函数
特征表示
- 欧式空间
  - 稀疏表示
  - 稠密的表示
- 非欧空间（图）
  - 频谱
  - 空间

常见神经网络结构拓扑图相关推荐

深度学习—常见的神经网络结构
一.卷积神经网络结构常见的卷积神经网络结构: 服务器上:LeNet.AlexNet.VGG.InceptionV1-V4.Inception-ResNet.ResNet 手机上:SqueezNet. ...
几种常见卷积神经网络结构
卷积神经网络图像特征的提取与分类一直是计算机视觉领域的一个基础而重要的研究方向.卷积神经网络( Convolutional Neural Network,CNN) 提供了一种端到端的学习模型,模型中 ...
干货丨史上最好记的神经网络结构速记表（经典资源，值得收藏）
原文THE NEURAL NETWORK ZOO,出自Asimov人工智能研究所. 本文为雷锋网原创文章,如需转载请自行联系授权. 新的神经网络结构不断涌现,我们很难一一掌握.哪怕一开始只是记住所有的 ...
详解随机神经网络结构搜索 (SNAS)
本文出自商汤研究院(SenseTime Research).原论文发表于ICLR 2019,及arXiv:1812.09926 神经网络结构搜索(Neural Architecture Search, ...
卷积神经网络结构可视化工具PlotNeuralNet
卷积神经网络结构可视化简介本文介绍的工具是针对卷积神经网络示意图可视化的,不包括算图.(示意图一般出现在论文中)常见的卷积神经网络示意图绘制工具不少,常用的主要有NN SVG.ConvNetDra ...
深度学习之卷积神经网络（2）卷积神经网络结构
深度学习之卷积神经网络(2)卷积神经网络结构 1. 单通道输入和单卷积核 2. 多通道输入和单卷积核 3. 多通道输入.多卷积核 4. 步长 5. 填充卷积神经网络通过充分利用局部相关性和权值共享 ...
史上最好记的神经网络结构速记表（上）
本文讲的是史上最好记的神经网络结构速记表(上), 新的神经网络结构不断涌现,我们很难一一掌握.哪怕一开始只是记住所有的简称( DCIGN,BiLSTM,DCGAN ),也会让同学们吃不消. 所以我决定 ...
卷积神经网络结构优化综述
卷积神经网络结构优化综述人工智能技术与咨询来源:<自动化学报> ,作者林景栋等摘要近年来,卷积神经网络(Convolutional neural network,CNNs)在计算 ...
大脑皮层由神经组织构成,大脑神经网络结构图片
1.组成大脑皮层的主要结构是什么,可以接说一下吗大脑皮层是由6层神经细胞组成的.在进化中,它由下层到上层依次生成,从而这些不同层次结构的功能也不尽相同.在功能上,它们被分为3个级区:初级区.次级区和 ...
【神经网络结构搜索综述】NAS的挑战和解决方案
[GiantPandaCV导读]上一篇中,笔者翻译了国外一篇介绍Automl和NAS的博客,点这里回顾.这一篇是笔者对<A Comprehensive Survey of Nerual Arch ...

常见神经网络结构拓扑图

模型结构判断依据

常见神经网络结构拓扑图相关推荐

最新文章

热门文章