11 种主要神经网络结构图解
原文地址:https://blog.csdn.net/qq_36182852/article/details/107418973
文章目录
- 标准网络
- 1 | 感知器(Perceptron)
- 2 | 前馈(Feed-Forward)网络
- 3 | 残差网络(Residual Networks/ResNet)
- 循环网络
- 4 | 循环神经网络 (Recurrent Neural Network/RNN)
- 5 | 长短期记忆网络(Long Short Term Memory Network/LSTM)
- 6 | 回声状态网络(Echo State Networks/ESN)
- 卷积网络
- 7 | 卷积神经网络 (Convolutional Neural Network/CNN)
- 8 | 反卷积神经网络(Deconvolutional Neural Network/DNN)
- 9 | 生成对抗网络(Generative Adversarial Network/GAN)
- 自动编码器
- 10 | 自动编码器(Auto Encoder/AE)
- 11 | 变分自动编码器(Variational Auto Encoder/VAE)
随着深度学习的快速发展,人们创建了一整套神经网络结构来解决各种各样的任务和问题。尽管有无数的神经网络结构,这里有十一种对于任何深度学习工程师来说都应该理解的结构,可以分为四大类: 标准网络、循环网络、卷积网络和自动编码器。
标准网络
1 | 感知器(Perceptron)
感知器是所有神经网络中最基本的,也是更复杂的神经网络的基本组成部分。它只连接一个输入神经元和一个输出神经元。
2 | 前馈(Feed-Forward)网络
前馈网络是感知器的集合,其中有三种基本类型的层: 输入层、隐藏层和输出层。在每个连接过程中,来自前一层的信号被乘以一个权重,增加一个偏置,然后通过一个激活函数。前馈网络使用反向传播迭代更新参数,直到达到理想的性能。
3 | 残差网络(Residual Networks/ResNet)
深层前馈神经网络的一个问题是所谓的梯度消失,即当网络太深时,有用的信息无法在整个网络中反向传播。当更新参数的信号通过网络传播时,它会逐渐减少,直到网络前面部分的权重不再改变或者根本不再使用。为了解决这个问题,残差网络使用跳过连接实现信号跨层传播。通过使用这种不易受到影响的连接来减少梯度消失问题。随着时间的推移,通过学习特征空间,网络学会了重建跳过的层,但训练更有效,因为它的梯度不容易消失和需要探索更少的特征空间。
循环网络
4 | 循环神经网络 (Recurrent Neural Network/RNN)
循环神经网络是一种特殊类型的网络,它包含环和自重复,因此被称为“循环”。由于允许信息存储在网络中,RNNs 使用以前训练中的推理来对即将到来的事件做出更好、更明智的决定。为了做到这一点,它使用以前的预测作为“上下文信号”。由于其性质,RNNs 通常用于处理顺序任务,如逐字生成文本或预测时间序列数据(例如股票价格)。它们还可以处理任意大小的输入。
5 | 长短期记忆网络(Long Short Term Memory Network/LSTM)
由于上下文信息的范围在实践中是非常有限的,所以 RNNs 有个大问题。给定的输入对隐藏层(即对网络的输出)输入的影响(反向传播误差) ,要么指数级爆炸,要么网络连接循环衰减为零。解决这个梯度消失问题的方法是长短期记忆网络(LSTM)。这种 RNN 结构是专门为解决梯度消失问题而设计的,结构中加入了内存块。这些模块可以看作是计算机中的内存芯片——每个模块包含几个循环连接的内存单元和三个门(输入、输出和遗忘,相当于写入、读取和重置)。该网络只能通过每个门与神经元进行互动,因此这些门学会智能地打开和关闭,以防止梯度爆炸或消失,但也通过“不断错误传送带”传播有用信息,以及丢弃不相关的内存内容。
标准的 RNNs 在输入事件和目标信号之间的时间滞后大于5到10个时间步长时无法学习,LSTM 则不会受到影响,甚至连接时间滞后1,000个时间步长它都可以通过实施一个有用的常量误差流来学习。
6 | 回声状态网络(Echo State Networks/ESN)
回声状态网络是循环神经网络的一个变种,它有一个非常稀疏连接的隐藏层(通常是百分之一的连通性)。神经元的连通性和权重是随机分配的,忽略层和神经元的差异(跳过连接)。通过学习输出神经元的权重,使网络能够产生和再现特定的时间模式。这个网络背后的原因是,尽管它是非线性的,但在训练过程中修改的权重只是突触连接,因此误差函数可以被微分为线性系统。
卷积网络
7 | 卷积神经网络 (Convolutional Neural Network/CNN)
图像具有非常高的维数,因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元,除了显而易见的高计算量,还可能导致许多与神经网络中的维数灾难相关的问题。卷积神经网络提供了一个解决方案,利用卷积和池化层,来降低图像的维度。由于卷积层是可训练的,但参数明显少于标准的隐藏层,它能够突出图像的重要部分,并向前传播每个重要部分。传统的CNNs中,最后几层是隐藏层,用来处理“压缩的图像信息”。
卷积神经网络在基于图像的任务上表现良好,例如将图像分类为狗或猫。
8 | 反卷积神经网络(Deconvolutional Neural Network/DNN)
正如它的名字所暗示的那样,反卷积神经网络与卷积神经网络操作相反。DNN不是通过卷积来降低图像的维数,而是利用反卷积来创建图像,通常是从噪声中获得图像。这本身就是一项艰巨的任务; 想象一下 CNN 的任务:用三句话写出奥威尔《1984》全书的总结摘要,而 DNN 的任务是把这三句话扩展成全本书。
9 | 生成对抗网络(Generative Adversarial Network/GAN)
生成对抗网络是一种专门设计用于生成图像的网络,由两个网络组成: 一个鉴别器和一个生成器。鉴别器的任务是区分图像是从数据集中提取的还是由生成器生成的,生成器的任务是生成足够逼真的图像,以至于鉴别器无法区分图像是否真实。随着时间的推移,在谨慎的监督下,这两个对手相互竞争,彼此都想成功地改进对方。最终的结果是一个训练有素的生成器,可以生成逼真的图像。鉴别器是一个卷积神经网络,其目标是最大限度地提高识别真假图像的准确率,而生成器是一个反卷积神经网络,其目标是最小化鉴别器的性能。
自动编码器
10 | 自动编码器(Auto Encoder/AE)
自动编码器的基本思想是将原始的高维数据“压缩”成高信息量的低维数据,然后将压缩后的数据投影到一个新的空间中。自动编码器有许多应用,包括降维、图像压缩、数据去噪、特征提取、图像生成和推荐系统。它既可以是无监督的方法,也可以是有监督的,可以得到对数据本质的洞见。
隐藏的神经元可以替换为卷积层,以便处理图像。
11 | 变分自动编码器(Variational Auto Encoder/VAE)
自动编码器学习一个输入(可以是图像或文本序列)的压缩表示,例如,压缩输入,然后解压缩回来匹配原始输入,而变分自动编码器学习表示的数据的概率分布的参数。不仅仅是学习一个代表数据的函数,它还获得了更详细和细致的数据视图,从分布中抽样并生成新的输入数据样本。从这个意义上说,它更像是一个纯粹的“生成”模型,就像一个 GAN。
VAE使用了概率隐藏神经元,它对测试用例和神经元平均值之间的差应用了一个径向基核函数。
11 种主要神经网络结构图解相关推荐
- 11种主要神经网络结构图解
11 Essential Neural Network Architectures, Visualized & Explained https://towardsdatascience.com ...
- 利用循环神经网络生成唐诗_11种主要神经网络结构图解
图文解读主要的神经网络结构. 作者:Andre Ye 编译:McGL 公众号:PyVision(欢迎关注,专注CV,偶尔CS) 11 Essential Neural Network Architec ...
- 人工神经网络结构图高清,人工神经网络结构图解
人工神经网络评价法 人工神经元是人工神经网络的基本处理单元,而人工智能的一个重要组成部分又是人工神经网络.人工神经网络是模拟生物神经元系统的数学模型,接受信息主要是通过神经元来进行的. 首先,人工神经 ...
- (转) 干货 | 图解LSTM神经网络架构及其11种变体(附论文)
干货 | 图解LSTM神经网络架构及其11种变体(附论文) 2016-10-02 机器之心 选自FastML 作者:Zygmunt Z. 机器之心编译 参与:老红.李亚洲 就像雨季后非洲大草原许多野 ...
- 图解LSTM神经网络架构及其11种变体(附论文)
来源:机器之心 英文原文:Deep learning architecture diagrams 参与:老红.李亚洲 原文链接:图解LSTM神经网络架构及其11种变体(附论文) 本文经机器之心(微信公 ...
- 几种常见卷积神经网络结构
卷积神经网络 图像特征的提取与分类一直是计算机视觉领域的一个基础而重要的研究方向.卷积神经网络( Convolutional Neural Network,CNN) 提供了一种端到端的学习模型,模型中 ...
- ENet:一种用于实时语义分割的深层神经网络结构
摘要: 实时执行像素语义分割的能力在移动应用程序中至关重要.最近针对这一任务的深层神经网络的缺点是需要大量的浮点运算,并且运行时间长,这阻碍了其可用性.在本文中,我们提出了一种新的深度神经网络体系结构 ...
- 图解高效神经网络结构搜索(ENAS)
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文翻译自:[Illustrated:EfficientNeura ...
- 炼丹侠必知的11大神经网络结构汇总!
炼丹笔记基础 时晴,文章框架源于引文[1] 炼丹侠必知的11大神经网络结构汇总! 简 介 随着深度学习的快速发展,目前已经出现了海量的不同结构的神经网络,本文介绍11种炼丹师都需要知道一点的神经网络结 ...
- 炼丹侠必知的11大神经网络结构汇总
随着深度学习的快速发展,目前已经出现了海量的不同结构的神经网络,本文介绍11种炼丹师都需要知道一点的神经网络结构. 十一大必知网络结构 1.Perceptron 感知机是所有神经网络的基础,主要由全连 ...
最新文章
- java并发读取相同的文件_高效读取大文件,再也不用担心 OOM 了!
- 找出netstat -tan命令的结果中以'LISTEN'后跟0、1或多个空白字符结尾的行
- centos7配置br0_centos 7.2 网卡配置文件 及 linux bridge的静态配置
- PTA L1_002 打印沙漏(C语言)
- 基于大数据的用户行为预测
- C#学习系列之泛型类
- go context的使用总结
- php mysql 备份还原_php 数据库备份还原
- vivoz3android版本多少,谁更值得买—荣耀V10 OR vivo Z3
- SQL Server Compact 3.5 SP1 RTM发布了!
- AutoCAD 2000-14的序列号大全
- coap 返回版本信息_CoAP协议学习笔记——CoAP格式详解
- 如何创建表以及设计表需要注意什么,oracle五种限制
- July大神的大数据解决思路
- python 日常记录笔记
- java 如何理解new_JAVA中new的 理解
- wordpress主题_这些顶级WordPress主题可以使2018年成为有史以来最好的一年
- 【CFD理论】对流项-02
- Altium designer中文化设置
- 安卓手机并没有“校准电池”的方式
热门文章
- 网站 下载 整个_如何下载整个网站?
- POE交换机和普通交换机哪里不同?POE交换机和普通交换机哪个好?
- ubuntu增加swap交换空间
- Transition组件
- java 月份缩写_实训汇编语言设计——输入1-12 ,显示月份缩写
- 外星人电脑装linux双系统,在外星人电脑上安装windows10和ubuntu16.04双系统小记
- Windows 2008 R2 标准版 ie提示 当前安全设置不允许下载该文件 解决办法
- linux DDos病毒查杀过程记录
- 华为云HECS,集智纳简优化配置,畅享一站式使用场景
- eth入门之web2 与 web3 的对比