炼丹侠必知的11大神经网络结构汇总!
炼丹笔记基础
时晴,文章框架源于引文[1]
炼丹侠必知的11大神经网络结构汇总!
简 介
随着深度学习的快速发展,目前已经出现了海量的不同结构的神经网络,本文介绍11种炼丹师都需要知道一点的神经网络结构。
十一大必知网络结构
1.Perceptron
感知机是所有神经网络的基础,主要由全连接层组成,下面是感知机示意图。
2.Feed-Forward Network(FNN)
FNN是有Perceptron组合得到的,由输入层、隐藏层和输出层组成,其结构如下:
3.Residual Networks (ResNet)
深度神经网络最大问题就是当网络深度达到一定程度时就会出现消失梯度的问题,导致模型训练不佳,为了缓解该问题,我们设计了残差网络。它通过一个“跳跃”层传播信息号,大大缓解了梯度消失的问题。
4.Recurrent Neural Network (RNN)
递归神经网络是早期处理序列问题的始祖,它包含循环,并在自身上进行递归,因此得名“递归”。RNN允许将信息存储在网络中,并使用先前训练中的推理,对即将发生的事件做出更好、更明智的决策。
5.Long Short Term Memory Network (LSTM)
RNN最大的问题在于,一旦处理的序列较长的时候,例如100,RNN的效果就会大大变差,所以大家设计了LSTM,LSTM可以处理大约300左右长度的序列,这也是为什么目前LSTM在序列化的问题中还经常被使用的原因。
6.Echo State Networks(ESN)
回声状态网络由输入层、隐藏层(即储备池)、输出层组成,是递归神经网络的一种变体,它有一个非常稀疏连接的隐层(通常是百分之一左右的连通性)。神经元的连接和权值是随机分配的,忽略层和神经元的差异(跳跃连接)。ESN将隐藏层设计成一个具有很多神经元组成的稀疏网络,通过调整网络内部权值的特性达到记忆数据的功能。
7.Convolutional Neural Network (CNN)
CNN早期在图像中取得了巨大的成功,在今日,CNN仍然是不可或缺的一部分。因为图像数据有着非常高的维度,训练一个标准网络训练图像(例如简单的MLP)都需要数十万个输入神经元,除了明显的高计算开销外,还会导致许多与神经网络维数灾难相关的问题。CNN则利用卷积层来帮助降低图像的维数,不仅大大降低了训练的参数,而且在效果上也取得了巨大的提升。
8.Deconvolutional Neural Network (DNN)
反卷积神经网络,顾名思义,其性能与卷积神经网络相反。DNN并不是通过卷积来降低来图像的维数,而是利用反卷积来创建图像,一般是从噪声中生成的。DNN还经常用于寻找丢失的特征或信号,这些特征或信号以前可能被认为对卷积神经网络的任务并不重要。一个信号可能由于与其他信号卷积而丢失。信号的Deconvolution可以用于图像合成和分析。
9.Generative Adversarial Network (GAN)
生成性对抗网络是一种专门设计用来生成图像的网络,它由两个网络组成:一个生成器和一个判别器。判别器的任务是区分图像是从数据集中提取的还是由生成器生成的,生成器的任务是生成虚假的图像,尽可能使得判别器无法区分图像是否真实,目前GAN生成的图像很多都是栩栩如生,甚至达到了以假乱真的程度。
10.Auto Encoder (AE)
自动编码器的应用非常广,包括模型压缩、数据去噪、异常检测、推荐系统等等。其基本思想是将原始的高维数据“压缩”、低维的数据,然后将压缩后的数据投影到一个新的空间中。
11.Variational Auto Encoder (VAE)
自动编码器学习输入的压缩表示,而变分自动编码器(VAE)学习表示数据的概率分布的参数。它不只是学习表示数据的函数,而是获得更详细和细致的数据视图,从分布中采样并生成新的输入数据样本。所以VAE更像是一个“生成”模式,类似于GAN。
参考文献
11 Essential Neural Network Architectures, Visualized & Explained
deconvolutional networks
公众号:AI蜗牛车
保持谦逊、保持自律、保持进步
个人微信
备注:昵称+学校/公司+方向
如果没有备注不拉群!
拉你进AI蜗牛车交流群
炼丹侠必知的11大神经网络结构汇总!相关推荐
- 炼丹侠必知的11大神经网络结构汇总
随着深度学习的快速发展,目前已经出现了海量的不同结构的神经网络,本文介绍11种炼丹师都需要知道一点的神经网络结构. 十一大必知网络结构 1.Perceptron 感知机是所有神经网络的基础,主要由全连 ...
- 【深度学习】炼丹侠必知的11大神经网络结构汇总!
时晴,文章框架源于引文[1] 炼丹侠必知的11大神经网络结构汇总! 简 介 随着深度学习的快速发展,目前已经出现了海量的不同结构的神经网络,本文介绍11种炼丹师都需要知道一点的神经网络结构. 十一大必 ...
- 炼丹侠必知的9大池化操作汇总
池化Pooling是卷积神经网络中常见的一种操作,Pooling层是模仿人的视觉系统对数据进行降维,其本质是降维.在卷积层之后,通过池化来降低卷积层输出的特征维度,减少网络参数和计算成本的同时,降低过 ...
- 大数据学习之初学者必知的十大机器学习算法
本文转载自科多大数据,大数据学习都要接触到算法. 本文先为初学者介绍了必知的十大机器学习(ML)算法,并且我们通过一些图解和实例生动地解释这些基本机器学习的概念.我们希望本文能为理解机器学习基本算法提 ...
- HBR推荐|迎战未来必知的10大管理创新趋势
疫情加速改变了企业!疫后新常态下企业管理亟需与时俱进.大胆创新!因为原有许多管理方法和工具更已不再适用.我们更要站在巨人的肩膀上远眺未来,值此HBR百年纪念之际,洞察迎战未来必知的10大管理创新趋势, ...
- 英:程序员必知单词、语句、英文缩写汇总
转自: 程序员必知单词.语句.英文缩写汇总 程序员必知单词.语句.英文缩写汇总 2018年11月06日 14:02:52 牟垚 阅读数:180 综述:便于类,函数命名,工作文档阅读而做的单词积累,还是 ...
- 程序员必知的8大排序(二)-------简单选择排序,堆排序(java实现)
转载:http://blog.csdn.net/pzhtpf/article/details/7559943 3.简单选择排序 (1)基本思想:在要排序的一组数中,选出最小的一个数与第一个位置的数交换 ...
- java程序员必知的 8大排序
下载了文档自己截图存留 8种排序之间的关系: 1, 直接插入排序 (1)基本思想:在要排序的一组数中,假设前面(n-1)[n>=2] 个数已经是排 好顺序的,现在要把第n个数插到前面的有序数中, ...
- 程序员必知单词、语句、英文缩写汇总
综述:便于类,函数命名,工作文档阅读而做的单词积累,还是很有用的,不积跬步,无以至千里,红色仅代表不是很熟悉 一.逻辑编码部分 application 应用程式 应用.应用程序 application ...
最新文章
- 构造函数以及this
- 把一个人的特点写具体作文_部编版五年级下册语文习作把一个人的特点写具体教案课件+范文...
- android之数据存储,Android数据存储之File
- 计算机网络系统集成策略实现摘要,计算机网络集成策略实现探析
- ASP.NET Core2基于RabbitMQ对Web前端实现推送功能
- Java Spring初学者之调试器里括号包含的类含义
- android 华为手机灭屏搜索不到蓝牙_华为Mate 30更新EMUI10.1.0.132版本,新增10项实用功能...
- C语言编写汇编的编译器,用c编写一个asm的编译器
- 有个疑问,想知道你们的前端都是自学吗?
- 「我们的首要之务,并不是遥望模糊的远方,而是专心处理眼前的事务。」---这是卡内基先生所强调的克服忧虑、开创人生的关键。...
- asp正则过滤重复字符串的代码
- 成品app直播源码,Android自屏幕底部滑出更多面板的实现
- 动手了!限19天,大米云主机满10送2手慢无!
- 换个角度理解Android的AIDL原理
- SOAR:软件定义安全之编排篇
- 英文文章写作|文献管理|​​​​​​​阅读文献|引用文献|国内文章
- Java开发翻译系统
- win10.10 激活
- 6款逆天黑科技,颜值爆表,瞬间提升你的手机逼格!
- java运行环境配置