1、径向基函数神经网络（RBF NN）

RBF NN属于前向型神经网络，理论上可以任意精度逼近任意连续函数，适合解决分类问题。

径向基函数（RBF）：某种沿径向对称的标量函数，通常定义为空间中某点到另外一个中心点的欧氏距离的单调函数，其特点为，如果某点离中心点距离较远，则函数取值很小。

用RBF作为单元的“基”构成隐含层空间，即可将输入矢量直接（即不需要通过权连接）映射到隐空间，低维空间不可分的数据到了高维空间会更有可能变得可分。隐层的功能就是将低维空间的输入通过非线性函数映射到一个高维空间，然后再在这个高维空间进行曲线的拟合。

2、深度神经网络（DNN）

简单理解深度神经网络就是有多个隐层的多层感知器网络，根据实际应用情况不同，其形态和大小也都不一样。

3、卷积神经网络（CNN）

卷积神经网络（CNN）：其是一种多层前馈网络，擅长处理图像特别是大图像的处理和识别。

一个最典型的卷积网络，由卷积层、池化层、全连接层组成。其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。

4. 递归神经网络（RNN）

前馈神经网络只能单独处理一个一个的输入，不同的输入之间被认为是相互独立没有联系的，但实际上很多时候输入之间是有序列关系的，需要使用递归神经网络（RNN），也称循环神经网络，其引入了“记忆”的概念，即描述了当前输出于之前的输入信息的关系，递归的含义是指每个神经元都执行相同的任务，但是输出依赖于输入和“记忆”，常用语NLP、机器翻译、语音识别、图像描述生成、文本相似度等。

5、长短时间记忆网络（LSTM）

长期记忆网络（LSTM）是一种时间递归神经网络，适用于处理和预测，时间序列中间隔和延迟较长的重要事件。基于LSTM的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。

LSTM区别于RNN的地方，主要就在于它在算法中加入了一个判断信息有用与否的“处理器”，信息有用则被记忆，无用则被遗忘。目前已经证明，LSTM是解决长序依赖问题的有效技术，并且这种技术的普适性非常高，导致带来的可能性变化非常多。

6、自编码器（AE）

是人工神经网络的一种，主要用来处理数据的压缩，其数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。原理为训练神经网络，通过捕捉可以代表输入信息的最关键的因素，让其输入能近似复制到输出，即让输入内容和输出内容近似一样。

7、深度信念网络（DBN）

深度信念网络（DBN）或称深度置信网络，神经网络的一种，由多个受限玻尔兹曼机组成。

既可以用于非监督学习，类似于一个自编码器，也可以用于监督学习，类似于一个分类器。

从非监督学习来讲，其目的是尽可能地保留原始特征的特点，同时降低特征的维度。
从监督学习来讲，其目的在于使得分类误率尽可能地小。而不论是监督学习还是非监督学习，DBN的本质都是Feature Learning的过程，即如何得到更好的特征表达。

8、生成式对抗网络GAN

生成对抗网络（GAN）：其核心思想来自于博弈论的“纳什均衡”。

它包含两个网络模型：一个生成模型和一个判别模型。生成模型捕捉样本数据的分布，判别模型是一个二分类的分类器。

生成模型接受一个随机的噪声，结合学习到的样本数据特征，生成一个新的数据，交由分类模型去判断是否是“真实的”，在训练过程中，生成模型尽量生成新数据去欺骗判断模型，判断模型会尽量去识别出不真实的数据，两者实际上是一个“二元极小极大博弈问题”。最终得到一个生成模型可以从来生成新的数据。

常见的几种深度学习网络相关推荐

常见的7种深度学习框架对比
框架简介优点缺点 Theano 2008年诞生于LISA实验室,其设计具有较浓厚的学术气息. 作为第一个Python深度学习框架,Theano很好的完成了自己的使命,为之后深度学习框架的开发奠定 ...
一种深度学习应用于网络入侵检测的思路
一种深度学习应用于网络入侵检测的思路这个思路是分析网络流量,判断网络流量是否属于tor网络流量. 首先需要说明的是,这个思路已经有人在做了,从结论来看,效果很不错: https://blog.csd ...
何恺明团队新作！深度学习网络架构新视角：通过相关图表达理解神经网络
标题&作者团队导语:恺明大神出品,必属精品.Facebook的研究员从一个新奇的角度对神经网络的表示与设计进行探索,提出了一种新颖的相关图表示方式.它有助于对现有网络架构进行更深层次的分析与 ...
【模型解读】深度学习网络之Siamese Network网络
文章首发于微信公众号<有三AI> [模型解读]深度学习网络只能有一个输入吗继续我们之前的专栏<模型解读>,今天说多输入网络,很久没写了因为实在是有更重要的事情. 平常我们所见 ...
深度学习网络backbone？head、neck、bottleneck、GAP、Embedding、pretext task、downstream task、temperature parameter
一些术语: backbone这个单词原意指的是人的脊梁骨,后来引申为支柱,核心的意思.在神经网络中,尤其是CV领域,一般先对图像进行特征提取(常见的有vggnet,resnet,谷歌的inceptio ...
【论文解读】深度学习网络架构新视角：通过相关图表达理解神经网络（何恺明团队新作）...
文章来源于极市平台,作者Happy 标题&作者团队导语:恺明大神出品,必属精品.Facebook的研究员从一个新奇的角度对神经网络的表示与设计进行探索,提出了一种新颖的相关图表示方式.它有助 ...
常见的12个深度学习面试问题（提高篇）
序言整理了一篇来自公众号AI公园的文章,原文链接:常见的12个深度学习面试问题,通过对文章知识点整理来巩固所学的知识,也为了以后更好的复习. 正文 1. 介绍Batch Normalization的 ...
深度学习网络调参技巧
深度学习网络调参技巧本文转载自[炼丹实验室],讲了一些深度学习训练的技巧,其中包含了部分调参心得:深度学习训练心得.不过由于一般深度学习实验,相比普通机器学习任务,时间较长,因此调参技巧就显得尤为重 ...
matlab 创建简单的深度学习网络用于分类
matlab 2018以上版本.如果不是2018以上版本,需要单独安装工具箱Deep learning toolbox 此示例说明如何创建和训练简单的卷积神经网络来进行深度学习分类.卷积神经网络是深度 ...
基于人脸的常见表情识别(1)——深度学习基础知识
基于人脸的常见表情识别(1)--深度学习基础知识神经网络 1. 感知机 2. 多层感知机与反向传播卷积神经网络 1. 全连接神经网络的2大缺陷 2. 卷积神经网络的崛起卷积神经网络的基本网络层 ...

常见的几种深度学习网络