几种主要的神经网络----全连接神经网络、前馈神经网络、卷积神经网络、循环神经网络
几种主要的神经网络
- 一、全连接神经网络
- 二、前馈神经网络(Feedforward neural network,FNN)
- 三、卷积神经网络(Convolutional Neural Network,CNN)
- 四、循环神经网络(Recurrent neural network,RNN )
一、全连接神经网络
顾名思义,全连接神经网络中,对n-1层和n层而言,n-1层的任意一个节点,都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候,激活函数的输入是n-1层所有节点的加权,这个激活函数是非线性的。它的缺点就是权重太多了,计算量很大。
它可作用于大多数场景。
二、前馈神经网络(Feedforward neural network,FNN)
前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元。在此种神经网络中,各神经元可以接收前一层神经元的信号,并产生输出到下一层。第0层叫输入层,最后一层叫输出层,其他中间层叫做隐含层(或隐藏层、隐层)。隐层可以是一层,也可以是多层。
- 在前馈神经网络中,不同的神经元属于不同的层,每一层的神经元可以接受到前一层的神经元信号,并产生信号输出到下一层。第0层叫做输入层,最后一层叫做输出层,中间的叫做隐藏层,整个网络中无反馈,信号从输入层到输出层单向传播,可用一个有向无环图表示。在西瓜书5.2有提及。
三、卷积神经网络(Convolutional Neural Network,CNN)
卷积神经网络是一种具有局部连接,权重共享等特性的深层前馈神经网络。一般是由卷积层,汇聚层,全连接层交叉堆叠而成,使用反向传播算法进行训练。其有三个结构上的特征:局部连接,权重共享以及汇聚。这些特征使得卷积神经网络具有一定程度上的平移,缩放和旋转不变性。较前馈神经网络而言,其参数更少。
卷积神经网络的输入为二维的像素整阵列,输出为这个图片的属性,当网络训练学习后,所输入的图片或许经过稍微的变换,但卷积神经网络还是可以通过识别图片局部的特征而将整个图片识别出来。
- 数据输入层:该层要做的处理主要是对原始图像数据进行预处理,包括去均值(把输入数据各个维度都中心化为0,其目的就是把样本的中心拉回到坐标系原点上),归一化(幅度归一化到同样的范围);
卷积计算层:相当于滤镜,将图片进行分块,对每一块进行特征处理,从而提取特征,这是最重要的一层。具体操作还未仔细学习。
池化层:池化层夹在连续的卷积层中间, 用于压缩数据和参数的量,减小过拟合。通过对提取的高维特征进行降维,对于输入为图像的情况,这里最主要的作用应该就是压缩。
全连接层:对空间排列的特征化成一维的向量。
主要应用:计算机视觉,图像和视频分析的各种任务上,比如图像分类,人脸识别,物体识别,图像分割等,其准确率也远远超过了其他的人工神经网络。近年来,卷积神经网络也应用到自然语言处理和推荐系统等领域。
四、循环神经网络(Recurrent neural network,RNN )
- 循环神经网络是一类具有短期记忆能力的神经网络,在循环神经网络中,神经元不仅可以接受其他神经元的信息,还可以接受自身的信息,形成一个环路结构。在很多现实任务中,网络的输出不仅和当前的输入有关,也和过去一段时间的输出相关。
从网络结构上,循环神经网络会记忆之前的信息,并利用之前的信息影响后面结点的输出。即:循环神经网络的隐藏层之间的结点是有连接的,**隐藏层的输入不仅包括输入层的输出,还包括上一时刻隐藏层的输出。**类似于机器学习西瓜书的5.5.5介绍的Elman网络
常用于文本填充、时间序列、语音识别等序列数据。
几种主要的神经网络----全连接神经网络、前馈神经网络、卷积神经网络、循环神经网络相关推荐
- 深度学习前馈、卷积、循环神经网络介绍及pytorch实践
参考: 慕课<人工智能导论:模型与算法> pytorch中文教程 历史 pytorch神经网络构建 神经网络可以通过 torch.nn 包来构建. 神经网络是基于自动梯度 (autogra ...
- 全连接层 时间复杂度_神经网络全连接层(3)
CNN网络基础结构 神经网络-全连接层(3) 上一回我们聊完了算法,这回我们正式开始写代码.上回在做公式推导的时候,我们实际上只是针对一个数据样本进行推导,而实际中,计算和训练都是一批一批完成的.大多 ...
- 卷积神经网络—全连接层
卷积神经网络-全连接层 全连接层 全连接层与卷积层 全连接层与GAP(全局平均池化层) [1] https://blog.csdn.net/Touch_Dream/article/details/79 ...
- 卷积神经网络全连接层转换为卷积层获得heatmap
理论部分 转自 http://blog.csdn.net/u010668083/article/details/46650877 实验部分 全连接层换卷积层的出处大约是yahoo的一篇论文" ...
- 循环神经网络_小孩都看得懂的循环神经网络
点击上方"MLNLP",选择"星标"公众号 重磅干货,第一时间送达 全文共 2014 字,28 幅图,预计阅读时间 20 分钟. 本文是「小孩都看得懂」系列的第 ...
- 神经网络学习小记录2——利用tensorflow构建循环神经网络(RNN)
神经网络学习小记录2--利用tensorflow构建循环神经网络(RNN) 学习前言 RNN简介 tensorflow中RNN的相关函数 tf.nn.rnn_cell.BasicLSTMCell tf ...
- 全连接、卷积、循环神经网络介绍
神经网络简介 训练神经网络主要围绕下面四部分: 层,多个层组合成网络(或模型) 输入数据和相应目标 损失函数,即用于学习的反馈信号 优化器,决定学习过程如何进行 层.损失函数.优化器之间的关系: 层: ...
- 卷积神经网络--全连接层
在卷积神经网络尚未火热的年代,人们使用haar/lbp + adaboost级连的组合方式检测人脸,hog+svm的组合方式检测行人.这种传统的目标检测方法一个认知上的优势就是: 模块的功能明确,划分 ...
- 神经网络-全连接层(1)
写在前面:感谢@夏龙对本文的审阅并提出了宝贵的意见. 接下来聊一聊现在大热的神经网络.最近这几年深度学习发展十分迅速,感觉已经占据了整个机器学习的"半壁江山".各大会议也是被深度学 ...
最新文章
- 安徽全国计算机缴费,全国计算机等级考试3月报名 安徽首次网上报名缴费
- 搭建turnserver
- python3哪个教程好-Python3 教程
- java ls_linux ls 命令
- java重载_Java的重载与覆盖,傻傻分不清!
- PHP多条件模糊查询
- [SOJ] 畅通工程续
- 配置 --- vscode自定义代码段Snippets
- 贪心策略取得最优解的条件_什么是贪心算法?
- Mapgis图转换为可导入软件的shp
- linux脚本写的计算器,一步步打造自己的linux命令行计算器
- Facebook 十五年,扎克伯格回到了工程师的原点
- GPUimage 遇到的崩溃及问题
- CAD常用命令大全(快捷键和命令说明)
- 越南无线网dns服务器设置,越南dns 服务器地址
- python批处理删除文件夹中以xxx后缀名结尾的文件
- 模拟城市5一直显示服务器中断,EA关闭《模拟城市5》非关键功能缓解服务器问题...
- VON本源的内幕是什么?VON公链尊皇社区为你揭秘!
- 06-数据类型的常用操作-字符串常用操作
- MLC转成SLC模式没有想象的那么好
热门文章
- 工厂方法模式、简单工厂模式、抽象工程模式
- 四类九种移位寄存器总结(循环(左、右、双向)移位寄存器、逻辑和算术移位寄存器、串并转换移位寄存器、线性反馈移位寄存器LFSR|verilog代码|Testbench|仿真结果)
- 13C同位素脉冲标记法浅析(实验解析)
- 如何查看apk安装包源代码??Android反编译apk,解包,打包,签名一体化实测 ,修改图片音频软件名称版本号等入门
- 网络安全风险与防范方法
- XGBOOST原理解析
- oracle中得到当前系统时间
- pandas 中.dropna()的用法
- casewhen多条件查询_Mybatis(三)- MyBatis 多条件查询和模糊查询实例
- web前端项目开发流程