【智能算法第一期】Elman神经网络基本原理
1. Elman神经网络概述
根据神经网络运行过程中的信息流向,可将神经网络可分为前馈式和反馈式两种基本类型。前馈式网络通过引人隐藏层以及非线性转移函数可以实现复杂的非线性映射功能。但前馈式网络的输出仅由当前输入和权矩阵决定,而与网络先前的输出结果无关。反馈型神经网络也称递归网络或回归网络。反馈神经网络的输入包括有延迟的输入或者输出数据的反馈,由于存在有反馈的输入,所以它是一种反馈动力学系统;这种系统的学习过程就是它的神经元状态的变化过程,这个过程最终会达到一个神经元状态不变的稳定态,也标志着学习过程的结束。
反馈网络的动态学习特征,主要由网络的反馈形式决定。反馈网络的反馈形式是比较多样化的,有输入延迟、单层输出反惯、神经元自反馈、两层之间互相反馈等类型。常见的反馈型神经网络有Elman 神经网络、Hopfield 神经网络和与离散Hopfield 结构相似的Boltzmann 神经网络等。El man 神经网络是Elman 于1990 年提出的,该模型在前馈式网络的隐含层中增加了一个承接层,作为一步延时的算子,以达到记忆的目的,从而使系统具有适应时变特性的能力,能直接动态反映动态过程系统的特性。
2.Elman神经网络结构
Elman 型神经网络一般分为四层:输入层、隐含层(中间层〉、承接层和输出层。如图2-1所示,输入层、隐含层、输出层的连接类似于前馈式网络,输入层的单元仅起信号传输作用,输出层单元起线性加权作用。隐含层单元的传递函数可采用线性或非线性函数,承接层又称上下文层或状态层,它用来记忆隐含层单元前一时刻的输出值并返回给网络的输入, 可以认为是一个一步延时算子。
Elman 神经网络的特点是隐含层的输出通过承接层的延迟与存储,自联到隐含层的输入。这种自联方式使其对历史状态的数据具有敏感性,内部反馈网络的加入增强了网络本身处理动态信息的能力,从而达到动态建模的目的。此外, Elman 神经网络能够以任意精度逼近任意非线性映射,可以不考虑外部噪声对系统影响的具体形式,如果给出系统的输入输出数据对,就可以对系统进行建模。
3.Elman神经网络学习过程
以上图为例,Elman神经网络的非线性状态空间表达式为:
式中,y为m维输出结点向量;x为n维中间层结点单元向量;u为r维输入向量;为n维反馈状态向量,为中间层到输出层连接全职;为输入层到中间层连接权值;为承接层到中间层到连接权值;g(*)为输出神经元的传递函数,是中间层输出的线性组合;f(*)为中间层神经元的传递函数,常采用S函数。
Elman神经网络同样也采用Bp神经网络算法相似的方法进行权值修正,学习指标函数采用误差平方和函数。
式中,为目标输入向量。
如有交流,可联系博主QQ: 491052175
【智能算法第一期】Elman神经网络基本原理相关推荐
- 基于灰狼算法优化的Elman神经网络数据预测
基于灰狼算法优化的Elman神经网络数据预测 - 附代码 文章目录 基于灰狼算法优化的Elman神经网络数据预测 - 附代码 1.Elman 神经网络结构 2.Elman 神经用络学习过程 3.电力负 ...
- 基于粒子群算法优化的Elman神经网络数据预测-附代码
基于粒子群算法优化的Elman神经网络数据预测 - 附代码 文章目录 基于粒子群算法优化的Elman神经网络数据预测 - 附代码 1.Elman 神经网络结构 2.Elman 神经用络学习过程 3.电 ...
- 基于布谷鸟算法优化的Elman神经网络数据预测-附代码
基于布谷鸟算法优化的Elman神经网络数据预测 - 附代码 文章目录 基于布谷鸟算法优化的Elman神经网络数据预测 - 附代码 1.Elman 神经网络结构 2.Elman 神经用络学习过程 3.电 ...
- 基于鲸鱼算法优化的Elman神经网络数据预测-附代码
基于鲸鱼算法优化的Elman神经网络数据预测 - 附代码 文章目录 基于鲸鱼算法优化的Elman神经网络数据预测 - 附代码 1.Elman 神经网络结构 2.Elman 神经用络学习过程 3.电力负 ...
- 基于海鸥算法优化的Elman神经网络数据预测-附代码
基于海鸥算法优化的Elman神经网络数据预测 - 附代码 文章目录 基于海鸥算法优化的Elman神经网络数据预测 - 附代码 1.Elman 神经网络结构 2.Elman 神经用络学习过程 3.电力负 ...
- 《MATLAB智能算法30个案例》:第27章 无导师学习神经网络的分类——矿井突水水源判别
<MATLAB智能算法30个案例>:第27章 无导师学习神经网络的分类--矿井突水水源判别 1. 前言 2. MATLAB 仿真示例 3. 小结 1. 前言 <MATLAB智能算法3 ...
- 《MATLAB智能算法30个案例》:第25章 有导师学习神经网络的回归拟合——基于近红外光谱的汽油辛烷值预测
<MATLAB智能算法30个案例>:第25章 有导师学习神经网络的回归拟合--基于近红外光谱的汽油辛烷值预测 1. 前言 2. MATLAB 仿真示例 3. 小结 1. 前言 <MA ...
- 《MATLAB智能算法30个案例》:第26章 有导师学习神经网络的分类——鸢尾花种类识别
<MATLAB智能算法30个案例>:第26章 有导师学习神经网络的分类--鸢尾花种类识别 1. 前言 2. MATLAB 仿真示例 3. 小结 1. 前言 <MATLAB智能算法30 ...
- 《MATLAB智能算法30个案例》:第19章 基于模拟退火算法的TSP算法
<MATLAB智能算法30个案例>:第19章 基于模拟退火算法的TSP算法 1. 前言 2. MATLAB 仿真示例 3. 小结 1. 前言 <MATLAB智能算法30个案例分析&g ...
- 《MATLAB智能算法30个案例》:第20章 基于遗传模拟退火算法的聚类算法
<MATLAB智能算法30个案例>:第20章 基于遗传模拟退火算法的聚类算法 1. 前言 2. MATLAB 仿真示例 3. 小结 1. 前言 <MATLAB智能算法30个案例分析& ...
最新文章
- keras和tensorflow 报错解决:UserWarning: Method on_batch_end() is slow compared to the batch update Check
- java的object如何转为具体的类_佛山个体户如何转为公司?
- 计算机专业英语的题目,计算机专业英语题目
- LeetCode MySQL 1821. 寻找今年具有正收入的客户
- MATLAB学习(4)——min
- asp.net中引入外部js文件,容易产生中文乱码
- java -jar 设置环境变量_java 配置环境变量
- 该死!B 站上这些 Java 视频真香!
- MUI框架学习(2)-页面间传值
- ubuntu查看 固态硬盘位置_ubuntu新增加固态硬盘,格式化并挂载到根目录下
- php日程提醒,PHPOA日程安排系统,建立井然有序的工作计划
- windows 远程桌面连接 bat
- [分享解决]你的支付授权失败。请核对你的信息并重试,或尝试其他支付方式。请联系你的银行了解更多信息
- HMM, CTC和RNN-Transducer对齐方式的差异
- WPF随笔(四)--窗口多屏显示及全屏
- 翻遍“微信小程序”的所有知乎问答,我们整理了大家最关注几个话题
- OpenResty 火焰图工具
- wxpython后台线程更新界面控件方法
- git 进阶 (四)变基提交
- Java实现的信号灯
热门文章
- 【国科大】计算机类课程点评(更新中)
- 国科大操作系统思考题答案总结
- 小米登录的HTML源代码,html--登录页面(小米登录)
- 【正点原子FPGA连载】第一章FPGA简介 -摘自【正点原子】新起点之FPGA开发指南_V2.1
- 微信小程序源码及H5小游戏源码内核构建方法
- 河北计算机应用对口升学,2019年河北省中等职业学校对口升学考试:计算机文化基础+计算机应用基础模拟试卷...
- 【Android实战】----从Retrofit源码分析到Java网络编程以及HTTP权威指南想到的
- linux黑域补丁,努比亚Z17mini+Z17+Z17S Nubia6.0典藏版 独家黑域 ROOT XP 特别推荐
- 实对称矩阵的特征值求法_矩阵论系列——特征值篇
- 线性代数笔记10:实对称矩阵