【MLPs+ESN】利用多层感知机MLPs对经典ESN(回声状态网络)的输出权值计算进行优化的MATLAB仿真

单独的ESN仿真：

ESN的运行结果如下所示：

这个部分的误差为：

0.0435

ESN部分就不多做介绍了，你应该了解的，下面我们对ESN和BP改进和极限学习改进分别进行修改和说明，并进行仿真。

ESN+BP的仿真：

首先，在原始的ESN中，权值的计算是通过pseudoinverse.m这个函数进行计算的，其主要内容就是：

即：

这里，我们的主要方法为：

将计算得到的权值作为bp神经网络迭代的初始值，然后以这个初始值为迭代过程的第一个值，不断的训练迭代，最后得到ESN-BP输出的权值，然后进行测试。

因此，其基本思路就是通过B-1T得到初始权值，然后通过bp网络进行迭代，得到最后优化后的值。

计算后的误差为0.0427

从上面的对比可知，采用BP神经网络进行权值系数的非线性更新之后，其误差可以进一步降低。但提升性能有限。

ESN+极限学习算法的仿真：

这个部分的原理和上面的相同，不同的是，我们需要使用极限学习方法对ESN网络的中的权值进行更新。

误差为：0.1050

下面给出整个算法的流程框图：

2.部分核心代码

clc;
clear;
close all;
warning off;
RandStream.setDefaultStream(RandStream('mt19937ar','seed',1));
addpath 'func\data_process\'
addpath 'func\Initial_ESN\'
addpath 'func\train_esn\'
addpath 'func\test_esn\'load data.mat
%数据分割
train_fraction                           = 0.5;
[trainInputSequence, testInputSequence]  = split_train_test(inputSequence,train_fraction);
[trainOutputSequence,testOutputSequence] = split_train_test(outputSequence,train_fraction);%generate an esn
nInputUnits          = 2;
nInternalUnits       = 32;
nOutputUnits         = 1;
esn                  = generate_esn(nInputUnits,nInternalUnits,nOutputUnits,'spectralRadius',0.5,'inputScaling',[0.1;0.1],'inputShift',[0;0],'teacherScaling',[0.3],'teacherShift',[-0.2],'feedbackScaling',0,'type','plain_esn');
esn.internalWeights  = esn.spectralRadius * esn.internalWeights_UnitSR;%train the ESN
%discard the first 100 points
nForgetPoints        = 100;
%这里，就固定设置一种默认的学习方式，其他的就注释掉了
[trainedEsn,stateMatrix] = train_esn(trainInputSequence,trainOutputSequence,esn,nForgetPoints) ; %test the ESN
nForgetPoints        = 100 ;
predictedTrainOutput = test_esn(trainInputSequence, trainedEsn, nForgetPoints);
predictedTestOutput  = test_esn(testInputSequence,  trainedEsn, nForgetPoints) ; figure;
plot(testOutputSequence(nForgetPoints+4:end),'b');
hold on
plot(predictedTestOutput,'r');
legend('原数据','预测数据');
title('ESN-ELM：测试数据的预测');%计算测试数据的预测结果：
estimatedOutput = predictedTestOutput(1:end-3);
correctOutput   = testOutputSequence(nForgetPoints+4:end);nEstimatePoints = length(estimatedOutput) ;
nForgetPoints   = length(correctOutput) - nEstimatePoints ;
correctVariance = 1;
meanerror       = sum((estimatedOutput - correctOutput).^2)/nEstimatePoints ;
err             =(sqrt(meanerror./correctVariance));
err

3.参考文献

A05-22

【MLPs+ESN】利用多层感知机MLPs对经典ESN(回声状态网络)的输出权值计算进行优化的MATLAB仿真相关推荐

第二十九课.回声状态网络ESN
目录 Echo State Network ESN的训练与预测关于ESN工作原理的理解基于Numpy的ESN Echo State Network ESN的训练与预测回声状态网络(Echo St ...
Deep Learning之带你详细了解回声状态网络（ESN）
Abstract 首先呢写本篇博客的灵感来源于我在学习RNN(循环神经网络)时对 ...
经典机器学习方法（3）—— 多层感知机
参考:动手学深度学习注:本文是 jupyter notebook 文档转换而来,部分代码可能无法直接复制运行! 前文介绍的线性回归和 softmax回归,在模型结构上都属于单层神经网络(只有一个输入 ...
基于Tensorflow实现多层感知机网络MLPs
正文共1232张图,1张图,预计阅读时间7分钟. github:https://github.com/sladesha/deep_learning 之前在基于Tensorflow的神经网络解决用户流失 ...
Theano3.4-练习之多层感知机
来自http://deeplearning.net/tutorial/mlp.html#mlp Multilayer Perceptron note:这部分假设读者已经通读之前的一个练习 Classi ...
python 底层实现_用Python从底层实现一个多层感知机
在上一篇文章中,我们从数学理论对多层感知机的反向传播进行了推导.南柯一梦宁沉沦:神经网络中反向传播算法数学推导zhuanlan.zhihu.com 这一篇文章中我们将基于上一篇文章最后给出的算法使用 ...
多层感知机和神经网络的区别_学习笔记－从神经元到神经网络
人的大脑神经网络的复杂程度有人说,只有银河系可以比拟.总所周知,神经网络就是模仿大脑神经网络用数学知识构造的模型.单个神经元还是比较简单的. 神经元一个神经元有树突,轴突,和细胞体等部分.树突接受输 ...
深度学习基础（二）—— 从多层感知机（MLP）到卷积神经网络（CNN）
经典的多层感知机(Multi-Layer Perceptron)形式上是全连接(fully-connected)的邻接网络(adjacent network). That is, every neur ...
深度学习笔记其三：多层感知机和PYTORCH
深度学习笔记其三:多层感知机和PYTORCH 1. 多层感知机 1.1 隐藏层 1.1.1 线性模型可能会出错 1.1.2 在网络中加入隐藏层 1.1.3 从线性到非线性 1.1.4 通用近似定理 1 ...
TensorFlow基础之模型建立与训练：线性回归、MLP多层感知机、卷积神经网络
TensorFlow基础之模型建立与训练模型建立与训练:简单的线性回归 MLP多层感知机数据获取.预处理模型搭建训练与评估卷积神经网络高效建模 Keras Sequential高效建模 F ...

【MLPs+ESN】利用多层感知机MLPs对经典ESN(回声状态网络)的输出权值计算进行优化的MATLAB仿真

【MLPs+ESN】利用多层感知机MLPs对经典ESN(回声状态网络)的输出权值计算进行优化的MATLAB仿真相关推荐

最新文章

热门文章