论文阅读 Neural Network Modeling of Nonlinear Systems Based on Volterra Series Extension of a Linear Mod

看这篇文章主要是弄不懂NN的核到底是什么，为了读懂这篇文章，准备粗略看下这篇文章

不过一看abstract，用Volterra序列分析神经网络，从实验数据中建立了一种数学模型，我一下子就有兴趣了。

对于非线性系统，除了线性近似的脉冲响应外，还必须根据训练后的网络模型的参数来表达更高阶的Volterra核。（怎么表示？）不仅可以获取非线性动力学的神经网络模型，而且可以通过数学表达式来表示该模型。

描述非线性动力学行为的Volterra级数

获得Volterra核的例子

假设网络只有两个节点，没有偏置，则输出为

用Volterra级数展开（我的门外汉理解就是用泰勒级数展开，写成Volterra级数的样子）

这个式子里只有奇数项，如果bias在的话，会出现偶数项

r和b是什么啊？

这个式（18）和式（17）每项都能对上

换句话说，可以从训练后的网络中获得Volterra内核。其中一些内核不会被唯一定义。相反，它们的总和，例如h3（1,0,0）+ h3（0,1,0）+ h3（0,0,1）将等于由网络参数唯一定义的常数。在这种情况下，该常数可以在这个和的分量之间任意分配。对于任何分布，获得的模型将具有相同的属性。

如果网络是有q个节点的单层隐藏层

把tanh按taylor级数展开

跟volterra级数比较一下

可以看到，系数是相等的

这种方法可以从在待识别的非线性系统上训练的神经网络确定解析非线性动力学系统的Volterra级数表示。此过程可用于获取有关任意阶数泰勒展开的Volterra内核。演示了一个简单的示例，并给出了前三个Volterra内核的方程式。当前的工作集中在的网络参数方面，对一般方程式进行形式推导，对任意Volterra内核。

点评

为什么看这篇文章呢，之前想过也许可以神经网络输入不止1阶x，还可以输入x1x2，二阶，三阶等，但是后面想到，神经网络的非线性函数+线性和肯定会出现高阶项，这个证明思路跟我当时想得都是一样的，唉，别人30年前就做了。

论文阅读 Neural Network Modeling of Nonlinear Systems Based on Volterra Series Extension of a Linear Mod相关推荐

论文阅读——《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》
论文阅读--<Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient> ...
论文阅读笔记（5）：Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering
论文阅读笔记(5):Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering,基于Oracle的可伸 ...
论文阅读课3-GraphRel: Modeling Text as Relational Graphs for(实体关系联合抽取，重叠关系，关系之间的关系，自动提取特征）
文章目录 abstract 1.Introduction 2.相关工作 3.回顾GCN 4.方法 4.1第一阶段 4.1.1 Bi-LSTM 4.1.2 Bi_GCN 4.1.3 实体关系抽取 4.2 ...
论文阅读Neural Machine Reading Comprehension: Methods and Trends
神经机器阅读理解:方法和趋势目录: 摘要机器阅读理解(MRC):让机器根据给定的内容回答问题. 近几年随着深度学习的出现吸引了广泛的注意. 根据近几年这方面的研究,做了一个全面透彻的综合概述. 通 ...
模型量化论文阅读#4----EWGS:Network Quantization with Element-wise Gradient Scaling
在量化中,因为量化函数是不可微分的,所以一旦涉及到量化函数的反向传播时,就需要对量化函数的梯度进行近似,目前常用的近似是STE,从而避免量化函数的零梯度问题.所谓STE就是一个直通器,它只是传播相同的 ...
论文阅读：Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation(CVPR21)
传统的判别模型(针对predicate种类)如c所示,对于同一对物体总是倾向于产生相同的predicate.但是视觉关系往往是语义模糊的 ,比如: (1)person-holding-umbrella ...
[论文阅读]Neural Machine Translation By Jointly Learning to Align and Translate
文章目录前言摘要一.神经机器翻译 1.机器翻译 2.基于RNN的Encoder-Decoder架构二.文章贡献三.模型架构 1.译码器:整体概述 2.编码器:用于注释序列的双向RNN 四.实 ...
论文阅读：Network In Network
源码及论文地址:https://github.com/BVLC/caffe/wiki/Model-Zoo#network-in-network-model 这篇paper改进了传统的CNN网络,采用了 ...
【论文阅读】Slot-Gated Modeling for Joint Slot Filling and Intent Prediction
文章目录论文部分 Abstract Introduction Proposed Approach 实验部分论文部分 Abstract 根据slot和intent之间的关系,提出了一种slot ga ...
论文阅读 Neural Computation of Decisions in Optimization Problems
Neural Computation of Decisions in Optimization Problems 动机:需要研究从平台角度出发,进行怎样的促销组合是最优的. github上MIT复现的 ...

论文阅读 Neural Network Modeling of Nonlinear Systems Based on Volterra Series Extension of a Linear Mod

论文阅读 Neural Network Modeling of Nonlinear Systems Based on Volterra Series Extension of a Linear Mod相关推荐

最新文章

热门文章