正交最小二乘法求解NARMAX

2024-05-30 03:45:15

1 简介

本文主要根据1988年《Orthogonal least squares methods and their application to non-linear system identification》文中信息提取总结的。

原论文像是一篇综合描述性论文，描述正交最小二乘法及其相关应用，有不少算法细节。

正交最小二乘法用来解决NARMAX模型（non-linear autoregressive moving average with exogenous inputs）的求解。NARMAX是1985年由leontaritis和billings提出的。NARMAX的求解，一是需要确定最终表达式（即模型结构）到底有哪些项（term），比如哪些一次项，哪些二次项，及各种组合；二是就是求解这些项的系数了。

正交的方法可以将模型结构求解和参数求解结合在一起。

2 非线性系统-NARMAX

首先NARMAX的表达式如下，有m个输出y，r个输入u：

对于其中一个输出y，有下式：

进而可以写成如下形式，反正y就是由各种不同次元的项组成：

接着写成下式，下面的小写p就可以看成上面不同x的组合，

最后写成如下形式：

3 最小二乘法

求解上面公式10模型参数θ，就是最小化下面公式：

这个的求解结果满足下面等式，后续章节的各种最小二乘法就是针对该式进行：

4 最小二乘法的不同方法

为了计算模型参数θ，有下面3种方法：
1）求解上面式13，通过高斯消元（gaussian elimination），或者通过的乔莱斯基分解法;

2）构建一个P的正交分解；这种方法就是我们讨论的正交最小二乘法。包括classical Gram-Schmidt正交（格拉姆-施密特正交）、modified Gram-Schmidt正交、householder 转换（豪斯霍尔德变换）、或者Givens 方法（吉文斯法）等这几种求解。其中modified Gram-Schmidt和householder 转换比其他算法更具竞争力，modified Gram-Schmidt容易编程，但计算量稍微大些，比householder 转换稍微更准确些。

3）构建一个P的奇异值分解（SVD）。计算成本较高。

5 P子集的选择

当识别一个非线性系统，其结构未知，要避免损失掉重要的项（term），但也不能导致项很多、次元很高。就涉及P的子集的选择。文中对classical Gram-Schmidt正交、modified Gram-Schmidt正交、householder 转换怎么进行子集选择进行了描述。

6 实验结果

下面是采用householder 转换求解NARMAX。

正交最小二乘法求解NARMAX相关推荐

利用最小二乘法求解仿射变换参数
仿射变换的定义仿射变换(Affine Transformation或 Affine Map),是指在几何中,一个向量空间进行一次线性变换并接上一个平移,变换为另一个向量空间. 仿射变换可以由以下基本 ...
2021-04-24 Python 最小二乘法求解线性回归模型
Python 最小二乘法求解线性回归模型机器学习线性回归模型线性回归(linear regression)是一种线性模型,它假设输入变量 x 和单个输出变量 y 之间存在线性关系具体来说,利用线 ...
最小二乘法求解线性回归模型
最小二乘法求解线性回归模型题目描述计算公式测试用主函数及其它输入输出样例输入样例输出杂谈代码时间限制: 1 Sec 内存限制: 128 MB 题目描述假设有一组观测数据(X,Y) ...
最小二乘法求解一元线性回归
最小二乘法求解一元线性回归介绍线性回归模型以及简单一元线性回归模型的解法. 通过代码实现最小二乘法求解一元线性回归实例,并对结果进行预测. 一.线性回归二.回归问题的解决三.最小二乘法介绍四. ...
基于jupyter notebook的python编程-----利用梯度下降算法求解多元线性回归方程，并与最小二乘法求解进行精度对比
基于jupyter notebook的python编程-----利用梯度下降算法求解多元线性回归方程,并与最小二乘法求解进行精度对比目录一.梯度下降算法的基本原理 1.梯度下降算法的基本原理二.题 ...
最小二乘法求解傅里叶级数系数
最小二乘法求解傅里叶级数系数自己推导的,如有错误,请大家批评指出,谢谢! 题目 Solution 要求解x^\hat{x}x^, 相当于找到一个合适的x^\hat{x}x^使得估计的测量误差Hx^− ...
在图像变换中用最小二乘法求解仿射变换参数
设原图像为f(x,y),畸变后的图像为F(X',Y'),要将F(X',Y')恢复为f(x,y),就是要找到(X',Y')坐标与(x,y)坐标的转换关系,这个转换关系称为坐标变换,表示为(x,y)=T( ...
python 进行一元线性回归并输出相关结果_荐一元线性回归利用最小二乘法求解原理代码及案例...
1.线性回归的原理基础定义线性回归是利用数理统计中的回归分析,来确定两种或两种以上属性间相互依赖的定量关系的一种统计分析方法.举个例子,一套房子的具有面积.卧室数量.卫生间数量等三个属性,该房子的 ...
一元线性回归利用最小二乘法求解原理代码及案例
目录 1.线性回归的原理基础定义公式推导简单理解 2.最小二乘法PYTHON实现 0. 导入相关库 1. 导入数据 2. 定义损失函数 3. 定义算法拟合函数 4. 测试定义的函数 5. 画出拟 ...

最新文章

热门文章