一、最小二乘法的基本原理

在研究分析的过程中，经常要对一些研究对象构建数学模型来进行分析。通常在建模过程中有机理法建模和通过数据驱动的方式建模。因此怎样确定系统的数学模型及参数———即系统辨识问题就自然被提了出来。
问题的提出：

二、最小二乘法数学模型

用最小二乘法（Least Squares Method，简称LS）进行参数估计，首先要指定模型类，通常情况下，采用差分方程来描述被辨识系统，且假定系统的阶次已知。

三、加权最小二乘法

如果考虑到在不同时刻、不同环境下，数据的价值不同，这时可引入“加权因子”，即修正系数，对不同次的数据进行修正。

四、对于测试信号的要求

系统可以辨识的条件：输入信号必须是持续激励信号。

五、最小二乘估计值的统计性质

最小二乘估计把参数估计问题转化成了确定性最优化问题。在求解过程当中并没有涉及到噪声问题。

5、结论

一种参数估计方法如果具有无偏性、一致性和有效性，那么这种估计方法就是一种好的估计方法。

若所面向的数学模型是ARX模型，则最小二乘估计一定具有无偏性、一致性和有效性。最小二乘法是一种非常完美的参数估计方法。

六、最小二乘法的递推算法

递推最小二乘法（Recursive Least Squares Method）

递推算法的公式推导：

递推算法的启动：

七、最小二乘法的实时算法

“实时”的含义：
⑴ 及时，计算速度快，在指定时间内完成一次估计，上述的无限增长记忆的递推最小二乘法就具备了很好的及时性；
⑵ 真实，能准确地反映系统的当前特性（如时变参数等），也就是说，要能够适应系统本身或环境变化，所以实时算法也叫做适应算法。
从原理上讲，随着观测数据的增加，通过不断地递推估计，模型参数的估计精度将不断提高（根据一致性），无限增长记忆方式的根据正在于此。
在实际应用中，常常会因为数据量的加大，而使估计精度下降且远离参数真值。这主要是因为数据饱和现象和系统的时变性引起的。

数据饱和现象
随着观测次数的增加，数据越来越多，以至于新数据所提供的信息被淹没在旧数据的海洋之中，新数据所起的作用也越来越小，算法的修正能力也越来越弱。
时变参数系统

当出现数据饱和后，最终可能会使 PN失去正定性、对称性，舍入误差将起主导作用，估计值偏离真值越来越大。
时变参数系统是指系统的动态特性随时间变化，即系统参数随时间变化。无限增长记忆的算法对所有的数据都同等地看待，不能反映当前特性的历史数据一直在起作用，而反映当前特性的新数据却起不到足够的作用。因此，应采取措施去除历史旧数据的影响，同时加重新数据的份量。
可采用加权最小二乘法来解决以上问题

7.1、渐消记忆的最小二乘递推算法

由于历史数据向前按指数衰减，所以又叫做加指数窗的最小二乘法。
渐消记忆的最小二乘法常用于自适应控制系统，当u=1时，就退化成了无限增长记忆的最小二乘法。

7.2、限定记忆的最小二乘递推算法

渐消记忆的最小二乘法旧数据的影响有所减弱，但始终都在起作用。
限定记忆的最小二乘法(Fixed Memory Least Squares Method) 总是使用最近N组观测数据，每次估计时，当添入一组新的观测数据时，就丢弃一组最老的数据。因此，也叫做加矩形窗的最小二乘法。这种算法更适合于时变系统和克服数据饱和。

限定记忆最小二乘法有效地割断了历史数据的影响，因此，更有利于克服数据饱和现象，更适用于时变参数系统。
但是数据限定长度N的选择，只能根据经验，不同的数据长度N，会直接影响到估计的精度。

八、最小二乘法的局限性

最小二乘法具有很多优点：
⑴ 适用范围广，适用于动态或静态、线性或非线性、定常或时变系统；
⑵ 可离线辩识，也可在线辨识；
⑶ 将被辨识系统完全视为黑箱，不需要验前知识，不需要观测数据提供概率统计方面的信息；
⑷ 方法简单，易于实现。

对于ARX模型，最小二乘法的估计值具有无偏性、一致性和有效性。是一种非常好的参数估计方法。
实际工程中，被辨识对象是否都可以描述成ARX模型，如果不是，最小二乘法还能不能使用?

系统辨识（五）：系统辨识的最小二乘法基础相关推荐

孤荷凌寒自学python第四十五天Python初学基础基本结束的下阶段预安装准备
孤荷凌寒自学python第四十五天Python初学基础基本结束的下阶段预安装准备 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 今天本来应当继续学习Python的数据库操作,但根据过去我自学 ...
【第五章】零基础学Python实战练习（明日科技书配套）
[第五章]零基础学Python实战练习(明日科技书配套) 实战一: 代码: 输出: 实战二: 代码: 输出: 实战三: 代码: 输出: 实战四: 代码: 输出: 优化一下代码,让输出对齐: 新输出实 ...
《gcc五分钟系列》基础部分结束
<gcc五分钟系列>基础部分结束我把常用的编译选项都已经介绍完了. 本系列打算休息一段时间. 转载于:https://blog.51cto.com/elephantliu/828 ...
第五章局域网技术基础及应用
第五章局域网技术基础及应用要点: 以太网组网方法局域网组网设备综合布线子系统设计 1.虚拟局域网分类基于端口的虚拟局域网基于MAC地址的虚拟局域网基于网络层地址定义的虚拟局域网基于IP ...
《每天五分钟冲击python基础之字符串练习题》(七)
前言相信通过上两节课的学习,同学们都已经能轻松掌握了,python字符串的入门和字符串的深入了,(ps:如果还没有学习的同学,请到这里先学习,再来看这节课喔!<每天五分钟冲击python基础之 ...
劢领AT| 五分钟，零基础玩转阿里云物联网套件
劢领AT| 五分钟,零基础玩转阿里云物联网套件阿里云准备工作新建产品添加设备 WIFI模块及设备连接 AT指令方式配置网络一步到位,直接连接阿里云发布与订阅消息订阅主题说明阿里云准备 ...
松滋市瑞星计算机职业学校,【2020职教活动周】学校第十五届计算机操作基础技能大赛顺利举行...
(本网通讯员:沈小波)为进一步强化学生计算机操作技能训练,提升计算机公共基础实践教学水平,提高育人质量.学校第十五届计算机操作基础技能大赛决赛于11月11日下午在西校区文华楼计算机实训中心顺利举行.学 ...
Java从零开始学四十五（Socket编程基础)
一.网络编程中两个主要的问题一个是如何准确的定位网络上一台或多台主机,另一个就是找到主机后如何可靠高效的进行数据传输. 在TCP/IP协议中IP层主要负责网络主机的定位,数据传输的路由,由IP地址可 ...
五、Web App 基础可视组件属性（IVX 快速开发教程）
五.基础可视组件属性在 iVX 中各个组件存在不同的属性,这些属性用于设置显示的样式或者是自身具备的特征等,通过更改这些属性可以极大的方便我们进行项目的创作. 大多数组件都拥有相同的属性,相同属性在 ...
手游上线前的五种测试的基础方法
手游测试中普遍存在的问题之一就是如何涵盖所有可能运行你游戏的设备.尽管市面上有数千款Android设备(以及iOS各个版本的系统),但其中仅有数百款真正与你的游戏产生联系.在本文,我们将探讨手游测试的 ...

系统辨识（五）：系统辨识的最小二乘法基础