很多东西再看第二遍的时候，都有一种恍然大悟的感觉

参数估计方法

现代控制理论中往往要通过观测值对系统内部结构参数进行估计，类似于我们常用的线性最小二乘法，举例：二维坐标（身高、年龄）给一堆的点，找俩参数，然后拟合一条直线y=ax+by=ax+by=ax+b，确定aaa和bbb的过程中，就是参数估计。

现代控制理论中的经典参数估计包括：最小方差估计与线性最小方差估计、极大似然法与极大验后法、最小二乘估计与加权最小二乘估计、递推最小二乘估计。

线性最小方差估计

本博文中讲到的线性最小方差估计：设估计值是观测值的线性函数，估计误差的方差为最小。

使用此方法，需要知道观测值zzz和被估计值xxx的一、二阶矩（包括期望、方差、协方差）。

其核心公式为：
x^=az+b\hat x=az+bx^=az+b
根据估计误差的方程：
J=E{[x−x^]2}=E{[x−(az+b)]2}J=E \left\{ [x-\hat x]^2 \right\}=E \left\{ [x-(az+b)]^2 \right\}J=E{[x−x^]2}=E{[x−(az+b)]2}

分别对aaa和bbb求偏导，令其为0，可以获得相应的值：
a=Cov(x,z)σz2a=\frac{Cov(x,z)}{\sigma_z^2}a=σz2Cov(x,z)b=mx−amzb=m_x-am_zb=mx−amz

OK，接着看正交定理。

正交定理

上面提到，在求参数的偏导的时候，令其为0，也就是：
∂J∂a=−2E{[x−(az+b)]z}=0\frac {\partial J}{\partial a}=-2E \left\{ [x-(az+b)]z \right\}=0∂a∂J=−2E{[x−(az+b)]z}=0
那么也就是E[x~z]=0E[\tilde xz]=0E[x~z]=0
也就是说我们所利用的信息就是x~\tilde xx~与zzz的乘积的数学期望为0，概率论中称之为正交。

物理意义

思考：为什么上面的情况就叫做正交呢？？？能不能直观的解释一下？？？

那么我们可以看到，如果把这两个随机变量xxx与zzz看作是空间中的两个向量。因此我们在利用线性最小方差估计的时候，就有如下的图：

我们所估计出来的x^\hat xx^是与zzz共线的，那么什么时候其偏差最小呢，就是x~=x−x^\tilde x=x-\hat xx~=x−x^与zzz垂直的时候，这时候的偏差的长度是最短的，所以是x~\tilde xx~与zzz正交，与正交定理吻合。

（注：不够严谨的地方望指正，谢谢?）

2019-10-12 线性最小方差估计和正交定理相关推荐

线性最小方差估计和射影定理
线性最小方差估计和射影定理主要参考了邓自立老师的<信息融合滤波理论及其应用>,邓老师另外还有一本<卡尔曼滤波与维纳滤波>,后者该部分的推导过程基本是前者的简化版,黄小平老师的 ...
统计信号估计 (二) 最小方差无偏估计量（MUV）的线性模型
MVU表示最小方差无偏估计,下面将推导一个线性模型的MVUE,即最小方差无偏估计量. 线性模型可以表示为: x=Hθ+w\bf{x = H\theta + w} x=Hθ+w 其中 θ\thetaθ ...
统计信号处理：(估计二) 最小方差无偏估计
最小方差无偏估计 2.1 无偏估计量无偏估计意味着估计量的平均值为未知参数的真值.如果 E[θ^]=θ,a<θ<bE[\hat{\theta}]=\theta, a<\thet ...
linux查看采集卡内核,MAGEWELL美乐威Pro Capture系列视频采集卡驱动1.3.0.4186版For Linux（2019年12月10日发布）...
驱动说明 MAGEWELL美乐威Pro Capture系列视频采集卡驱动1.3.0.4186版For Linux(2019年12月10日发布) MAGEWELL Pro Capture系列视频采集卡最 ...
每日总结-2019年12月10日（如切如磋，如琢如磨）
每日总结-2019年12月10日(如切如磋,如琢如磨) 今天也是我第一天打算这样去做.虽然另一个我告诉我不要这样写,但我还是想写下这段话.在研一开始的时候我就应该做这件事情,并坚持下来.不过现在的我总 ...
分布估计算法java_数理统计8：点估计的有效性、一致最小方差无偏估计(UMVUE)、零无偏估计法...
在之前的学习中,主要基于充分统计量给出点估计,并且注重于点估计的无偏性与相合性.然而,仅有这两个性质是不足的,无偏性只能保证统计量的均值与待估参数一致,却无法控制统计量可能偏离待估参数的程度:相合性只 ...
线性最小二乘法的系数方差估计
线性模型 y = X β + ϵ y = X \beta+\epsilon y=Xβ+ϵ ϵ ∈ R m × 1 \epsilon\in\R^{m\times1} ϵ∈Rm×1假定为白噪声,方差为 σ ...
epubbuilder 过期_记者调查｜浠水县思源实验学校向学生发过期牛奶，生产日期2019年12月14日...
楚天都市报11月2日讯(记者董淑健通讯员魏学建) 生产日期2019年12月14日,保质期6个月.过期几个月的牛奶能喝吗?几天前,居然通过学校食堂发到了学生手中. 浠水县思源实验学校的一些学生家长对此 ...
2019.10.26日常总结兼一码学成普及模拟4比赛选解
[题目A]: [题目]: 有 n 只袋鼠(题目假设他们都是母的),你需要给他们组建成家庭. 对于第 i 只袋鼠来说,它的大小用一个数字 Si 来表示. 如果第 i 只袋鼠的大小 Si 达到了第 j 只 ...

2019-10-12 线性最小方差估计和正交定理

参数估计方法

线性最小方差估计

正交定理

物理意义

2019-10-12 线性最小方差估计和正交定理相关推荐

最新文章

热门文章