连续到离散——从最佳平方逼近到最小二乘拟合

最近期末考试在学习函数逼近章节，有了一些想法和感悟，记录一下。

不论述完整内容，仅表达一些问题看法和思考角度。

基本知识：

①函数逼近是用一个S(x)=f(x)，好了那就找这个S(x)，采用二范数的逼近方式：

如果f(x)为连续函数，则称为最佳平方逼近；f(x)为离散函数，则称为最小二乘拟合；

最佳平方逼近求积，最小二乘拟合求和。

②在线性代数中，一组线性无关的向量可以构成一组正交基，并张成一个线性空间。

1、首先，我们用一组线性无关的基(basis)张成一个线性空间， $\varphi _{0}(x),\varphi _{1}(x),..., \varphi _{n}(x)$ 记为一组线性无关基，张成的空间记为：

$\phi =span\left \{ \varphi _{0},\varphi _{1},...,\varphi _{n} \right \}$

那么再寻找空间中的一组线性无关基的系数，就构成了我们要找的最佳平方逼近函数 $S^{*}\left ( x \right )\in \phi$ ，带*表示逼近嘛，近似相等。

所以我们构建的函数表达式如下(基前面带上线性无关向量的系数)：

$S\left ( x \right )=a_{0}\varphi _{0}\left ( x \right )+a_{1}\varphi _{1}\left ( x \right )+...+a_{n}\varphi _{n}\left ( x \right )=\sum _{j=0}^{n}a_{j}\varphi _{j}\left ( x \right )$

2、然后，根据最佳平方逼近二范数的格式：

$\left \| f\left ( x \right ) -S^{*}\left ( x \right )\right \|_{2}^{2}=min_{S\left ( x \right )\in \phi }\left \| f\left ( x \right ) -S\left ( x \right )\right \|_{2}^{2}$

带个权函数吧：

$\left \| f\left ( x \right ) -S\left ( x \right )\right \|_{2}^{2}=\int_{a}^{b}\rho \left ( x \right )\left ( f\left ( x \right )-S\left ( x \right ) \right )^{2}dx=\int_{a}^{b}\rho \left ( x \right )\left ( f\left ( x \right )-\sum _{j=0}^{n}a_{j}\varphi _{j}\left ( x \right ) \right )^{2}dx$

上述公式 $S\left ( x \right )$ 的基我们是已知的(这个基函数很有意思，后面讲)，只要求出基前面的系数就好了，那我们求偏导，扔掉无关的权函数，求偏导得到的系数2也可以扔掉，就得到了：

$I\left ( a_{0}, a_{1},..., a_{n} \right )=\int_{a}^{b}\rho \left ( x \right )\left ( f\left ( x \right )-\sum _{j=0}^{n}a_{j}\varphi _{j}\left ( x \right ) \right )^{2}dx\$

$\Rightarrow \frac{\partial I}{\partial a_{k}}=0,k=0,1,...,n$

$\Rightarrow \left ( f\left ( x \right )-\sum _{j=0}^{n} a_{j}\varphi _{j}\left ( x \right )\right )\varphi _{k}\left ( x \right )dx=0$

$\Rightarrow \sum _{j=0}^{n}a_{j}\left ( \varphi _{k},\varphi _{j} \right )=\left ( \varphi _{k},f \right ),k=0,1,...,n$

3、把上述得到的式子展开就是我们熟知的法方程组了。

总而言之，求最佳平方逼近函数就是在求构成线性空间的一组线性无关正交基的系数啊！

最小二乘拟合：把连续函数 $f\left ( x \right )$ 换成离散点 $y_{i}$ ，权函数 $\rho \left ( x \right )$ 换为权系数 $\omega _{i}$ ，得到：

$\sum _{i=0}^{m}\omega _{i}\left [ S^{*}\left ( x_{i} \right )-y_{i} \right ]^{2}=min_{S\left ( x \right )}\epsilon \phi \sum _{i=0}^{m}\omega _{i}\left [ S\left ( x_{i} \right )-y_{i} \right ]^{2}$

仍然用法方程求解基的系数。其实质就是连续变离散，求积变求和。

关于基函数，一般用 $\phi$ 表示。

如果用 $P\left ( x \right )$ 做基函数就是勒让德(Legendre)最佳平方逼近。Legendre最佳平方逼近好的点是他的 $\left ( P_{k},P_{k} \right )=\frac{2k+1}{2}$ 给算完了，所以只算一个 $\left ( P_{k},f \right )$ 即可；
如果用 $T\left ( x \right )$ 做基函数，权函数 $\rho \left ( x \right )=\frac{1}{\sqrt{1-x^{2}}}$ 就是Chebyshev极数；
……

如果此篇文章对您有帮助，记得评论告诉我:) 您的点赞和收藏是对写作者最大的鼓励~

连续到离散——从最佳平方逼近到最小二乘拟合相关推荐

自定义一组基函数的最佳平方逼近——matlab实现
作者:老李时间:2019-10-26 目标: 给出一组非线性相关的函数作为基底,通过有限点集 ( x k , y k ) (x_{k},y_{k}) (xk,yk),构造拟合函数过程: 我们设 ...
用神经网络分类连续与离散
A:连续 B:离散 (A,B)-n*m-k-(1,0)(0,1) 作一个网络来分类逻辑上的连续与离散两种逻辑状态.要分类这两个状态的前提是要存在一个无法区分连续和离散的物理状态,是否可能存在一个无法区 ...
ML之ME/LF：机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略
ML之ME/LF:机器学习中的模型评估指标/损失函数(连续型/离散型)的简介.损失函数/代价函数/目标函数之间区别.案例应用之详细攻略目录损失函数的简介损失函数/代价函数/目标函数之间区别损失 ...
最佳平方逼近 matlab,matlab最佳平方逼近
最佳平方逼近试验任兵(200820302025) 一.问题叙述求函数f(x)=exp(x)在[-1,1]上的二.三次最佳平方逼近多项式. 二.问题分析由教材定义6.5有:对于给定的函数],[) ...
最佳平方逼近 matlab,最佳平方逼近的Matlab
最佳平方逼近是先求积得到希尔伯特矩阵,再根据矩阵求解方程. function [A,B,p]=zjpfbj_zzy(weightfun,primaryfun,fun,a,b) % ---wfun:权函 ...
连续函数的最佳平方逼近
我们在分析一般的复杂连续函数时,我们或许没办法直接做公式推导与数值计算,那么我们会寻求一个多项式来逼近这个函数,来简化我们的计算.常见的有连续函数的泰勒展开,今天我们来学习做数值计算时经常用到的--连 ...
给定一个函数做其最佳平方逼近c语言,第三章函数逼近 — 最佳平方逼近.
第三章函数逼近 - 最佳平方逼近内容提要最佳平方逼近最佳平方逼近函数.多项式利用正交多项式计算最佳平方逼近多项式 Chebyshev 级数与最佳一致逼近最佳平方逼近什么是最佳平方逼近设 ...
平方逼近matlab,MATLAB上机实验——最佳平方逼近
<MATLAB上机实验--最佳平方逼近>由会员分享,可在线阅读,更多相关<MATLAB上机实验--最佳平方逼近(5页珍藏版)>请在人人文库网上搜索. 1.任务:用MATLAB语 ...
最佳二次逼近多项式MATLAB代码,数学实验“Chebshev多项式最佳一致逼近,最佳平方逼近”实验报告(内含matlab程序).doc...
数学实验"Chebshev多项式最佳一致逼近,最佳平方逼近"实验报告(内含matlab程序) 西京学院数学软件实验任务书课程名称数学软件实验班级数0901学号0912020107 ...

连续到离散——从最佳平方逼近到最小二乘拟合

连续到离散——从最佳平方逼近到最小二乘拟合相关推荐

最新文章

热门文章