数值分析(6)-函数逼近的基本概念

整理一下数值分析的笔记~
目录：

1. 误差

2. 多项式插值与样条插值

3. 函数逼近(THIS)

4. 数值积分与数值微分

5. 线性方程组的直接解法

6. 线性方程组的迭代解法

7. 非线性方程求根

8. 特征值和特征向量的计算

9. 常微分方程初值问题的数值解

1. 函数逼近与函数空间

1.1 常见的一次近似式 (|x|很小时,泰勒多项式)

(1) n1+x≈z+1nx^n\sqrt{1+x} \approx z+\frac{1}{n}xn1+x≈z+n1x

(2) sinx≈x(x为弧度)sinx \approx x(x为弧度)sinx≈x(x为弧度)

(3) tanx≈x(x为弧度)tanx \approx x(x为弧度)tanx≈x(x为弧度)

(4) ex≈1+xe^x \approx 1+xex≈1+x

(5) ln(1+x)≈xln(1+x) \approx xln(1+x)≈x

1.2 函数逼近

对函数类A中给定的f(x)f(x)f(x)，记作f(x)∈Af(x) \in Af(x)∈A,要在另一类简单的便于计算的函数类B中求函数p(x)∈Bp(x) \in Bp(x)∈B，使f(x)f(x)f(x)和p(x)p(x)p(x)误差在某种度量意义下最小。

函数类A通常是区间[a,b]上的连续函数，记作C[a,b]C[a,b]C[a,b]，称为来连续函数空间。函数类B通常为n次多项式，有理函数或分段低次多项式等。

数学上常把各种集合中引入某些不同的确定关系称为赋予集合以某种空间结构，并将这样的集合称为空间。

对次数不超过nnn的实系数多项式全体，按通常多项式与多项式假发及数与多项式乘法构成数域R上的一个线性空间，称为多项式空间。

所有定义在[a,b][a,b][a,b]上的连续函数集合，按函数加法和数与函数乘法构成数域R上的线性空间记作C[a,b]C[a,b]C[a,b]。Cp[a,b]C^p[a,b]Cp[a,b]称为具有p阶连续导数的函数空间。

定义1：设集合SSS是数域PPP上的线性空间，元素x1,...,xn∈Sx_1,...,x_n \in Sx1,...,xn∈S，如果存在不全为零的数α1,...,αn∈P\alpha_1,...,\alpha_n \in Pα1,...,αn∈P使得α1x1+...+αnxn=0\alpha_1x_1+...+\alpha_nx_n=0α1x1+...+αnxn=0则称x1,...,xnx_1,...,x_nx1,...,xn线性相关，若只对α1=...=αn=0\alpha_1=...=\alpha_n=0α1=...=αn=0则称为线性无关。

若线性空间SSS是由nnn个线性无关的元素生成的，即对所有的x∈Sx\in Sx∈S，都有x=α1x1+...+αnxnx=\alpha_1x_1+...+\alpha_nx_nx=α1x1+...+αnxn，则x1,...xnx_1,...x_nx1,...xn为空间SSS的一组基，记为S=spanS=spanS=span{x1,...,xnx_1,...,x_nx1,...,xn}，并称SSS为nnn维空间，系数α1,...,αn\alpha_1,...,\alpha_nα1,...,αn称为x在基x1,...,xnx_1,...,x_nx1,...,xn下的坐标，记作(α1,...,αn)(\alpha_1,...,\alpha_n)(α1,...,αn)，如果SSS中有无限个线性无关元素x1,...,xn,...x_1,...,x_n,...x1,...,xn,...则称S为无限维线性空间。

维尔斯特拉斯定理：设f(x)∈C[a,b]f(x)\in C[a,b]f(x)∈C[a,b]，则对任何ε>0\varepsilon>0ε>0，总存在一个代数多项式p(x)p(x)p(x)，使得∣∣f(x)−p(x)∣∣∞<ε||f(x)-p(x)||_{\infty}<\varepsilon∣∣f(x)−p(x)∣∣∞<ε在[a,b][a,b][a,b]上成立。

Bernstein逼近函数：伯恩斯坦根据函数整体逼近得特性构造出伯恩斯坦多项式：

{Bn(f,x)=∑k=0nf(kn)Pk(x)Pk(x)=Cnkxk(1−x)m−k\begin{cases} B_n(f,x)=\sum_{k=0}^nf\left(\frac{k}{n}\right)P_k(x)\\ P_k(x)=C^k_nx^k(1-x)^{m-k} \end{cases} {Bn(f,x)=∑k=0nf(nk)Pk(x)Pk(x)=Cnkxk(1−x)m−k

且limn→∞Bn(f,x)=f(x),x∈[0,1]lim_{n \rarr \infty} B_n(f,x)=f(x),x \in[0,1]limn→∞Bn(f,x)=f(x),x∈[0,1]成立，但是收敛速度慢且收敛依赖于多项式次数n→∞n\rarr\inftyn→∞。

2. 范数与赋范线性空间

定义2: 设S为线性空间，x∈Sx\in Sx∈S若存在唯一实数，∣∣⋅∣∣||\cdot||∣∣⋅∣∣满足条件：

∣∣x∣∣≥0||x||\geq 0∣∣x∣∣≥0，当且仅当x=0时∣∣x∣∣=0||x||=0∣∣x∣∣=0（正定性）
∣∣αx∣∣=∣α∣∣∣x∣∣，α∈R||\alpha x||=|\alpha|||x||，\alpha \in R∣∣αx∣∣=∣α∣∣∣x∣∣，α∈R（齐次性）
∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣，x,y∈S||x+y||\leq||x||+||y||，x,y\in S∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣，x,y∈S（三角不等式）

则称∣∣⋅∣∣||\cdot||∣∣⋅∣∣为线性空间SSS上得范数，SSS与∣∣⋅∣∣||\cdot||∣∣⋅∣∣一起称为赋范线性空间，记为XXX。

在RnR^nRn上得向量x∈(x1,...,xn)T∈Rnx\in (x_1,...,x_n)^T \in R^nx∈(x1,...,xn)T∈Rn，三种常用范数为最大范数，∣∣x∣∣∞=max1≤i≤n∣xi∣最大范数，||x||_{\infty}=max_{1\leq i \leq n}|x_i|最大范数，∣∣x∣∣∞=max1≤i≤n∣xi∣，1−范数，∣∣x∣∣1=∑i=1n∣xi∣1-范数，||x||_1=\sum_{i=1}^n|x_i|1−范数，∣∣x∣∣1=∑i=1n∣xi∣,2−范数，∣∣x∣∣2=(∑i=1nxi2)122-范数， ||x||_2=(\sum_{i=1}^nx_i^2)^{\frac{1}{2}}2−范数，∣∣x∣∣2=(∑i=1nxi2)21，类似地对连续函数空间C[a,b]C[a,b]C[a,b]，若f(x)∈C[a,b]f(x) \in C[a,b]f(x)∈C[a,b]可定义三种常用范数无穷范数，∣∣f∣∣infty=maxa≤x≤b∣xi∣无穷范数，||f||_{infty}=max_{a \leq x \leq b}|x_i|无穷范数，∣∣f∣∣infty=maxa≤x≤b∣xi∣，1−范数，∣∣f∣∣1=∫ab∣f(x)∣dx1-范数，||f||_1=\int_a^b|f(x)|dx1−范数，∣∣f∣∣1=∫ab∣f(x)∣dx，2−范数，∣∣f∣∣2=(∫abf2(x)dx)122-范数，||f||_2=(\int_a^bf^2(x)dx)^{\frac{1}{2}}2−范数，∣∣f∣∣2=(∫abf2(x)dx)21。

3. 内积和内积空间

定义3：XXX是数域KKK上的线性空间，对所有的u，v∈X,Ku，v\in X,Ku，v∈X,K中一个数与之对应，记为(u,v)(u,v)(u,v)它满足以下条件：

(u,v)=(u,v)ˉ(共轭)，(u,v)∈X(u,v)=\bar{(u,v)}(共轭)，(u,v)\in X(u,v)=(u,v)ˉ(共轭)，(u,v)∈X
(αu,v)=α(u,v),α∈K,u,v∈K(\alpha u,v)=\alpha(u,v),\alpha \in K,u,v \in K(αu,v)=α(u,v),α∈K,u,v∈K
(u+v,w)=(u,w)+(v,w)，u,v,w∈X(u+v,w)=(u,w)+(v,w)，u,v,w\in X(u+v,w)=(u,w)+(v,w)，u,v,w∈X
(u,u)≥0当且仅当u=0时(u,u)=0(u,u)\geq 0当且仅当u=0时(u,u)=0(u,u)≥0当且仅当u=0时(u,u)=0

则称(u,v)(u,v)(u,v)为XXX上uuu与vvv的内积，内积的线性空间称为内积空间，当KKK为实数域RRR时(u,v)=(v,u)(u,v)=(v,u)(u,v)=(v,u)，若(u,v)=0(u,v)=0(u,v)=0则称uuu与vvv正交。

柯西-施瓦茨不等式：设XXX为一个内积空间，对所有的u,v∈Xu,v\in Xu,v∈X有∣(u,v)∣2≤(u,u)(v,v)|(u,v)|^2 \leq (u,u)(v,v)∣(u,v)∣2≤(u,u)(v,v)，证明：

当v=0v=0v=0显然成立；

当v!=0v!=0v!=0则(u,v)>0(u,v)>0(u,v)>0且对任何数λ\lambdaλ有0≤(u+λv,u+λv)=(u,u)+2λ(u,v)+λ2(v,v)0\leq(u+\lambda v,u+\lambda v)=(u,u)+2\lambda(u,v)+\lambda^2(v,v)0≤(u+λv,u+λv)=(u,u)+2λ(u,v)+λ2(v,v),取λ=−(u,v)/(v,v)\lambda=-(u,v)/(v,v)λ=−(u,v)/(v,v)代入上式右端得(u,u)−2∣(u,v)∣2(v,v)+∣(u,v)∣2(v,v)≥0(u,u)-2\frac{|(u,v)|^2}{(v,v)}+\frac{|(u,v)|^2}{(v,v)}\geq0(u,u)−2(v,v)∣(u,v)∣2+(v,v)∣(u,v)∣2≥0即∣(u,v)∣2≤(u,u)(v,v)|(u,v)|^2 \leq(u,u)(v,v)∣(u,v)∣2≤(u,u)(v,v)

定理3：设XXX为一个内积空间μ1,...μn∈X\mu_1,...\mu_n \in Xμ1,...μn∈X，矩阵：

G=[(μ1,μ1)(μ2,μ1)...(μn,μ1)(μ1,μ2)(μ2,μ2)...(μn,μ2............(μ1,μn)(μ2,μn)...(μn,μn)]G=\left[ \begin{matrix} (\mu_1,\mu_1) & (\mu_2,\mu_1) & ... & (\mu_n,\mu_1) \\ (\mu_1,\mu_2) & (\mu_2,\mu_2) & ... &(\mu_n,\mu_2 \\ ...&...&...&...\\ (\mu_1,\mu_n)&(\mu_2,\mu_n) &... & (\mu_n,\mu_n) \end{matrix} \right] G=⎣⎢⎢⎡(μ1,μ1)(μ1,μ2)...(μ1,μn)(μ2,μ1)(μ2,μ2)...(μ2,μn)............(μn,μ1)(μn,μ2...(μn,μn)⎦⎥⎥⎤

称为格拉姆矩阵，G非奇异的充分必要条件是μ1,...,μn\mu_1,...,\mu_nμ1,...,μn线性无关。

定义：设[a,b][a,b][a,b]是有限或无限区间，在[a,b][a,b][a,b]上的非负函数ρ(x)\rho(x)ρ(x)满足条件：

∫abxkρ(x)dx\int_a^bx^k\rho(x)dx∫abxkρ(x)dx存在且为有限值(k=0,1,2,…)
对[a,b][a,b][a,b]上的非负连续函数g(x)g(x)g(x)，如果∫abg(x)ρ(x)dx=0,则g(x)=0\int_a^bg(x)\rho(x)dx=0,则g(x)=0∫abg(x)ρ(x)dx=0,则g(x)=0

则称ρ(x)\rho(x)ρ(x)为[a,b][a,b][a,b]上的一个权函数。

4. 逼近的度量标准

4.1 最佳一致逼近多项式

设f∈C[a,b]f\in C[a,b]f∈C[a,b],寻求多项式Pn∗(x)P^*_n(x)Pn∗(x)，使其误差：∣∣f−Pn∗∣∣∞=maxa≤x≤b∣f(x)−Pn∗(x)∣=minPn∈Hn∣∣f−Pn∣∣||f-P^*_n||_{\infty}=max_{a\leq x\leq b}|f(x)-P^*_n(x)|=min_{P_n \in H_n}||f-P_n||∣∣f−Pn∗∣∣∞=maxa≤x≤b∣f(x)−Pn∗(x)∣=minPn∈Hn∣∣f−Pn∣∣

这种意义下的函数逼近称为最佳一致逼近或均匀逼近。

4.2 最佳平方逼近

采用这个标准：∣∣f(x)−S∗(x)∣∣22=minS(x)∈∅∣∣f(x)−S(x)∣∣22=minS(x)∈∅∫abρ(x)[f(x)−S(x)]2dx||f(x)-S^*(x)||_2^2=min_{S(x) \in \empty}||f(x)-S(x)||_2^2\\=min_{S(x)\in \empty}\int_a^b \rho(x)[f(x)-S(x)]^2dx∣∣f(x)−S∗(x)∣∣22=minS(x)∈∅∣∣f(x)−S(x)∣∣22=minS(x)∈∅∫abρ(x)[f(x)−S(x)]2dx

这种意义下的函数逼近称为最佳平方逼近或均方逼近。

4.3 最小二乘拟合

采用这个标准：∣∣f(x)−P∗(x)∣∣22=minP(x)∈empty∣∣f(x)−P(x)∣∣22=minP(x)∈∅∑i=0m[f(xi)−P(xi)]2||f(x)-P^*(x)||_2^2=min_{P(x)\in empty}||f(x)-P(x)||^2_2\\=min_{P(x)\in \empty}\sum^m_{i=0}[f(x_i)-P(x_i)]^2∣∣f(x)−P∗(x)∣∣22=minP(x)∈empty∣∣f(x)−P(x)∣∣22=minP(x)∈∅∑i=0m[f(xi)−P(xi)]2，这种意义下的函数逼近称为最小二乘拟合。

{持续更新}
欢迎扫描二维码关注微信公众号深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]