【小波分析】七、小波分析与非线性逼近（下）

文章目录

【小波分析】七、小波分析与非线性逼近（下）
- 洛伦兹空间
- 小波系数刻画函数空间
- - 向 LpL_pLp 扩展
  - 小波系数刻画 LpL^pLp
  - 小波系数刻画 Besov 空间
- 非线性小波逼近
- n 项逼近引入
- n 项逼近的 Jackson 不等式
- - 洛伦兹范数下的 Jackson 不等式
  - Besov 范数下的 Jackson 不等式
- n 项小波逼近的 Bernstein 不等式
- 一般的 n 项逼近
- - 推广到多变量情形
  - n 项逼近和插值空间
  - n 项逼近和 k 泛函
- 有界区域上的 n 项逼近
- n 项逼近 Thresholding 方法
- - 硬 thresholding 方法
  - 软 thresholding 方法
- 参考和致谢

洛伦兹空间

我们定义洛伦兹范数，
∥f∥Lp,q:={(∫0∞[t1/pf∗(t)]qdtt)1/q,0<q<∞sup⁡t1/pf∗(t),q=∞\|f\|_{L_{p, q}}:=\left\{\begin{array}{ll} \left(\int_{0}^{\infty}\left[t^{1 / p} f^{*}(t)\right]^{q} \frac{\mathrm{d} t}{t}\right)^{1 / q}, & 0<q<\infty \\ \sup t^{1 / p} f^{*}(t), & q=\infty \end{array}\right. ∥f∥Lp,q:={(∫0∞[t1/pf∗(t)]qtdt)1/q,supt1/pf∗(t),0<q<∞q=∞
所有的洛伦兹范数有限的函数组成的空间，我们就叫洛伦兹空间Lp,q(A,dμ)L_{p, q}(A, \mathrm{~d} \mu)Lp,q(A, dμ)。其中，star 符号表示重排。什么叫重排呢？如果用 μ\muμ 表示一个集合的测度，μ(f,t)\mu(f, t)μ(f,t) 表示函数模在 ttt 之上的那些自变量取值的测度，即，
μ(f,t):=μ{x:∣f(x)∣>t}\mu(f, t):=\mu\{x:|f(x)|>t\}μ(f,t):=μ{x:∣f(x)∣>t}
那么 f∗f^*f∗ 其实就是，
f∗(t):=inf⁡{y:μ(f,y)≤t}.f^{*}(t):=\inf \{y: \mu(f, y) \leq t\} . f∗(t):=inf{y:μ(f,y)≤t}.
μ\muμ 测度尽可能地大，卡在这个 ttt 这里，令 yyy 尽可能地小。

自然而然地，小的洛伦兹空间 lp,ql_{p,q}lp,q 就被定义为如下范数有界的变量构成的空间，
∥x∥lp,q:={(∑n=1∞[n1/px∗(n)]q1n)1/q,0<q<∞sup⁡n1/px∗(n),q=∞\|x\|_{l_{p, q}}:=\left\{\begin{array}{ll} \left(\sum_{n=1}^{\infty}\left[n^{1 / p} x^{*}(n)\right]^{q} \frac{1}{n}\right)^{1 / q}, & 0<q<\infty \\ \sup n^{1 / p} x^{*}(n), & q=\infty \end{array}\right. ∥x∥lp,q:={(∑n=1∞[n1/px∗(n)]qn1)1/q,supn1/px∗(n),0<q<∞q=∞
离散序列的重排实际上就是从大到小的排序。

在这样的定义下，lp,∞l_{p, \infty}lp,∞ 空间（弱 lpl_plp 空间），实际上就是所有满足如下关系的序列的集合，
x∗(n)≤Mn−1/px^{*}(n) \leq M n^{-1 / p}x∗(n)≤Mn−1/p

这个可以被等价地写为，
#{n:∣x(n)∣>y}≤Mpy−p\#\{n:|x(n)|>y\} \leq M^{p} y^{-p}#{n:∣x(n)∣>y}≤Mpy−p

小波系数刻画函数空间

向 LpL_pLp 扩展

之前我们介绍了 L2L^2L2 空间多自变量的小波函数，如果把它推广到 LpL^pLp 空间怎样呢? 它可以这样定义，
ψI,pe:=∣I∣−1/p+1/2ψIe,I∈D,e∈E\psi_{I, p}^{e}:=|I|^{-1 / p+1 / 2} \psi_{I}^{e}, \quad I \in D, e \in E ψI,pe:=∣I∣−1/p+1/2ψIe,I∈D,e∈E
那么它的对偶分解，就可以写为，
f=∑I∈D∑e∈EcI,pe(f)ψI,pe,cI,pe(f):=⟨f,ψ~I,p′e⟩f=\sum_{I \in D} \sum_{e \in E} c_{I, p}^{e}(f) \psi_{I, p}^{e}, \quad c_{I, p}^{e}(f):=\left\langle f, \tilde{\psi}_{I, p^{\prime}}^{e}\right\rangle f=I∈D∑e∈E∑cI,pe(f)ψI,pe,cI,pe(f):=⟨f,ψ~I,p′e⟩
其中，p′p'p′ 是 ppp 的对偶数，我们把多维的系数，通过取 LpL^pLp 模，整成一个量，
cI,p(f):=(∑e∈E∣cI,pe(f)∣p)1/pc_{I, p}(f):=\left(\sum_{e \in E}\left|c_{I, p}^{e}(f)\right|^{p}\right)^{1 / p} cI,p(f):=(e∈E∑∣∣cI,pe(f)∣∣p)1/p
那么对于任意的 0<p,q≤∞0 < p,q \leq \infty0<p,q≤∞, 可以得到小波和小波系数之间的一个关系，
ψI,p=∣I∣1/q−1/pψI,q,cI,p(f)=∣I∣1/p−1/qcI,q(f)\psi_{I, p}=|I|^{1 / q-1 / p} \psi_{I, q}, \quad c_{I, p}(f)=|I|^{1 / p-1 / q} c_{I, q}(f) ψI,p=∣I∣1/q−1/pψI,q,cI,p(f)=∣I∣1/p−1/qcI,q(f)

小波系数刻画 LpL^pLp

为了找出小波系数和函数空间的一个关系，我们可以先定义一个分片常值函数，
S(f,x):=(∑I∈DcI,2(f)2∣I∣−1χI(x))1/2=(∑I∈DcI,p(f)2∣I∣−2/pχI(x))1/2S(f, x):=\left(\sum_{I \in D} c_{I, 2}(f)^{2}|I|^{-1} \chi_{I}(x)\right)^{1 / 2}=\left(\sum_{I \in D} c_{I, p}(f)^{2}|I|^{-2 / p} \chi_{I}(x)\right)^{1 / 2} S(f,x):=(I∈D∑cI,2(f)2∣I∣−1χI(x))1/2=(I∈D∑cI,p(f)2∣I∣−2/pχI(x))1/2
进而，对于任意的 1<p<∞1<p<\infty1<p<∞，我们有，
∥f∥Lp(Rd)≍∥S(f,⋅)∥Lp(Rd)\|f\|_{L_{p}\left(\mathbb{R}^{d}\right)} \asymp\|S(f, \cdot)\|_{L_{p}(\mathbb{R}^d)} ∥f∥Lp(Rd)≍∥S(f,⋅)∥Lp(Rd)
需要提到的是，当 p≤1p \leq 1p≤1 的时候，这个等价关系也是成立的，只不过我们需要放到哈代空间来考虑了，并且对于小波要有更多的假设。

小波系数刻画 Besov 空间

同样地，我们也可以利用小波系数来刻画 Besov 空间，对于 0<q,p≤∞,α>00<q, p \leq \infty, \alpha>00<q,p≤∞,α>0，
∣f∣Bqα(Lp(Rd)≍{(∑k=−∞∞2kαq(∑I∈DkcI,p(f)p)q/p)1/q,0<q<∞sup⁡k∈Z2kα(∑I∈DkcI,p(f)p)1/p,q=∞|f|_{B_{q}^{\alpha}\left(L_{p}\left(\mathbb{R}^{d}\right)\right.} \asymp\left\{\begin{array}{ll}\left(\sum_{k=-\infty}^{\infty} 2^{k \alpha q}\left(\sum_{I \in D_{k}} c_{I, p}(f)^{p}\right)^{q / p}\right)^{1 / q}, & 0<q<\infty \\ \sup _{k \in \mathbb{Z}} 2^{k \alpha}\left(\sum_{I \in D_{k}} c_{I, p}(f)^{p}\right)^{1 / p}, & q=\infty\end{array}\right.∣f∣Bqα(Lp(Rd)≍⎩⎨⎧(∑k=−∞∞2kαq(∑I∈DkcI,p(f)p)q/p)1/q,supk∈Z2kα(∑I∈DkcI,p(f)p)1/p,0<q<∞q=∞
对于此，我们有几点补充说明：

在表达式中，修改 ppp ，根据小波系数之间的关系，只需要多乘一个 ∣I∣β|I|^{\beta}∣I∣β 就可以，这里的 β\betaβ 是一个常数。
对于所有的 α>0\alpha>0α>0 我们都可以利用右边的表达定义函数空间，但是只有对于特定的和小波有关的 α\alphaα 和 ppp 才能刚好是左边的 Besov 空间。当 1≤p≤∞1 \leq p \leq \infty1≤p≤∞ 时，我们需要

ψ∈Bqβ(Lp(Rd))\psi \in B_{q}^{\beta}\left(L_{p}\left(\mathbb{R}^{d}\right)\right)ψ∈Bqβ(Lp(Rd)), 对某个 β>α\beta>\alphaβ>α。
ψ\psiψ 具有 r 阶消失矩，其中 r>αr>\alphar>α。即，对于 0≤p<r0\leq p < r0≤p<r，有
∫xpψ(x)=0\int x^p \psi(x)=0∫xpψ(x)=0

当 p<1p<1p<1 时，我们还要求 r>d/p−dr>d / p-dr>d/p−d，但是它刻画的空间是 Bqα(Hp(Rd))B_{q}^{\alpha}\left(H_{p}\left(\mathbb{R}^{d}\right)\right)Bqα(Hp(Rd))，当 α>d/p−d\alpha>d / p-dα>d/p−d 时，这个空间就和 Bqα(Lp(Rd))B_{q}^{\alpha}\left(L_{p}\left(\mathbb{R}^{d}\right)\right)Bqα(Lp(Rd)) 是一样的了。
如果固定 1≤p<∞1 \leq p<\infty1≤p<∞，那么，在非线性逼近中，对于 Bτα(Lτ(Rd))B_{\mathcal{\tau}}^{\alpha}\left(L_{\tau}\left(\mathbb{R}^{d}\right)\right)Bτα(Lτ(Rd))，我们有 1/τ=α/d+1/p1 / \tau=\alpha / d+1 / p1/τ=α/d+1/p。这时候，如果我们取 τ=p=1\tau = p = 1τ=p=1，这时，α=0\alpha = 0α=0，上式就变成了，
∣f∣Bτα(Lτ(Rd))≍(∑I∈DcI,p(f)τ)1/τ|f|_{B_{\tau}^{\alpha}\left(L_{\tau}\left(\mathbb{R}^{d}\right)\right)} \asymp\left(\sum_{I \in D} c_{I, p}(f)^{\tau}\right)^{1 / \tau} ∣f∣Bτα(Lτ(Rd))≍(I∈D∑cI,p(f)τ)1/τ

非线性小波逼近

为了方便，我们依然还是先考虑单变量的情形，最后我们会谈到多变量情形的处理。我们知道，非线性逼近，被逼近的函数越光滑，逼近的效果就会越好，那么我们不禁要问，

如何衡量一个函数的局部的光滑性？
给定了函数，如何选定合适的有限个小波基做逼近？
使用小波逼近的小波如何？

n 项逼近引入

下面我们就来解决这几个问题，关键还是利用前面介绍的函数模和小波系数之间的等价关系。我们还是用双正交小波来举例，我们用 Σnw\Sigma_{n}^{w}Σnw 来表示所有的 n 项小波基的线性组合构成的空间，它包含了所有的如下函数，
S=∑I∈ΛaIψIS=\sum_{I \in \Lambda} a_{I} \psi_{I}S=I∈Λ∑aIψI
这里的 Λ⊂D\Lambda \subset DΛ⊂D，且 #Λ≤n\# \Lambda \leq n#Λ≤n。

同样地，我们可以定义空间逼近误差，
σnw(f)p:=inf⁡S∈Σnw∥f−S∥Lp(R)\sigma_{n}^{w}(f)_{p}:=\inf _{S \in \Sigma_{n}^{w}}\|f-S\|_{L_{p}(\mathbb{R})} σnw(f)p:=S∈Σnwinf∥f−S∥Lp(R)

这个逼近误差呢，我们跟前面一样，也可以用 Jackson 不等式和 Bernstein 不等式来做。

给定引理 1：

引理1 令1<p<∞1<p<\infty1<p<∞ 且 Λ\LambdaΛ 是一个有限集合。如果 f∈Lp(R)f \in L_{p}(\mathbb{R})f∈Lp(R) 具有小波分解，
f=∑I∈ΛcI,p(f)ψI,pf=\sum_{I \in \Lambda} c_{I, p}(f) \psi_{I, p} f=I∈Λ∑cI,p(f)ψI,p
如果 ∣cI,p(f)∣≤M\left|c_{I, p}(f)\right| \leq M∣cI,p(f)∣≤M 对于所有的 I∈ΛI \in \LambdaI∈Λ，那么
∥f∥Lp(R)≤C1M#Λ1/p\|f\|_{L_{p}(\mathbb{R})} \leq C_{1} M \# \Lambda^{1 / p} ∥f∥Lp(R)≤C1M#Λ1/p
这里的 C1C_{1}C1 是一个绝对常数。

如果 ∣cI,p(f)∣≥M\left|c_{I, p}(f)\right| \geq M∣cI,p(f)∣≥M 对所有 I∈ΛI \in \LambdaI∈Λ，那么
∥f∥Lp(R)≥C2M#Λ1/p\|f\|_{L_{p}(\mathbb{R})} \geq C_{2} M \# \Lambda^{1 / p} ∥f∥Lp(R)≥C2M#Λ1/p
这里的 C2>0C_{2}>0C2>0 也是个绝对常数。

这个引理本质说的就是对于给定的 n 项逼近，给出了逼近结果的一个上下界，这个上下界和 n 与逼近系数的界有关系。

n 项逼近的 Jackson 不等式

接下来我们就可以做 n 项逼近的 Jackson 不等式了。依然令 rrr 是小波函数的消失矩。

洛伦兹范数下的 Jackson 不等式

对于 0<τ<∞0<\tau<\infty0<τ<∞ 一个实值序列在洛伦兹空间 wℓτ:=ℓτ,∞w \ell_{\tau}:=\ell_{\tau, \infty}wℓτ:=ℓτ,∞ 里面，当且仅当，对于所有的 ϵ>0\epsilon>0ϵ>0，
#{n:∣an∣>ϵ}≤Mτϵ−τ\#\left\{n:\left|a_{n}\right|>\epsilon\right\} \leq M^{\tau} \epsilon^{-\tau} #{n:∣an∣>ϵ}≤Mτϵ−τ
∥(an)∥wℓτ\left\|\left(a_{n}\right)\right\|_{w \ell_{\tau}}∥(an)∥wℓτ 是满足条件的 M 的最小值。并且，洛伦兹范数，和 lpl^plp 范数之间满足，
∥(an)∥wℓτ≤∥(an)∥ℓτ\left\|\left(a_{n}\right)\right\|_{w \ell_{\tau}} \leq\left\|\left(a_{n}\right)\right\|_{\ell_{\tau}}∥(an)∥wℓτ≤∥(an)∥ℓτ

那么 Jackson 不等式就可以写为如下定理。

定理（Jackson by Lorentz） 令 1<p<∞1<p<\infty1<p<∞, s>0s>0s>0, f∈Lp(R)f \in L_{p}(\mathbb{R})f∈Lp(R) 和 cI:=c_{I}:=cI:= cI,p(f),I∈Dc_{I, p}(f), I \in DcI,p(f),I∈D, 使得 (cI)I∈D\left(c_{I}\right)_{I \in D}(cI)I∈D 在 wℓτ,1/τ=s+1/pw \ell_{\tau}, 1 / \tau=s+1 / pwℓτ,1/τ=s+1/p 中. 那么,
σn(f)p≤Cn−s∥(cI)∥wℓτ,n=1,2,…\sigma_{n}(f)_{p} \leq C n^{-s}\left\|\left(c_{I}\right)\right\|_{w \ell_{\tau}}, \quad n=1,2, \ldots σn(f)p≤Cn−s∥(cI)∥wℓτ,n=1,2,…
常数 CCC 仅依赖于 ppp 和sss.‘、

可以看到，如果固定这里的 ppp，增大 sss , 意味着 τ\tauτ 减小，对小波系数的要求就越大。

从上面我们可以看得出来，如果这里的 sss 很大，可能就不是经典的光滑空间了。

Besov 范数下的 Jackson 不等式

除了弱洛伦兹空间，我们也可以用 Besov 空间范数和小波系数的关系，从而来刻画 Besov 空间意义下的 Jackson 不等式。这个对于小波就有要求了，

足够的消失矩：ψ\psiψ 有 rrr 阶消失矩，这里的 r>sr>sr>s ，sss 是我们想要的收敛阶。
充分的光滑性：ψ\psiψ 在某个 Bqρ(Lτ)B_{q}^{\rho}\left(L_{\tau}\right)Bqρ(Lτ) 对于某个 qqq 和某个 ρ>s\rho>sρ>s。

由上面的定理，我们直接可以得到如下的推论。

推论（Jackson by Besov） 令1<p<∞1<p<\infty1<p<∞, s>0s>0s>0, f∈Bτs(Lτ(R)),1/τ=f \in B_{\tau}^{s}\left(L_{\tau}(\mathbb{R})\right), 1 / \tau=f∈Bτs(Lτ(R)),1/τ= s+1/ps+1 / ps+1/p. ψ\psiψ 满足以上的两个条件，那么
σn(f)p≤C∣f∣Bτs(Lτ(R))n−s,n=1,2,…\sigma_{n}(f)_{p} \leq C|f|_{B_{\tau}^{s}\left(L_{\tau}(\mathbb{R})\right)} n^{-s}, \quad n=1,2, \ldots σn(f)p≤C∣f∣Bτs(Lτ(R))n−s,n=1,2,…
这里的 CCC 仅依赖于 ppp 和 sss，

这个证明是 trivial 的，利用 Besov 范数和小波系数的关系和
cI,τ(f)=cI,p(f)∣I∣1/τ−1/p=cI,p(f)∣I∣s/dc_{I, \tau}(f)=c_{I, p}(f)|I|^{1 / \tau-1 / p}=c_{I, p}(f)|I|^{s / d} cI,τ(f)=cI,p(f)∣I∣1/τ−1/p=cI,p(f)∣I∣s/d
可以得到，
∣f∣Bτs(Lτ(R))=∥(cI)∥ℓτ≥∥(cI)∥wℓτ.|f|_{B_{\tau}^{s}\left(L_{\tau}(\mathbb{R})\right)}=\left\|\left(c_{I}\right)\right\|_{\ell_{\tau}} \geq\left\|\left(c_{I}\right)\right\|_{w \ell_{\tau}} . ∣f∣Bτs(Lτ(R))=∥(cI)∥ℓτ≥∥(cI)∥wℓτ.
再由上面的定理，立得推论。

n 项小波逼近的 Bernstein 不等式

这里直接给出 n 项逼近的 Bernstein 不等式。

定理令1<p<∞1<p<\infty1<p<∞, 假设前面一个定理的条件都是满足的. f=∑I∈ΛcI,p(f)ψI,pf=\sum_{I \in \Lambda} c_{I, p}(f) \psi_{I, p}f=∑I∈ΛcI,p(f)ψI,p，其中，#Λ≤n\# \Lambda \leq n#Λ≤n, 那么
∥f∥Bτs(Lτ(R))≤Cns∥f∥Lp(R)\|f\|_{B_{\tau}^{s}\left(L_{\tau}(\mathbb{R})\right)} \leq C n^{s}\|f\|_{L_{p}(\mathbb{R})} ∥f∥Bτs(Lτ(R))≤Cns∥f∥Lp(R)

前面一个定理的条件告诉我们 τ,s,p\tau, s, pτ,s,p 是满足一定的条件的。

一般的 n 项逼近

推广到多变量情形

前面提到的都是单变量的情形，对于多变量的情况，我们可以直接推广，包括 Jackson 不等式和 Bernstein 不等式，只要把前面的 n±sn^{\pm s}n±s 改成 n±s/dn^{\pm s / d}n±s/d 就好了。

n 项逼近和插值空间

类比参考文献 1 中 4.3 部分的内容，我们可以用插值空间把逼近空间表示出来。

还是令 1<p<∞1<p<\infty1<p<∞ ，s>0s>0s>0 且 1/τ:=s/d+1/p1 / \tau:=s / d+1 / p1/τ:=s/d+1/p。依然假设这个 ψ\psiψ 满足消失矩假设和光滑性假设。那么，在这个情况下，即使是多变量的，Jackson 不等式和 Bernstein 不等式依然是成立的。那么，对于，任意 0<γ<s0<\gamma<s0<γ<s 和 0<q≤∞0<q \leq \infty0<q≤∞，我们有

Aqγ/d(Lp(Rd))=(Lp(Rd),Bτs(Lτ(Rd)))γ/s,q\mathcal{A}_{q}^{\gamma / d}\left(L_{p}\left(\mathbb{R}^{d}\right)\right)=\left(L_{p}\left(\mathbb{R}^{d}\right), B_{\tau}^{s}\left(L_{\tau}\left(\mathbb{R}^{d}\right)\right)\right)_{\gamma / s, q} Aqγ/d(Lp(Rd))=(Lp(Rd),Bτs(Lτ(Rd)))γ/s,q

其实在参考文献 1 自由节点样条逼近那个章节，也就是公式（6.23）就出现这个表达，只不过那个时候 d=1d=1d=1。
当关系式 1/q=γ/d+1/p1 / q=\gamma / d+1 / p1/q=γ/d+1/p 满足的时候，右边那个其实就是 Besov 空间，Bqγ(Lq(Rd))B_{q}^{\gamma}\left(L_{q}\left(\mathbb{R}^{d}\right)\right)Bqγ(Lq(Rd))，恰如参考文献 1 中的（4.34）式。
等式右边那个空间，可以用小波系数来刻画，也就是说，一个函数是在空间(Lp(Rd),Bτs(Lτ(Rd)))γ/s,q\left(L_{p}\left(\mathbb{R}^{d}\right), B_{\tau}^{s}\left(L_{\tau}\left(\mathbb{R}^{d}\right)\right)\right)_{\gamma / s, q}(Lp(Rd),Bτs(Lτ(Rd)))γ/s,q，当且仅当小波系数 (cI,p(f))I∈D\left(c_{I, p}(f)\right)_{I \in D}(cI,p(f))I∈D 是在洛伦兹空间 ℓμ,q\ell_{\mu, q}ℓμ,q 这里的1/μ:=γ/d+1/p1 / \mu:=\gamma / d+1 / p1/μ:=γ/d+1/p。事实上，函数在逼近空间的范数和小波系数在洛伦兹空间的范数是等价的。
∣f∣Aqγ/d(Lp)≍∥(cI,p(f))∥ℓμ,q|f|_{\mathcal{A}_{q}^{\gamma / d}\left(L_{p}\right)} \asymp\left\|\left(c_{I, p}(f)\right)\right\|_{\ell_{\mu, q}} ∣f∣Aqγ/d(Lp)≍∥(cI,p(f))∥ℓμ,q
结合前面一个 remark，当 q=μq=\muq=μ 的时候，我们就有，
Aμγ/d(Lp(Rd))=Bμγ(Rd))\mathcal{A}_{\mu}^{\gamma / d}\left(L_{p}\left(\mathbb{R}^{d}\right)\right)=\left.B_{\mu}^{\gamma}\left(\mathbb{R}^{d}\right)\right) Aμγ/d(Lp(Rd))=Bμγ(Rd))

这些结论的证明可以去查参考文献。

n 项逼近和 k 泛函

n 项逼近实际上也实现了在 t=n−st = n^{-s}t=n−s 时的 K 泛函。

K(f,n−s,Lp(Rd),Bτs(Lτ(Rd)))=∥f−fn∥Lp(Rd)+n−s∣fn∣Bτs(Lτ(Rd))K\left(f, n^{-s}, L_{p}\left(\mathbb{R}^{d}\right), B_{\tau}^{s}\left(L_{\tau}\left(\mathbb{R}^{d}\right)\right)\right)=\left\|f-f_{n}\right\|_{L_{p}\left(\mathbb{R}^{d}\right)}+n^{-s}\left|f_{n}\right|_{B_{\tau}^{s}\left(L_{\tau}\left(\mathbb{R}^{d}\right)\right)} K(f,n−s,Lp(Rd),Bτs(Lτ(Rd)))=∥f−fn∥Lp(Rd)+n−s∣fn∣Bτs(Lτ(Rd))

有界区域上的 n 项逼近

前面我们说的相关分析都是在整个 Rd\mathbb{R}^dRd 上的，如果是在一个有界区域 Ω\OmegaΩ 上，我们可以通过延拓的方式，把它延拓到整个 Rd\mathbb{R}^dRd，那么我们就可以利用原来已有的分析了。那么任何一个 Besov 空间中的函数都可以延拓，延拓算子 EfE fEf 要满足，
∣Ef∣Bqα(Lp(Rd))≤C∣f∣Bqα(Lp(Ω))|E f|_{B_{q}^{\alpha}\left(L_{p}\left(\mathbb{R}^{d}\right)\right)} \leq C|f|_{B_{q}^{\alpha}\left(L_{p}(\Omega)\right)} ∣Ef∣Bqα(Lp(Rd))≤C∣f∣Bqα(Lp(Ω))

通过这种方式延拓，延拓函数的小波分解，就可以由之前的介绍表达出来。当 Rd\mathbb{R}^dRd 回到 Ω\OmegaΩ 的时候，我们可以直接把支集不在这个区域里面的哪些小波基函数丢掉。

这种方式来处理有个弊端，就是在分析上很有效，但是在数值上可能并不是那么好搞。所以，基于这个考虑，也有人直接去构造区域 Ω\OmegaΩ 上的小波基。这个可以查看相关的参考文献。

n 项逼近 Thresholding 方法

硬 thresholding 方法

到目前为止，我们都是考虑理论层面上的一些东西，下面我们来说实现层面。考虑一维的作为例子。我们也假设目标函数的小波分解是有限个的，如果不是有限个的，我们可以做一个truncation，牺牲一定的精度。

跟 L2L_2L2 空间一样，我们选择小波分解的系数模最大的 nnn 个来做逼近，那么，有

∥f−fn∥Lp(Ω)≤Cσn(f)p,n=1,2,…\left\|f-f_{n}\right\|_{L_{p}(\Omega)} \leq C \sigma_{n}(f)_{p}, \quad n=1,2, \ldots ∥f−fn∥Lp(Ω)≤Cσn(f)p,n=1,2,…

这里的参数只依赖于 fff 和 nnn。

要选前 nnn 个最大的，免不了，就需要我们对系数进行排序。为了节省排序带来的开销，有人就提出了 thresholding 方法。

给定一个 tolerance 值 ϵ\epsilonϵ，令 Λϵ(f)\Lambda_{\epsilon}(f)Λϵ(f) 表示小波系数当中，∣cI,p(f)∣>ϵ\left|c_{I, p}(f)\right|>\epsilon∣cI,p(f)∣>ϵ 的集合，于是有硬 thresholding 算子，如，
Tϵ(f):=∑I∈Λϵ(f)cI(f)ψI=∑∣cI(f)∣>ϵcI(f)ψIT_{\epsilon}(f):=\sum_{I \in \Lambda_{\epsilon}(f)} c_{I}(f) \psi_{I}=\sum_{\left|c_{I}(f)\right|>\epsilon} c_{I}(f) \psi_{I} Tϵ(f):=I∈Λϵ(f)∑cI(f)ψI=∣cI(f)∣>ϵ∑cI(f)ψI

如果 fff 是在弱 ℓτ\ell_{\tau}ℓτ 空间里面的，且 1/τ=s+1/p1 / \tau=s+1 / p1/τ=s+1/p 那么由前面的讨论，我们知道，
#(Λϵ)≤Mτϵ−τ\#\left(\Lambda_{\epsilon}\right) \leq M^{\tau} \epsilon^{-\tau}#(Λϵ)≤Mτϵ−τ
这里的 MMM 是系数的弱 ℓτ\ell_{\tau}ℓτ 模，即 M=∣f∣ℓτ,∞M=|f|_{\ell_{\tau, \infty}}M=∣f∣ℓτ,∞。

同样地，我们可以得到截断的误差如下，
∥f−Tϵ(f)∥Lp(Ω)≤CMτ/pϵ1−τ/p\left\|f-T_{\epsilon}(f)\right\|_{L_{p}(\Omega)} \leq C M^{\tau / p} \epsilon^{1-\tau / p}∥f−Tϵ(f)∥Lp(Ω)≤CMτ/pϵ1−τ/p

这样，我们其实就得到了系数阈值 ϵ\epsilonϵ 大于这个阈值的系数个数和截断误差三者之间的关系。我们可以对三者之一提要求，它其他两个来满足它。比如说，我们可以预先给定误差值 $\eta $ 或者 threshold 集合的元素数目 NNN。

举个例子，若 ϵ=MN−1/τ\epsilon=M N^{-1 / \tau}ϵ=MN−1/τ, 那么#(Λϵ(f))≤N\#\left(\Lambda_{\epsilon}(f)\right) \leq N#(Λϵ(f))≤N 且∥f−Tϵ(f)∥Lp(Ω)≤CMN−s\left\|f-T_{\epsilon}(f)\right\|_{L_{p}(\Omega)} \leq C M N^{-s}∥f−Tϵ(f)∥Lp(Ω)≤CMN−s。

其他的例子，如下表。

Threshold 系数个数误差ϵMτϵ−τMτ/pϵ1−τ/pM−1/(ps)η1/(sτ)M1/sη−1/sηMN−1/τNMN−s\begin{array}{l|l|l} \hline \hline \text { Threshold } & \text { 系数个数} & \text { 误差} \\ \hline \epsilon & M^{\tau} \epsilon^{-\tau} & M^{\tau / p} \epsilon^{1-\tau / p} \\ M^{-1 /(p s)} \eta^{1 /(s \tau)} & M^{1 / s} \eta^{-1 / s} & \eta \\ M N^{-1 / \tau} & N & M N^{-s} \\ \hline \end{array} Threshold ϵM−1/(ps)η1/(sτ)MN−1/τ 系数个数Mτϵ−τM1/sη−1/sN 误差Mτ/pϵ1−τ/pηMN−s

软 thresholding 方法

硬方法暴力地直接把 ϵ\epsilonϵ 之外的系数都丢了，有一些不稳定，因此我们可以对系数进行软处理。也就是对于接近 ϵ\epsilonϵ 的那一部分系数，我们给他做一个软化。即，定义

sϵ(x):={0,∣x∣≤ϵ,2(∣x∣−ϵ)sign⁡x,ϵ≤∣x∣≤2ϵ,x,∣x∣>2ϵs_{\epsilon}(x):=\left\{\begin{array}{ll} 0, & |x| \leq \epsilon, \\ 2(|x|-\epsilon) \operatorname{sign} x, & \epsilon \leq|x| \leq 2 \epsilon, \\ x, & |x|>2 \epsilon \end{array}\right. sϵ(x):=⎩⎨⎧0,2(∣x∣−ϵ)signx,x,∣x∣≤ϵ,ϵ≤∣x∣≤2ϵ,∣x∣>2ϵ

这个软算子如下所示。

所用代码为，

x = -1:0.01:1;
eps = 0.3;
for i=1:length(x)y(i) = s(eps,x(i));
end
plot(x,y);function s = s(eps,x)
x_abs = abs(x);
if x_abs <= epss = 0;
elseif x_abs > 2*epss = x;elses = 2*(x_abs-eps)*sign(x);end
end
end

那么软 thresholding 算子就是，
Tϵ′(f):=∑I∈Dsϵ(cI,p(f))ψI,pT_{\epsilon}^{\prime}(f):=\sum_{I \in D} s_{\epsilon}\left(c_{I, p}(f)\right) \psi_{I, p} Tϵ′(f):=I∈D∑sϵ(cI,p(f))ψI,p

它和硬算子有一样的逼近性质。

参考和致谢

《Nonlinear approximation》 Ronald A. Devore 剑桥大学出版社
《小波十讲》Ingrid Daubechies 李建平等译国防工业出版社
《小波与算子》（第一卷） Y.Meyer 尤众译世界图书出版社
《小波变换与分数傅里叶变换：理论及应用》冉启文哈尔滨工业大学出版社
“小波理论及应用” 冉启文【哈尔滨工业大学】