UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间与Orlicz范数

UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间

这一讲讨论亚高斯范数与亚指数范数的推广，用一个更广义的框架理解这两种范数，它们其实是Orlicz空间中的随机变量的Orlicz范数。

称ψ:[0,∞)→[0,∞)\psi:[0,\infty)\to[0,\infty)ψ:[0,∞)→[0,∞)为Orlicz函数，如果

ψ(0)=0\psi(0)=0ψ(0)=0
ψ(+∞)=+∞\psi(+\infty)=+\inftyψ(+∞)=+∞
ψ\psiψ是单调递增的凸函数

假设随机变量XXX定义在概率空间(Ω,F,P)(\Omega,\mathcal{F},P)(Ω,F,P)上，定义随机变量的Orlicz范数为
∥X∥ψ=inf⁡{t>0:Eψ(∣X∣/t)≤1}\left\| X \right\|_{\psi}=\inf\{t>0:E\psi(|X|/t) \le 1\}∥X∥ψ=inf{t>0:Eψ(∣X∣/t)≤1}

记Lψ(Ω,F,P)L_{\psi}(\Omega,\mathcal{F},P)Lψ(Ω,F,P)是概率空间(Ω,F,P)(\Omega,\mathcal{F},P)(Ω,F,P)上Orlicz范数有限的随机变量的集合，简记为LψL_{\psi}Lψ，称它是Orlicz空间。Orlicz空间实际上比我们常用的LpL^pLp空间更具有一般性，比如取ψ(x)=xp,p≥1\psi(x)=x^p,p \ge 1ψ(x)=xp,p≥1，则Lψ=LpL_{\psi}=L^pLψ=Lp，也就是说LpL^pLp空间实际上是Orlicz空间的一种特例。另外，如果取ψ(x)=ex2−1\psi(x)=e^{x^2}-1ψ(x)=ex2−1，则Orlicz范数就是亚高斯范数；如果取ψ(x)=ex−1\psi(x)=e^{x}-1ψ(x)=ex−1，则Orlicz范数就是亚指数范数

接下来我们验证下面两个事实：

Orlicz范数的确是Orlicz空间LψL_{\psi}Lψ上的范数；
Orlicz空间LψL_{\psi}Lψ是一个Banach空间；

证明
先说明Orlicz范数真的是一个范数。
(i) ∥X∥ψ=0\left\| X \right\|_{\psi}=0∥X∥ψ=0等价于X=0,a.s.X=0,a.s.X=0,a.s.，因为∀ϵ>0\forall \epsilon>0∀ϵ>0，根据Markov不等式
P(∣X∣≥ϵ)=P(ψ(∣X∣/t)≥ψ(ϵ/t))≤1ψ(ϵ/t)E[ψ(∣X∣/t)]P(|X| \ge \epsilon)=P(\psi(|X|/t) \ge \psi(\epsilon/t)) \le \frac{1}{\psi(\epsilon/t)}E[\psi(|X|/t)]P(∣X∣≥ϵ)=P(ψ(∣X∣/t)≥ψ(ϵ/t))≤ψ(ϵ/t)1E[ψ(∣X∣/t)]

如果∥X∥ψ=0\left\| X \right\|_{\psi}=0∥X∥ψ=0，根据Orlicz范数的定义
E[ψ(∣X∣/t)]≤1,∀t>0E[\psi(|X|/t)] \le 1,\forall t>0E[ψ(∣X∣/t)]≤1,∀t>0

因此
1ψ(ϵ/t)E[ψ(∣X∣/t)]≤1ψ(ϵ/t)\frac{1}{\psi(\epsilon/t)}E[\psi(|X|/t)] \le \frac{1}{\psi(\epsilon/t)}ψ(ϵ/t)1E[ψ(∣X∣/t)]≤ψ(ϵ/t)1

因为ttt的任意性，我们可以选取t=o(ϵ)t=o(\epsilon)t=o(ϵ)，使得ψ(ϵ/t)→∞\psi(\epsilon/t) \to \inftyψ(ϵ/t)→∞，从而P(∣X∣≥ϵ)→0P(|X| \ge \epsilon) \to 0P(∣X∣≥ϵ)→0，于是X=0,a.s.X=0,a.s.X=0,a.s.。反过来，如果X=0,a.s.X=0,a.s.X=0,a.s.，显然∥X∥ψ=0\left\| X \right\|_{\psi}=0∥X∥ψ=0。

(ii) 根据定义∥cX∥ψ=∣c∣∥X∥ψ\left\| cX \right\|_{\psi}=|c|\left\| X \right\|_{\psi}∥cX∥ψ=∣c∣∥X∥ψ显然成立；

(iii) 记t=∥X∥ψ,s=∥Y∥ψt=\left\| X \right\|_{\psi},s =\left\| Y \right\|_{\psi}t=∥X∥ψ,s=∥Y∥ψ，要说明∥X∥ψ+∥Y∥ψ≥∥X+Y∥ψ\left\| X \right\|_{\psi}+\left\|Y \right\|_{\psi} \ge \left\|X+Y \right\|_{\psi}∥X∥ψ+∥Y∥ψ≥∥X+Y∥ψ，需要说明
ψ(∣X+Y∣s+t)≤1,a.s.\psi(\frac{|X+Y|}{s+t}) \le 1,a.s.ψ(s+t∣X+Y∣)≤1,a.s.

因为ψ\psiψ是凸函数，根据Jensen不等式，
ψ(∣X+Y∣s+t)≤ψ(∣X∣+∣Y∣s+t)≤ts+tψ(∣X∣t)+ss+tψ(∣Y∣s)\psi(\frac{|X+Y|}{s+t}) \le \psi(\frac{|X|+|Y|}{s+t}) \le \frac{t}{s+t}\psi(\frac{|X|}{t})+ \frac{s}{s+t}\psi(\frac{|Y|}{s})ψ(s+t∣X+Y∣)≤ψ(s+t∣X∣+∣Y∣)≤s+ttψ(t∣X∣)+s+tsψ(s∣Y∣)

其中
ψ(∣X∣t)≤1,a.s.,ψ(∣Y∣s)≤1,a.s.\psi(\frac{|X|}{t}) \le 1,a.s., \ \ \psi(\frac{|Y|}{s}) \le 1,a.s.ψ(t∣X∣)≤1,a.s., ψ(s∣Y∣)≤1,a.s.

于是
ψ(∣X+Y∣s+t)≤1,a.s.\psi(\frac{|X+Y|}{s+t}) \le 1,a.s.ψ(s+t∣X+Y∣)≤1,a.s.

综上，Orlicz范数符合范数的定义。

评注
1）为了说明Orlicz空间是一个Banach空间，需要说明Orlicz空间中的Cauchy序列收敛，这个操作与说明LpL^pLp空间的完备性类似，读者可以自行尝试，也就是假设{Xn}⊂Lψ\{X_n\} \subset L_{\psi}{Xn}⊂Lψ，满足
∥Xn−Xm∥ψ→0,asn,m→∞\left\| X_n-X_m \right\|_{\psi} \to 0, as\ n,m \to \infty∥Xn−Xm∥ψ→0,as n,m→∞

需要说明{Xn}\{X_n\}{Xn}收敛到LψL_{\psi}Lψ中的某个随机变量。

2）Orlicz空间与LpL^pLp空间有包含关系：
L∞⊂Lψ⊂LpL^{\infty} \subset L_{\psi} \subset L^pL∞⊂Lψ⊂Lp

其中L∞L^{\infty}L∞中的随机变量是有界的，LpL^pLp中的随机变量的前ppp阶矩是有界的，LψL_{\psi}Lψ中的随机变量的尾部概率满足一定的限制。

UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间与Orlicz范数相关推荐

UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数
UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数亚高斯性亚高斯范数概率不等式1中介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于tt ...
UA MATH567 高维统计I 概率不等式8 亚指数范数
UA MATH567 高维统计I 概率不等式8 亚指数范数类似亚高斯范数,我们也可以定义随机变量的亚指数范数(sub-exponential norm): ∥X∥ψ1=inf⁡{t>0:Ee∣ ...
UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布
UA MATH567 高维统计I 概率不等式7 亚指数分布与亚指数范数第三讲到第六讲讨论了亚高斯分布,这类分布的尾部概率满足 P(∣X∣≥t)≲e−t2/2P(|X| \ge t) \lesssim ...
UA MATH567 高维统计I 概率不等式4 亚高斯分布
UA MATH567 高维统计I 概率不等式4 亚高斯分布上一讲我们介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于ttt的递减阶数都是e−ct2e^{-c ...
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式这一讲我们介绍基于Lipschitz性导出概率不等式的思路,这个思路在下一讲正式进入随机向量之后应用非常广泛.但这一讲我们先 ...
UA MATH567 高维统计I 概率不等式11 Azuma不等式
UA MATH567 高维统计I 概率不等式11 Azuma不等式前十一讲介绍的不等式的理论基础都是Markov不等式,根据Markov不等式我们导出了Chebyshev不等式.Hoeffding不 ...
UA MATH567 高维统计I 概率不等式10 Bernstein不等式
UA MATH567 高维统计I 概率不等式10 Bernstein不等式我们在介绍亚高斯分布后介绍了适用于亚高斯分布的推广的Hoeffding不等式,对于亚指数分布,我们可以得到类似的不等式.因为 ...
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式我们在第一讲时讨论了Hoeffding不等式,但那个版本时针对有界的随机变量的,我们希望通过亚高斯性推广Hoeffding ...
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式 Hoeffding不等式 Chernoff不等式 MATH 564系列我们已经介绍了几个基本的概率不等 ...

UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间与Orlicz范数

UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间

UA MATH567 高维统计I 概率不等式9 亚高斯性的推广：Orlicz空间与Orlicz范数相关推荐

最新文章

热门文章