阶的估计I 无穷小量与强函数1 基本概念无穷小量与强函数的运算法则

写在前面

阶的估计是一个大家从学数分/高数开始到未来研究工作中出现频率都会非常高的一个词语，特别是对于从事数值计算/理论研究的工作者而言。结合我个人学习与研究经历来说，阶的估计就是尝试用毕生所学分析技巧去计算一个极限/积分/级数或者找它们的上下界的过程，并且这些极限/积分/级数看起来都非常不一般，比如我在科研中遇到过的：
f ( y ) = ∫ y e y 2 2 ( 1 + u − 2 τ 2 ) 1 u 2 + ( u ln ⁡ ( u − 2 ) ) 2 d u f(y)=\int ye^{\frac{y^2}{2(1+u^{-2}\tau^2)}} \frac{1}{u^2+(u\ln(u^{-2}))^2}du f(y)=∫ye2(1+u−2τ2)y2u2+(uln(u−2))21du

目标是估计 f ( y ) f(y) f(y)这个函数关于 y y y在 0 0 0处的阶，也就是找到一个 α \alpha α使得
lim ⁡ ∣ y ∣ → 0 y − α f ( y ) = c o n s t \lim_{|y| \to 0} y^{-\alpha}f(y)=const ∣y∣→0limy−αf(y)=const

这个积分拥有让人一看就想放弃的魔力，但它和贝叶斯统计理论中的一个小问题的一种可行解的稳健性有关，所以我们又不得不尝试搞一下这个积分。

阶的估计的应用非常广泛：数值计算中估计算法的误差/收敛速率，机器学习中估计算法的收敛速率/运算时间/最少样本量，理论统计中计算随机元的concentration、证明估计量的一致性/计算估计量的收敛速率等。并且这些领域有一个共同的特点，那就是这是一个机器无法替代的工作！无法被替代的原因很简单，机器虽然能做数值逼近，但它处理不了无穷这个概念。这是一个好事，说明我们理论工作者在短时间内还是不可或缺的，但这也是一个坏事，意味着我们不得不与这些奇形怪状的极限/积分/级数战斗。所以这个系列的博客就是总结一些大家数分/高数/复变/实变都学过的关于收敛性与阶的判断技巧，希望对大家的学习与科研带来一些帮助。

定义1.1 无穷小量
假设 lim ⁡ x → x 0 f ( x ) = 0 \lim_{x \to x_0}f(x)=0 x→x0limf(x)=0

称 f ( x ) f(x) f(x)在 x → x 0 x \to x_0 x→x0时是无穷小量，记为 f ( x ) = o ( 1 ) f(x)=o(1) f(x)=o(1)；如果
lim ⁡ x → x 0 f ( x ) g ( x ) = 0 \lim_{x \to x_0}\frac{f(x)}{g(x)}=0 x→x0limg(x)f(x)=0

称 f ( x ) f(x) f(x)在 x → x 0 x \to x_0 x→x0时关于 g ( x ) g(x) g(x)是无穷小量，记为 f ( x ) = o ( g ( x ) ) f(x)=o(g(x)) f(x)=o(g(x))，它的含义是在 x → x 0 x \to x_0 x→x0时， f ( x ) f(x) f(x)比 g ( x ) g(x) g(x)更快趋近于0；

定义1.2 等价
如果
lim ⁡ x → x 0 f ( x ) g ( x ) = 1 \lim_{x \to x_0}\frac{f(x)}{g(x)}=1 x→x0limg(x)f(x)=1称 f ( x ) f(x) f(x)在 x → x 0 x \to x_0 x→x0时关于 g ( x ) g(x) g(x)是等价的，记为 f ( x ) ∼ g ( x ) f(x)\sim g(x) f(x)∼g(x)；这个等价的定义也的确是一个等价关系，它满足对称性、自反性与传递性。

定义1.3 强函数
g ( x ) > 0 g(x)>0 g(x)>0，如果 ∃ M > 0 \exists M>0 ∃M>0，
∣ f ( x ) ∣ ≤ M g ( x ) , ∀ x ∈ ( a , b ) |f(x)| \le Mg(x),\forall x \in (a,b) ∣f(x)∣≤Mg(x),∀x∈(a,b)

则称 g ( x ) g(x) g(x)在 ( a , b ) (a,b) (a,b)上是 f ( x ) f(x) f(x)的强函数，记为 f ( x ) = O ( g ( x ) ) f(x)=O(g(x)) f(x)=O(g(x));

定义1.4 同阶无穷小量
如果 f ( x ) = o ( 1 ) , g ( x ) = o ( 1 ) f(x)=o(1),g(x)=o(1) f(x)=o(1),g(x)=o(1)，并且 ∃ A , B > 0 \exists A,B>0 ∃A,B>0，
lim sup ⁡ x → x 0 f ( x ) g ( x ) ≤ A , lim sup ⁡ x → x 0 g ( x ) f ( x ) ≤ B \limsup _{x \to x_0} \frac{f(x)}{g(x)} \le A,\limsup _{x \to x_0} \frac{g(x)}{f(x)} \le B x→x0limsupg(x)f(x)≤A,x→x0limsupf(x)g(x)≤B

称 f ( x ) , g ( x ) f(x),g(x) f(x),g(x)在 x → x 0 x \to x_0 x→x0时是同阶无穷小量，记为 f ( x ) ≍ g ( x ) f(x) \asymp g(x) f(x)≍g(x)（latex: \asymp）

说明 O O O与 o o o以及其他几个表示渐近性质的符号被称为渐近记号或者Bachmann–Landau notation。

例1.1 假设 ϵ > 0 \epsilon>0 ϵ>0， A A A是任意常数，则 ∀ ϵ > 0 \forall \epsilon>0 ∀ϵ>0，当 x → ∞ x \to \infty x→∞时

x A = o ( ( 1 + α ) ϵ x ) x^A = o((1+\alpha)^{\epsilon x}) xA=o((1+α)ϵx)
( log ⁡ x ) A = o ( x ϵ ) (\log x)^A = o(x^{\epsilon}) (logx)A=o(xϵ)
( f ( x ) ) A = o ( e ϵ f ( x ) ) (f(x))^A = o(e^{\epsilon f(x)}) (f(x))A=o(eϵf(x)), f ( x ) f(x) f(x)单调递增且是无穷大量(极限为无穷)

这个例子想表达的意思是指数函数增长贼快；先证明第一个式子，根据定义，我们需要说明
lim ⁡ x → ∞ x A ( 1 + α ) ϵ x = 0 = lim ⁡ x → ∞ ϵ A x A ( 1 + α ) ϵ x = y = ϵ x lim ⁡ y → ∞ y A ( 1 + α ) y \lim_{x \to \infty} \frac{x^A}{(1+\alpha)^{\epsilon x}} = 0 = \lim_{x \to \infty} \frac{\epsilon^Ax^A}{(1+\alpha)^{\epsilon x}}=_{y = \epsilon x} \lim_{y \to \infty}\frac{y^A}{(1+\alpha)^y} x→∞lim(1+α)ϵxxA=0=x→∞lim(1+α)ϵxϵAxA=y=ϵxy→∞lim(1+α)yyA

针对 ( 1 + α ) y (1+\alpha)^y (1+α)y，我们可以将其离散化后用二项式定理展开做放缩，取 y → ∞ y \to \infty y→∞的一个子列 { n } n ∈ N \{n\}_{n \in \mathbb{N}} {n}n∈N，用二项式定理，
( 1 + α ) n = ∑ i = 0 n C n i α n (1+\alpha)^n=\sum_{i=0}^n C_n^i \alpha^n (1+α)n=i=0∑nCniαn

假设 m = [ A ] + 1 m=[A]+1 m=[A]+1， [ A ] [A] [A]表示不大于 A A A的最大整数，既然我们要考虑 n → ∞ n \to \infty n→∞的情况，不妨假设 n ≥ 2 m + 1 n \ge 2m+1 n≥2m+1，则
∑ i = 0 n C n i α n ≥ C n 2 m + 1 α m + 1 ≥ α m + 1 ( m + 1 ) ! ( n − m ) m + 1 ≥ α m + 1 ( m + 1 ) ! ( n 2 ) m + 1 = α m + 1 2 m + 1 ( m + 1 ) ! n m + 1 \sum_{i=0}^n C_n^i \alpha^n \ge C_n^{2m+1}\alpha^{m+1} \ge \frac{\alpha^{m+1}}{(m+1)!}(n-m)^{m+1} \\ \ge \frac{\alpha^{m+1}}{(m+1)!}\left( \frac{n}{2}\right)^{m+1} = \frac{\alpha^{m+1}}{2^{m+1}(m+1)!}n^{m+1} i=0∑nCniαn≥Cn2m+1αm+1≥(m+1)!αm+1(n−m)m+1≥(m+1)!αm+1(2n)m+1=2m+1(m+1)!αm+1nm+1

所以
n A ( 1 + α ) n ≤ 2 m + 1 ( m + 1 ) ! α m + 1 1 n = o ( 1 ) \frac{n^A}{(1+\alpha)^n} \le \frac{2^{m+1}(m+1)!}{\alpha^{m+1}} \frac{1}{n} = o(1) (1+α)nnA≤αm+12m+1(m+1)!n1=o(1)

因此 x A = o ( ( 1 + α ) ϵ x ) x^A = o((1+\alpha)^{\epsilon x}) xA=o((1+α)ϵx)；

取 α = ϵ − 1 , x = ϵ log ⁡ y \alpha=\epsilon-1,x=\epsilon \log y α=ϵ−1,x=ϵlogy，可以由1得到2；取 x = e f ( y ) x=e^{f(y)} x=ef(y)可以由2得到3。

定理1.1 无穷小量与强函数的运算法则

有界函数关于无穷大量是无穷小量： x → x 0 x \to x_0 x→x0时， f ( x ) f(x) f(x)是无穷大量， ϕ ( x ) = O ( 1 ) \phi(x)=O(1) ϕ(x)=O(1)，则 ϕ ( x ) = o ( f ( x ) ) \phi(x)=o(f(x)) ϕ(x)=o(f(x))
强函数的传递性： f = O ( ϕ ) , ϕ = O ( ψ ) f = O(\phi),\phi = O(\psi) f=O(ϕ),ϕ=O(ψ)，则 f = O ( ψ ) f=O(\psi) f=O(ψ)
某函数的强函数是无穷小量，则它本身也是无穷小量： f = O ( ϕ ) , ϕ = o ( ψ ) f=O(\phi),\phi = o(\psi) f=O(ϕ),ϕ=o(ψ)，则 f = o ( ψ ) f=o(\psi) f=o(ψ)
强函数可和： O ( f ) + O ( g ) = O ( f + g ) O(f)+O(g) = O(f+g) O(f)+O(g)=O(f+g)
强函数可积： O ( f ) O ( g ) = O ( f g ) O(f)O(g)=O(fg) O(f)O(g)=O(fg)
无穷小量与强函数的积是无穷小量： o ( 1 ) O ( f ) = o ( f ) O ( 1 ) = o ( f ) o(1)O(f)=o(f)O(1)=o(f) o(1)O(f)=o(f)O(1)=o(f)
无穷小量与强函数的和是强函数： O ( f ) + o ( f ) = O ( f ) O(f)+o(f)=O(f) O(f)+o(f)=O(f)
无穷小量可和： o ( f ) + o ( g ) = o ( ∣ f ∣ + ∣ g ∣ ) o(f)+o(g)=o(|f|+|g|) o(f)+o(g)=o(∣f∣+∣g∣)
无穷小量可积： o ( f ) o ( g ) = o ( f g ) o(f)o(g)=o(fg) o(f)o(g)=o(fg)
强函数可乘幂： [ O ( f ) ] k = O k ( f k ) [O(f)]^k = O_k(f^k) [O(f)]k=Ok(fk)， O k O_k Ok说明强函数定义的不等式中的常数与 k k k有关
无穷小量可乘幂： [ o ( f ) ] k = o ( f k ) [o(f)]^k=o(f^k) [o(f)]k=o(fk)
等价不受无穷小量的影响： f = o ( g ) f=o(g) f=o(g), g ∼ ψ g \sim \psi g∼ψ，则 g ∼ ψ ± f g \sim \psi \pm f g∼ψ±f

说明

为了便于查找使用，关于强函数与无穷小量的运算法则都在这里了，后续的定理/例题中会经常用到这些运算法则。
虽然我们用 O , o O,o O,o这样的符号定义强函数与无穷小量，并且用等号进行运算，但我们一定要牢记， O O O的本质是一个不等式， o o o的本质是一个极限。

这些运算法则的证明非常简单，基本上就是使用定义进行验证即可，比如第六条，在 x → x 0 x \to x_0 x→x0时，假设 ϕ = o ( 1 ) \phi=o(1) ϕ=o(1)， g ( x ) > 0 g(x)>0 g(x)>0, ∃ M > 0 \exists M>0 ∃M>0, ∣ f ( x ) ∣ < M g ( x ) , ∀ x ∈ ( a , b ) , x 0 ∈ ( a , b ) |f(x)|<Mg(x),\forall x \in (a,b),x_0 \in (a,b) ∣f(x)∣<Mg(x),∀x∈(a,b),x0∈(a,b)，根据极限的保号性，
0 ≤ lim ⁡ x → x 0 ∣ ϕ ( x ) f ( x ) g ( x ) ∣ ≤ M lim ⁡ x → x 0 ∣ ϕ ( x ) ∣ = 0 0 \le \lim_{x \to x_0} \left| \frac{\phi(x)f(x)}{g(x)} \right| \le M \lim_{x \to x_0}|\phi(x)|=0 0≤x→x0lim∣∣∣∣g(x)ϕ(x)f(x)∣∣∣∣≤Mx→x0lim∣ϕ(x)∣=0

因此 ϕ ( x ) f ( x ) = o ( g ( x ) ) \phi(x)f(x)=o(g(x)) ϕ(x)f(x)=o(g(x))。