机器学习数学基础之极限

极限

极限定义
无穷小和无穷大
- 定义
- 无穷比大小
- 夹逼定理
- 重要极限

本文为作者本人学习过程中的一些重要笔记记录，只为方便以后复习查看。

极限定义

对于任意正数ε\varepsilonε>0，存在正数δ\deltaδ使得当0<∣x−x0∣<δ0<|x-x_0|<\delta0<∣x−x0∣<δ时，有∣f(x)−L∣<ε|f(x)-L|<\varepsilon∣f(x)−L∣<ε
记为lim⁡x→x0f(x)=L\lim_{x\rightarrow x_0}f(x)=Llimx→x0f(x)=L

无穷小和无穷大

无穷比较在算法的复杂度的比较上经常使用。

定义

若lim⁡x→x0f(x)=0\lim_{x\rightarrow x_0}f(x)=0limx→x0f(x)=0，则称f(x)f(x)f(x)当x→x0x\rightarrow x_0x→x0时为无穷小量，简称无穷小，即无穷小量为以0为极限的变量。同理无穷大为以∞\infty∞为极限的变量。

无穷比大小

同样为无穷小，但是无穷小量之间是有大小区分的。
lim⁡x→0sin⁡(x)tan⁡(x)=1\lim_{x\rightarrow 0}{\sin(x)\over\tan(x)}=1x→0limtan(x)sin(x)=1
说明两个无穷小是同阶无穷小，即两者趋于0的速度是相等的。
如果lim⁡x→0f(x)=0\lim_{x\rightarrow 0}f(x)=0limx→0f(x)=0，同时lim⁡x→0f(x)xn=0\lim_{x\rightarrow 0}{f(x)\over{x^n }}=0x→0limxnf(x)=0
说明f(x)f(x)f(x)是nnn阶以上的无穷小f(x)=o(xn),x→0f(x)=o(x^n),x\rightarrow0f(x)=o(xn),x→0
说明f(x)f(x)f(x)在0处趋向0的速度比xnx^nxn快。
如果lim⁡x→0f(x)=0\lim_{x\rightarrow 0}f(x)=0limx→0f(x)=0，同时lim⁡x→0f(x)xn\lim_{x\rightarrow 0}{f(x)\over{x^n }}limx→0xnf(x)存在且不等于0，说明f(x)f(x)f(x)是nnn阶无穷小f(x)=O(xn),x→0f(x)=O(x^n),x\rightarrow0f(x)=O(xn),x→0
说明f(x)f(x)f(x)在0处趋向0的速度和xnx^nxn快。
无穷小阶数的意义在于，用已知的xnx^nxn来衡量未知f(x)f(x)f(x)，把未解决的问题转化为已解决的问题，是数学常用的技巧。

夹逼定理

f(x)<=g(x)<=h(x)f(x)<=g(x)<=h(x)f(x)<=g(x)<=h(x)，且在x0x_0x0处存在极限，则有
lim⁡x→x0f(x)<=lim⁡x→x0g(x)<=lim⁡x→x0h(x)\lim_{x\rightarrow x_0}f(x)<=\lim_{x\rightarrow x_0}g(x)<=\lim_{x\rightarrow x_0}h(x)x→x0limf(x)<=x→x0limg(x)<=x→x0limh(x)

重要极限

lim⁡x→0sin⁡(x)x=1\lim_{x\rightarrow 0}{\sin(x)\over x}=1limx→0xsin(x)=1
lim⁡x→∞xαex=0\lim_{x\rightarrow \infty}{x^\alpha \over e^x}=0limx→∞exxα=0,算法复杂度为exe^xex是很大的。
lim⁡x→∞ln⁡(x)xα=0\lim_{x\rightarrow \infty}{\ln(x) \over x^\alpha}=0limx→∞xαln(x)=0，对任意的正数α\alphaα成立。
lim⁡x→∞(1+1x)=e\lim_{x\rightarrow \infty}{(1+{1\over x}) }=elimx→∞(1+x1)=e