文章目录

线性空间.
- 线性空间维度.
欧几里得空间.
酉空间.
度量空间.
内积空间.
赋范线性空间.
- 收敛点列.
- 一叨.
Hilbert空间.
完整过程.
- 内积诱导范数.
- - 关于∣∣x⃗+y⃗∣∣2||\vec x+\vec y||^2∣∣x+y∣∣2.
  - 柯西不等式.
参考资料.

线性空间.

英文名词为 Vector Space，因此其更准确的名称是向量空间。
向量空间形式化定义如下，关于其中的陌生名词会以Digression的形式简单解释。
设 VVV 为非空集合，PPP 为域，在 VVV 中定义运算"向量加法" V+V→VV+V→VV+V→V：对 a,b∈Va,b∈Va,b∈V 按照确定法则唯一对应于 VVV 中的元素 a+ba+ba+b；在 P,VP,VP,V 的元素间定义运算"标量乘法"P×V→VP×V→VP×V→V：对 a∈V,k∈Pa∈V,k∈Pa∈V,k∈P 按照确定法则唯一对应于 VVV 中的元素 kakaka，定义的两种运算需要满足下面八大条件。
a+b=b+aa+b=b+aa+b=b+a
a+(b+c)=(a+b)+ca+(b+c)=(a+b)+ca+(b+c)=(a+b)+c
存在一个元素 0∈V0∈V0∈V 使得 a+0=aa+0=aa+0=a，称 000 为 VVV 的零元。
对于任意的 a∈Va∈Va∈V，都存在 bbb 使得 a+b=0a+b=0a+b=0，称 bbb 为 aaa 的逆元素，记为 −a-a−a.
PPP 中有单位元 111 使得 1a=a1a=a1a=a
对于 k,l∈Pk,l∈Pk,l∈P 有 k(la)=(kl)ak(la)=(kl)ak(la)=(kl)a
对于 k,l∈Pk,l∈Pk,l∈P 有 (k+l)a=ka+la(k+l)a=ka+la(k+l)a=ka+la
对于 k∈P;a,b∈Vk∈P;a,b∈Vk∈P;a,b∈V 有 k(a+b)=ka+kbk(a+b)=ka+kbk(a+b)=ka+kb
满足以上八大条件，则称 VVV 为域 PPP 上的一个线性空间，或向量空间。VVV 中元素称为向量，VVV 的零元称为零向量，PPP 称为线性空间的基域。当 PPP 是实数域时，VVV 称为实线性空间；当 PPP 是复数域时，VVV 称为复线性空间。

【Digression-域】域是一种特殊代数系统，对于代数系统 <F,+,⋅><F,+,·><F,+,⋅> 而言，其中 <F,+><F,+><F,+> 是阿贝尔群，<F−0,⋅><F-{0},·><F−0,⋅> 是阿贝尔群，并且乘法 ⋅·⋅ 对加法 +++ 可分配，那么 <F,+,⋅><F,+,·><F,+,⋅> 就称为域。对于有理数集 QQQ，实数集 RRR 和复数集 CCC 而言，<Q,+,⋅>,<R,+,⋅>,<C,+,⋅><Q,+,·>,<R,+,·>,<C,+,·><Q,+,⋅>,<R,+,⋅>,<C,+,⋅> 都是域。平时所说的实数域、复数域就是指这些集合以及定义在集合上的运算。关于代数系统以及半群、群、环以及域，有机会会在【离散数学】中介绍。本篇中，完全可以使用实数、复数与加减乘除等概念来理解这里出现的域。

线性空间维度.

设 XXX 为线性空间，如果 XXX 有 nnn 个线性无关的元素，但任意 n+1n+1n+1 个元素都线性相关，则称 XXX 为有限维空间，称 nnn 为 XXX 的维数，记 dim(X)=ndim(X) = ndim(X)=n.
【性质】设 XXX 为线性空间，dim(X)=ndim(X)=ndim(X)=n，{x1,x2,...,xn}\{x_1,x_2,...,x_n\}{x1,x2,...,xn} 线性无关。则 XXX 中的任意元素 xxx 都可以唯一地表示为 x=∑i=1naixix=\sum^n_{i=1}a_ix_ix=∑i=1naixi 的线性组合.

【Digression-线性无关】如果 VVV是一个线性空间，如果存在不全为零的系数 ai∈P,i=1,2,...,na_i∈P,i=1,2,...,nai∈P,i=1,2,...,n，使得 ∑i=1naixi=0\sum^n_{i=1}a_ix_i=0∑i=1naixi=0，那么其中有限多个向量 {x1,x2,...,xn}\{x_1,x_2,...,x_n\}{x1,x2,...,xn} 称为线性相关的。反之，称这组向量为线性无关的。

欧几里得空间.

【图源】
实数域上的线性空间+内积=欧几里得空间，可以看出欧氏空间是特殊的线性空间，其中内积满足对称性、正定性与线性性质。
欧几里得空间中以 ∣x⃗∣=(x⃗,x⃗)=∑i=1nxi2|\vec x|=\sqrt{(\vec x,\vec x)}=\sqrt{\sum^n_{i=1}x_i^2}∣x∣=(x,x)=∑i=1nxi2 来度量 nnn 维向量 x⃗\vec xx 的长度，据此还可以定义两个向量 x⃗,y⃗\vec x,\vec yx,y 之间的距离 ∣x⃗−y⃗∣=(x⃗−y⃗,x⃗−y⃗)=∑i=1n(xi−yi)2=d(x⃗,y⃗)|\vec x-\vec y|=\sqrt{(\vec x-\vec y,\vec x-\vec y)}=\sqrt{\sum^n_{i=1}(x_i-y_i)^2}=d(\vec x,\vec y)∣x−y∣=(x−y,x−y)=∑i=1n(xi−yi)2=d(x,y).

酉空间.

前部分的欧氏空间是实数域上的特殊线性空间(引入内积)，将基域 PPP 推广到复数域 CCC 得到酉空间。【图源】
酉空间中以 ∣∣x⃗∣∣=(x⃗,x⃗)||\vec x||=\sqrt{(\vec x,\vec x)}∣∣x∣∣=(x,x) 来度量向量 x⃗\vec xx 的长度，类似地也可以定义距离 d(x⃗,y⃗)=∣∣x⃗−y⃗∣∣d(\vec x,\vec y)=||\vec x-\vec y||d(x,y)=∣∣x−y∣∣.
酉空间和欧几里得空间一个显著不同在于，欧几里得空间中可以定义两向量间夹角 <a⃗,b⃗><\vec a,\vec b><a,b> 的余弦值为 cos<a⃗,b⃗>=(a⃗,b⃗)∣a⃗∣∣b⃗∣cos<\vec a,\vec b>=\frac{(\vec a,\vec b)}{|\vec a||\vec b|}cos<a,b>=∣a∣∣b∣(a,b)，而酉空间中向量内积不一定为实数，所以无法定义。

在早期的著作中，内积空间被称作酉空间，但这个词已经被淘汰了。

度量空间.

顾名思义，度量空间中任意元素之间的距离是可定义的。【图源】
例如上面定义的欧几里得空间就是一种度量空间，从不同的角度对待这些集合，关注它的不同性质，往往会反映在不同的名称上。

内积空间.

前面我们看到，实数域上的线性空间引入内积概念后得到欧几里得空间，推广到复数域后得到酉空间。可以总结出内积空间是添加了一定结构的线性空间，这个结构就是【内积】，内积的作用是将一对向量和一个标量联系起来，能够形式化的讨论向量的长度和夹角，进一步讨论正交性。
内积空间的定义就是前面给出的酉空间定义，但后者已经淘汰。
实向量空间 RnR^nRn 上一个向量内积 (x⃗,y⃗)=∑i=1nxiyi(\vec x,\vec y)=\sum^n_{i=1}x_iy_i(x,y)=∑i=1nxiyi，复向量空间 CnC^nCn 上一个向量内积 (z⃗,p⃗)=∑i=1nzipi‾(\vec z,\vec p)=\sum^n_{i=1}z_i\overline{p_i}(z,p)=∑i=1nzipi.

赋范线性空间.

线性空间+范数=赋范线性空间
设 EEE 是域 KKK 上的线性空间，定义实值函数 ∣∣●∣∣||●||∣∣●∣∣，若它满足：
【正定性】∀x⃗∈E,∣∣x⃗∣∣≥0∀\vec x∈E,||\vec x||≥0∀x∈E,∣∣x∣∣≥0 且 ∣∣x⃗∣∣=0⇔x⃗=0⃗;||\vec x||=0⇔\vec x=\vec 0;∣∣x∣∣=0⇔x=0;
【正齐性】∀x⃗∈E,∀α∈K,∣∣αx⃗∣∣=∣α∣∣∣x⃗∣∣;∀\vec x∈E,∀\alpha∈K,||\alpha\vec x||=|\alpha|||\vec x||;∀x∈E,∀α∈K,∣∣αx∣∣=∣α∣∣∣x∣∣;
【三角不等式】∀x⃗,y⃗∈E,∣∣x⃗+y⃗∣∣≤∣∣x⃗∣∣+∣∣y⃗∣∣;∀\vec x,\vec y∈E,||\vec x+\vec y||≤||\vec x||+||\vec y||;∀x,y∈E,∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣;
则称 ∣∣●∣∣||●||∣∣●∣∣ 是 EEE 上的一个范数，并称 EEE 为赋范线性空间。

收敛点列.

【Digression-点列】Range of Points，也没啥好解释的吧，很多点的排列集合，类比数列。

设点列 {xn}⊂E，x∈E\{x_n\}⊂E，x∈E{xn}⊂E，x∈E，若 ∣∣xn−x∣∣→0||x_n-x||→0∣∣xn−x∣∣→0，则称点列 {xn}\{x_n\}{xn} 收敛于 xxx，记作 limxn=xlim~x_n=xlim xn=x.
【柯西序列】设 {xn}⊂E\{x_n\}⊂E{xn}⊂E，若 n→∞n→∞n→∞ 时 ∀p∈Z+∀p∈Z^+∀p∈Z+ 都有 ∣∣xn+p−xn∣∣→0||x_{n+p}-x_n||→0∣∣xn+p−xn∣∣→0，那么点列 {xn}\{x_n\}{xn} 称为柯西序列或基本列。
另一种定义：设 (E,d)(E,d)(E,d) 是度量空间，xnx_nxn 是 EEE 中点列，若对于任意的正数 ϵ\epsilonϵ，都存在自然数 NNN 使得 x,y≥Nx,y≥Nx,y≥N 时 d(xx−dy)<ϵd(x_x-d_y)<\epsilond(xx−dy)<ϵ 成立，则称点列 {xn}\{x_n\}{xn} 称为柯西序列。

一叨.

对比收敛点列和柯西序列的定义发现，收敛点列一定是柯西序列，但柯西序列不一定在 EEE 上是收敛的，存在着柯西序列极限不属于域 EEE 的情况，此时该柯西序列不收敛，对应着赋范线性空间 EEE 不完备。
例如实数域线性空间中一个点列 {3,3.1,3.14,3.14159,3.1415926535897932,...}\{3,3.1,3.14,3.14159,3.1415926535897932,...\}{3,3.1,3.14,3.14159,3.1415926535897932,...} 是柯西序列同时也是一个收敛点列，因为其极限 π∈R\pi∈Rπ∈R，但如果在有理数线性空间中考虑它，由于其极限并不属于有理数，所以该柯西序列在有理数空间中不收敛。
完备的赋范线性空间也称为Banach空间，实数域线性空间是完备的，有理数不完备。

Hilbert空间.

在接触支持向量机中的核函数时曾经去了解过希尔伯特空间，但当时看得云里雾里。
从我们第一部分给出的线性空间开始，引入内积得到内积空间，引入范数得到赋范空间，线性空间就像亚古兽一样，遇到八神太一会进化为战斗暴龙兽，遇到大门大会进化为闪光暴龙兽，而后完备的赋范空间称为Banach空间，这时闪光暴龙兽学习到了充入数码之魂后的爆裂形态。
内积空间，也就是战斗暴龙兽那一脉此时战斗力稍有不足，于是自省发现用于表示向量长度的 ∣∣x⃗∣∣=(x⃗,x⃗)||\vec x||=\sqrt{(\vec x,\vec x)}∣∣x∣∣=(x,x) 来度量向量 x⃗\vec xx 也满足范数的定义，于是内积空间在范数完备的情况下进化为Hilbert空间，战斗暴龙兽进化为了皇家骑士奥米加兽，写到这儿突然燃起来了，此处该有BGM.
比较希尔伯特空间和巴拿赫空间的定义发现，希尔伯特空间一定是巴拿赫空间，但巴拿赫空间却不一定是希尔伯特空间，正好对应了奥米加兽比爆裂闪暴小强一点的设定。

【Digression-核函数与希尔伯特空间】假设 K(x⃗,z⃗)K(\vec x,\vec z)K(x,z) 是定义在 X×XX×XX×X上的对称函数，并且对于 x1,x2,...,xm∈Xx_1,x_2,...,x_m∈Xx1,x2,...,xm∈X，K(x⃗,z⃗)K(\vec x,\vec z)K(x,z) 的 GramGramGram 矩阵是半正定矩阵。可以依据函数 K(x⃗,z⃗)K(\vec x,\vec z)K(x,z) 构成一个希尔伯特空间。由于该函数 K(x⃗,z⃗)K(\vec x,\vec z)K(x,z) 具有再生性，称为再生核，该空间也称为再生核希尔伯特空间。有机会的话，会对《支持向量机》进行补充，讲述关于线性不可分情况下使用核函数支持向量机部分。

完整过程.

线性空间+内积=内积空间
线性空间+范数=赋范空间
线性空间+范数+完备=巴拿赫空间
线性空间+内积+完备=希尔伯特空间

内积诱导范数.

在内积空间 (X,(●,●))(X,(●,●))(X,(●,●)) 中，定义 ∣∣x⃗∣∣=(x⃗,x⃗)||\vec x||=\sqrt{(\vec x,\vec x)}∣∣x∣∣=(x,x)，也就是前面所说的向量长度，它是一个满足范数定义的实值函数，称为内积诱导出的范数。
【证明】正定性与正齐性从内积性质可以推出，三角不等式证明如下。
∣∣x⃗+y⃗∣∣2=∣∣x⃗∣∣2+∣∣y2∣∣+2Re(x⃗,y⃗)≤∣∣x⃗∣∣2+∣∣y2∣∣+2∣(x⃗,y⃗)∣||\vec x+\vec y||^2=||\vec x||^2+||y^2||+2Re(\vec x,\vec y)≤||\vec x||^2+||y^2||+2|(\vec x,\vec y)|∣∣x+y∣∣2=∣∣x∣∣2+∣∣y2∣∣+2Re(x,y)≤∣∣x∣∣2+∣∣y2∣∣+2∣(x,y)∣.

【Digression of Cauchy-Schwarz Inequality】
∣(x⃗,y⃗)∣≤∣∣x⃗∣∣⋅∣∣y⃗∣∣|(\vec x,\vec y)|≤||\vec x||·||\vec y||∣(x,y)∣≤∣∣x∣∣⋅∣∣y∣∣

因此 ∣∣x⃗+y⃗∣∣2≤∣∣x⃗∣∣2+∣∣y2∣∣+2∣(x⃗,y⃗)∣≤∣∣x⃗∣∣2+∣∣y2∣∣+2∣∣x⃗∣∣⋅∣∣y⃗∣∣=(∣∣x⃗∣∣+∣∣y⃗∣∣)2||\vec x+\vec y||^2≤||\vec x||^2+||y^2||+2|(\vec x,\vec y)|≤||\vec x||^2+||y^2||+2||\vec x||·||\vec y||=(||\vec x||+||\vec y||)^2∣∣x+y∣∣2≤∣∣x∣∣2+∣∣y2∣∣+2∣(x,y)∣≤∣∣x∣∣2+∣∣y2∣∣+2∣∣x∣∣⋅∣∣y∣∣=(∣∣x∣∣+∣∣y∣∣)2.
由于范数非负，开平方后得到三角不等式 ∣∣x⃗+y⃗∣∣≤∣∣x⃗∣∣+∣∣y⃗∣∣||\vec x+\vec y||≤||\vec x||+||\vec y||∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣.

【Digression-复数模】考虑复数 z=a+biz=a+biz=a+bi，那么 ∣z∣=a2+b2|z|=\sqrt{a^2+b^2}∣z∣=a2+b2. 另外 ∣z∣2=zz‾|z|^2=z\overline{z}∣z∣2=zz.

关于∣∣x⃗+y⃗∣∣2||\vec x+\vec y||^2∣∣x+y∣∣2.

上部分证明内积诱导范数满足三角不等式时使用了等式 ∣∣x⃗+y⃗∣∣2=∣∣x⃗∣∣2+∣∣y⃗∣∣2+2Re(x⃗,y⃗)||\vec x+\vec y||^2=||\vec x||^2+||\vec y||^2+2Re(\vec x,\vec y)∣∣x+y∣∣2=∣∣x∣∣2+∣∣y∣∣2+2Re(x,y).
【证明】设 x⃗=a+bi,y⃗=c+di\vec x=a+bi,\vec y=c+dix=a+bi,y=c+di，那么 ∣∣(a+c)+(b+d)i∣∣2=(a+c)2+(b+d)2=a2+b2+c2+d2+2ac+2bd||(a+c)+(b+d)i||^2=(a+c)^2+(b+d)^2=a^2+b^2+c^2+d^2+2ac+2bd∣∣(a+c)+(b+d)i∣∣2=(a+c)2+(b+d)2=a2+b2+c2+d2+2ac+2bd，由于 ∣∣x⃗∣∣2=a2+b2;∣∣y⃗∣∣2=c2+d2;(x⃗,y⃗)=(ac+bd)+(bc−ad)i||\vec x||^2=a^2+b^2;||\vec y||^2=c^2+d^2;(\vec x,\vec y)=(ac+bd)+(bc-ad)i∣∣x∣∣2=a2+b2;∣∣y∣∣2=c2+d2;(x,y)=(ac+bd)+(bc−ad)i，所以 2Re(x⃗,y⃗)=2ac+2bd2Re(\vec x,\vec y)=2ac+2bd2Re(x,y)=2ac+2bd，至此等式得证。
由该等式可以很容易证明内积诱导范数的平行四边形公式：∣∣x⃗+y⃗∣∣2+∣∣x⃗−y⃗∣∣2=2(∣∣x⃗∣∣2+∣∣y⃗∣∣2)||\vec x+\vec y||^2+||\vec x-\vec y||^2=2(||\vec x||^2+||\vec y||^2)∣∣x+y∣∣2+∣∣x−y∣∣2=2(∣∣x∣∣2+∣∣y∣∣2)

柯西不等式.

【范数形式】∣(x⃗,y⃗)∣≤∣∣x⃗∣∣⋅∣∣y⃗∣∣|(\vec x,\vec y)|≤||\vec x||·||\vec y||∣(x,y)∣≤∣∣x∣∣⋅∣∣y∣∣
【内积形式】∣(x⃗,y⃗)∣2≤(x⃗,x⃗)⋅(y⃗,y⃗)|(\vec x,\vec y)|^2≤(\vec x,\vec x)·(\vec y,\vec y)∣(x,y)∣2≤(x,x)⋅(y,y)
【证明】0≤(x⃗−ay⃗,x⃗−ay⃗)=∣∣x⃗∣∣2+∣a∣2∣∣y⃗∣∣2−a‾(x⃗,y⃗)−a(y⃗,x⃗)0≤(\vec x-a\vec y,\vec x-a\vec y)=||\vec x||^2+|a|^2||\vec y||^2-\overline a(\vec x,\vec y)-a(\vec y,\vec x)0≤(x−ay,x−ay)=∣∣x∣∣2+∣a∣2∣∣y∣∣2−a(x,y)−a(y,x)，取 a=(x⃗,y⃗)∣∣y⃗∣∣2a=\frac{(\vec x,\vec y)}{||\vec y||^2}a=∣∣y∣∣2(x,y)，得到 ∣∣x⃗∣∣2−∣(x⃗,y⃗)∣2∣∣y⃗∣∣2≥0||\vec x||^2-\frac{|(\vec x,\vec y)|^2}{||\vec y||^2}≥0∣∣x∣∣2−∣∣y∣∣2∣(x,y)∣2≥0，即 ∣(x⃗,y⃗)∣2≤∣∣x⃗∣∣2⋅∣∣y⃗∣∣2=(x⃗,x⃗)⋅(y⃗,y⃗)|(\vec x,\vec y)|^2≤||\vec x||^2·||\vec y||^2=(\vec x,\vec x)·(\vec y,\vec y)∣(x,y)∣2≤∣∣x∣∣2⋅∣∣y∣∣2=(x,x)⋅(y,y)，两边开平方即 ∣(x⃗,y⃗)∣≤∣∣x⃗∣∣⋅∣∣y⃗∣∣|(\vec x,\vec y)|≤||\vec x||·||\vec y||∣(x,y)∣≤∣∣x∣∣⋅∣∣y∣∣.

参考资料.

《机器学习中的数学》
《矩阵与线性空间拓展》

【Practical】线性空间相关推荐

相机模型--A Unifying Theory for Central Panoramic Systems and Practical Implications
A Unifying Theory for Central Panoramic Systems and Practical Implications ECCV 2000 Abstract Omnidi ...
侯捷译Practical Java(含源码)
侯捷译Practical Java(含源码) [url=http://www.123xz.net/soft/49/297/308/2007/20070517105923.html][B]侯捷译Prac ...
Practical Common Lisp
Practical Common Lisp Practical Common Lisp
范数（赋范线性空间、向量范数、矩阵范数）
赋范线性空间: 在线性空间中装配上范数就成了赋范线性空间,这和內积空间是不是套路一致. ---------------------------------------------------- 向量范 ...
文本比较算法Ⅶ——线性空间求最长公共子序列的Nakatsu算法
在参阅<A Longest Common Subsequence Algorithm Suitable for Similar Text Strings>(Narao Nakatsu,Ya ...
Plenty Of Tricks to Get Irradiance Caching Practical
Plenty Of Tricks to Get Irradiance Caching Practical http://cgg.mff.cuni.cz/~jaroslav/papers/2008-ir ...
矩阵分析与多元统计1 线性空间与线性变换3 特征值
矩阵分析与多元统计1 线性空间与线性变换3 特征值线性变换线性空间的同构线性变换的特征值与特征向量几何重数与代数重数线性变换从线性空间VVV到它自身的线性映射叫做线性变换,在基α1,⋯,α ...
矩阵分析与多元统计线性空间与线性变换2
矩阵分析与多元统计线性空间与线性变换2 线性映射矩阵的等价线性映射的像空间与核空间线性映射 V1,V2V_1,V_2V1,V2是数域FFF上的两个线性空间,A:V1→V2\mathcal{ ...
矩阵分析与多元统计1 线性空间与线性变换1
矩阵分析与多元统计线性空间与线性变换1 线性空间基.坐标.坐标变换线性子空间关于矩阵分析的讨论都是在线性空间中进行的,所以这个系列的博客会从线性空间开始,考虑到是矩阵分析了,所以线性代数层面的 ...
【数理知识】《矩阵论》方保镕老师-第4章-赋范线性空间与矩阵范数
上一章回到目录下一章第4章-赋范线性空间与矩阵范数 4.1 赋范线性空间 4.1.1 向量的范数 4.1.2 向量范数的性质 4.2 矩阵的范数 4.2.1 矩阵范数的定义与性质 4.2.2 算 ...

【Practical】线性空间

文章目录

线性空间.

线性空间维度.

欧几里得空间.

酉空间.

度量空间.

内积空间.

赋范线性空间.

收敛点列.

一叨.

Hilbert空间.

完整过程.

内积诱导范数.

关于∣∣x⃗+y⃗∣∣2||\vec x+\vec y||^2∣∣x+y∣∣2.

柯西不等式.

参考资料.

【Practical】线性空间相关推荐

最新文章

热门文章

【Practical】线性空间

文章目录

线性空间.

线性空间维度.

欧几里得空间.

酉空间.

度量空间.

内积空间.

赋范线性空间.

收敛点列.

一叨.

Hilbert空间.

完整过程.

内积诱导范数.

关于∣∣x⃗+y⃗∣∣2||\vec x+\vec y||^2∣∣x+y​∣∣2.

柯西不等式.

参考资料.

【Practical】线性空间相关推荐

最新文章

热门文章

关于∣∣x⃗+y⃗∣∣2||\vec x+\vec y||^2∣∣x+y∣∣2.