矩阵分析与应用（二）—

常数向量的内积与范数

两个m×1m×1的向量之间的内积（点积）定义为：

⟨x,y⟩=xHy=∑i=1mx∗iyi

\langle x,y\rangle=x^Hy=\sum_{i=1}^m x_i^*y_i

其夹角定义为：

cosθ=⟨x,y⟩⟨x,x⟩⟨y,y⟩−−−−−−−−−√=xHy∥x∥∥y∥

cos \theta = \frac{\langle x,y\rangle}{\sqrt {\langle x,x\rangle\langle y,y\rangle}}=\frac{x^Hy}{\Vert x\Vert\Vert y\Vert}

我们说两个向量正交，即两个向量的点积为0，夹角为90度。

常用的向量范数

l1l1范数：

∥x∥1=∑i=1n|xi|

\Vert x\Vert_1 =\sum_{i=1}^n\vert x_i \vert
l2l2范数：
∥x∥2=∑i=1n|xi|2−−−−−−−√

\Vert x\Vert_2 =\sqrt{\sum_{i=1}^n \vert x_i\vert^2} 常称为Euclidean，有时候也叫Frobenius范数
l∞l_\infty范数：
∥x∥∞=max(|x1|,|x2|,...,|xn|)

\Vert x\Vert_\infty =max(\vert x_1\vert,\vert x_2\vert,...,\vert x_n\vert)
lpl_p范数：
∥x∥2=(∑i=1n|xi|p)1/p

\Vert x\Vert_2 =({\sum_{i=1}^n \vert x_i\vert^p} )^{1/p}

注意，l∞l_\infty范数是lpl_p范数当p→∞p \to \infty时的结果：

∥x∥∞=limp→∞∥x∥p

\Vert x\Vert_\infty=\lim_{p \to \infty}\Vert x\Vert_p
范数的酉不变性：一个向量范数 ∥x∥\Vert x\Vert是酉不变的，如果对于任意的酉矩阵(正交矩阵在复向量空间的扩展) UU，都有∥x∥=∥Ux∥\Vert x\Vert=\Vert Ux\Vert。Euclidean是酉不变范数。
两个 m×1m×1的向量之间的外积（叉积）定义为：

xyH=⎡⎣⎢⎢⎢⎢x1y∗1x2y∗1...xny∗1x1y∗2x2y∗2xny∗2.........x1y∗nx2y∗nxny∗n⎤⎦⎥⎥⎥⎥

xy^H=\begin{bmatrix} x_1y_1^*& x_1y_2^*&...&x_1y_n^*\\ x_2y_1^*& x_2y_2^*&...&x_2y_n^*\\...\\x_ny_1^*& x_ny_2^*&...&x_ny_n^*\end{bmatrix}

函数向量的内积与范数

若x(t),y(t)x(t),y(t)分别是向量tt的函数，则两者之间的内积定义为：

⟨x(t),y(t)⟩=∫baxH(t)y(t)dt

\langle x(t),y(t)\rangle=\int_a^bx^H(t)y(t)dt
其夹角定义为：

cosθ=⟨x(t),y(t)⟩⟨x(t),x(t)⟩⟨y(t),y(t)⟩−−−−−−−−−−−−−−−−−√=∫baxH(t)y(t)dt∥x(t)∥∥y(t)∥

cos \theta = \frac{\langle x(t),y(t)\rangle}{\sqrt {\langle x(t),x(t)\rangle\langle y(t),y(t)\rangle}}=\frac{\int_a^bx^H(t)y(t)dt}{\Vert x(t)\Vert\Vert y(t)\Vert}
其中：

∥x(t)∥=(∫baxH(t)x(t)dt)1/2

\Vert x(t)\Vert = (\int_a^bx^H(t)x(t)dt)^{1/2}

随机向量的内积与范数

随机向量是指向量的所有元素都是随机变量的向量，多与概率论结合，定义方式与常数向量和函数向量有所不同，都是用随机变量的数学期望和协方差来定义。

向量的相似度

向量之间的相似度有多种不同的度量方式，这里举例说明：
对于已知的模板向量s1,s2,...,sns_1,s_2,...,s_n，求解和向量xx随相似的模板向量，这其实是一个分类问题，那么我们有常用的如下4种度量标准：

欧拉距离：即

D(si,x)=∥si−x∥2=(si−x)T(si−x)−−−−−−−−−−−−−√

D(s_i, x)=\Vert s_i-x \Vert_2=\sqrt{(s_i-x)^T(s_i-x)}
- 余弦距离：即
  
  D(si,x)=cos(θ)=xTsi∥xT∥∥si∥
  
  D(s_i, x)=cos(\theta)=\frac{x^Ts_i}{\Vert x^T\Vert\Vert s_i\Vert}
- Tanimoto测度：余弦距离的变体
  D(si,x)==xTsixTx+xTsi+sTisi
  
  D(s_i, x)==\frac{x^Ts_i}{x^Tx+x^Ts_i+s_i^Ts_i}
- 马氏（Mahalanobis）距离：
  D(si,x)=mink|D(sk,x)−D(m,x)|
  
  D(s_i, x)=\min_k\vert D(s_k,x)-D(m,x)\vert
  
  m=1N∑i=1Nsi
  
  m = \frac{1}{N}\sum_{i=1}^Ns_i
  
  D(sk,x)=(sk−x)TC(sk−x)
  
  D(s_k, x)=(s_k-x)^TC(s_k-x)
  
  C=1N∑i=1N(si−m)(si−m)T
  
  C=\frac{1}{N}\sum_{i=1}^N(s_i-m)(s_i-m)^T它能度量不同程度之间的关联性，并且是与尺度无关的，不需要进行每个分量的归一化
- 向量范数用作Lyapunov函数
  
  Lyapunov函数经常用来衡量一个系统的稳定性，在控制理论中有及其重要的作用。关于李雅普诺夫函数在这里不做详细介绍。一般地，Lyapunov函数没有很好地选取方式，但是向量范数中的l2l2范数和l∞l_\infty范数往往可以作为其候选函数。
  
  矩阵范数
  
  矩阵范数是矩阵的一个实值函数f:Cm∗n→Cf:C^{m*n}\to C，任何满足以下性质的实值函数都可以作为矩阵范数：
  1. 对于任何非零矩阵A≠OA\neq O，其范数大于零：∥A∥>0\Vert A\Vert>0
  2. 对任意复数cc，有∥cA∥=|c|∥A∥\Vert cA\Vert = \vert c\vert\Vert A\Vert
  3. 矩阵范数满足三角不等式，∥A+B∥≤∥A∥+∥B∥\Vert A+B\Vert\le \Vert A\Vert+\Vert B\Vert
  4. 两个矩阵乘积的范数小于或等于两个矩阵范数的乘积，即∥AB∥≤∥A∥∥B∥\Vert AB\Vert\le \Vert A\Vert\Vert B\Vert
  常用的矩阵函数
  1. Frobenius范数：
    
    ∥A∥F=(∑i∑j|aij|2)1/2
    
    \Vert A\Vert_F = (\sum_i\sum_j\vert a_{ij}\vert^2)^{1/2}可以看做向量的l2l2范数在矩阵的扩展，将矩阵按行展开成一个长向量
  2. lpl_p范数：
    ∥A∥p=maxx≠0∥Ax∥p∥x∥p
    
    \Vert A\Vert_p = \max_{x\neq 0}\frac{\Vert Ax\Vert_p}{\Vert x\Vert_p}lpl_p范数可以理解成一个矩阵能将一个向量放大的最大倍数
  3. 行和范数：
    ∥A∥row=max1≤i≤m{∑j=1n|aij|}
    
    \Vert A\Vert_{row} = \max_{1\le i\le m}{\{\sum_{j=1}^n\vert a_{ij}\vert\}}
  4. 列和范数：
    ∥A∥col=max1≤j≤n{∑i=1m|aij|}
    
    \Vert A\Vert_{col} = \max_{1\le j\le n}{\{\sum_{i=1}^m\vert a_{ij}\vert\}}
  5. 谱范数：
    ∥A∥spec=σmax=λmax−−−−√
    
    \Vert A\Vert_{spec} = \sigma_{max}=\sqrt{\lambda_{max}}
  6. Mahalanobis范数：
    ∥A∥Ω=tr(AHΩA)−−−−−−−−−√
    
    \Vert A\Vert_{\Omega} = \sqrt{tr(A^H\Omega A)}Ω\Omega为正定矩阵
  矩阵内积和范数之间的关系：
  1. Cauchy-Schwartz不等式：
    
    |⟨A,B⟩|2≤∥A∥2∥B∥2
    
    \vert \langle A,B\rangle\vert^2\le \Vert A\Vert^2\Vert B\Vert^2当且仅当A=cBA=cB时，等号成立。
  2. Pathagoras定理：
    ⟨A,B⟩=0⇒∥A+B∥2=∥A∥2+∥B∥2
    
    \langle A,B\rangle=0\Rightarrow\Vert A+B\Vert^2=\Vert A\Vert^2+\Vert B\Vert^2
  3. 极化恒等式：
    Re(⟨A,B⟩)=14(∥A+B∥2−∥A−B∥2)
    
    Re(\langle A,B\rangle)=\frac{1}{4}(\Vert A+B\Vert^2-\Vert A-B\Vert^2)
    
    Re(⟨A,B⟩)=12(∥A+B∥2−∥A∥2−∥B∥2)
    
    Re(\langle A,B\rangle)=\frac{1}{2}(\Vert A+B\Vert^2-\Vert A\Vert^2-\Vert B\Vert^2)Re(⋅)Re(·)代表取复数实部