现代通信原理14.1：正交向量空间与正交信号空间

文章目录

1、向量空间
- 1.1 向量空间的概念
- 1.2 向量的内积
- 1.3 向量的范数
- 1.4 标准正交向量组
- 1.5 Gram-Schmidt正交化
- 1.6 向量的正交表示
2、信号空间
- 2.1 信号的能量
- 2.2 信号的内积
- 2.3 信号的范数
- 2.4 信号的相关系数
- 2.5 信号的正交展开
- 2.6 信号的向量表示

1、向量空间

1.1 向量空间的概念

在线性代数中，我们学习了向量与向量空间。下面我们结合网上一些资料（例如https://blog.csdn.net/shinian1987/article/details/82529853等博客，百度百科等），对其进行简单回顾。

向量（或称为矢量），是具有大小和方向的量。它可以形象化地表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。

下面我们来看向量的两种基本运算，即向量加法以及向量与标量相乘。

向量加法就是向量里的每一个分量对应相加，比如两个维度为 nnn的向量u=[u1,u2,⋅,un]{\bf u}=[u_1,u_2,\cdot,u_n]u=[u1,u2,⋅,un]和v=[v1,v2,⋅,vn]{\bf v}=[v_1,v_2,\cdot,v_n]v=[v1,v2,⋅,vn]相加，可以得到
u+v=[u1+v1,u2+v2,…,un+vn]{\bf u}+{\bf v}=[u_1+v_1,u_2+v_2,\ldots,u_n+v_n] u+v=[u1+v1,u2+v2,…,un+vn]向量与标量相乘，则为向量里的每一个分量与该标量相乘，例如维度为 nnn的向量u\bf uu与标量kkk 相乘，可以得到：
ku=[ku1,ku2,…,kun].k{\bf u}=[ku_1,ku_2,\ldots,ku_n].ku=[ku1,ku2,…,kun].

现在我们来看向量空间。在现实世界里，三维空间就是我们非常熟悉的一个空间，从数学上说，这是一个三维的欧几里德空间。我们不难发现，这个三维空间具有如下特点

由很多（实际上是无穷多个）位置点组成；
这些点之间存在相对的关系；
可以在空间中定义长度、角度；
这个空间可以容纳运动，即从一个点到另一个点的移动（变换）。

因此，我们可以把向量看成是空间中的一个点，而向量的变换就是这个点在空间中的运动。所以说，向量空间就是一个集合，这个集合对向量的加法和数乘是封闭的。这意味着，这个空间内的向量，只要按照加法和数乘的方式运动，就会一直在这个空间里。所以，对加法和数乘运算封闭的向量空间也称为线性空间。

1.2 向量的内积

对于两个nnn维向量a=[a1,a2,…,an]T{\bf a}=[a_1,a_2,\ldots,a_n]^{\rm T}a=[a1,a2,…,an]T和b=[b1,b2,…,bn]T{\bf b}=[b_1,b_2,\ldots,b_n]^{\rm T}b=[b1,b2,…,bn]T，我们定义其内积（也称点乘）为
a⋅b=⟨a,b⟩=a1b1+a2b2+…+anbn=∑i=1naibi,(1)\tag{1} \begin{aligned} {\bf a}\cdot{\bf b}=\langle {\bf a} ,{\bf b}\rangle=a_1b_1+a_2b_2+\ldots+a_nb_n =\sum_{i=1}^{n}a_ib_i, \end{aligned} a⋅b=⟨a,b⟩=a1b1+a2b2+…+anbn=i=1∑naibi,(1)注意两个向量的内积为一个标量。

下面我们来看看向量内积的物理意义。定义向量c=a−b\bf c=a-bc=a−b，则有
c2=(a−b)2=a2+b2−2a⋅b\begin{aligned} {\bf c}^2=({\bf a}-{\bf b})^2={\bf a}^2+{\bf b}^2-2{\bf a}\cdot{\bf b} \end{aligned} c2=(a−b)2=a2+b2−2a⋅b进一步，根据余弦定理，我们可以得到
c2=a2+b2−2∣a∣∣b∣cos⁡θ,\begin{aligned} {\bf c}^2={\bf a}^2+{\bf b}^2-2|{\bf a}||{\bf b}|\cos \theta, \end{aligned} c2=a2+b2−2∣a∣∣b∣cosθ,故有a⋅b=∣a∣∣b∣cos⁡θ{\bf a}\cdot{\bf b}=|{\bf a}||{\bf b}|\cos \thetaa⋅b=∣a∣∣b∣cosθ，这里θ\thetaθ为向量a{\bf a}a和b{\bf b}b的夹角。

图1为n=2n=2n=2时两个向量点乘的示意图，从图中我们不难看出，两个向量的内积a⋅b{\bf a}\cdot{\bf b}a⋅b，可以看成向量b{\bf b}b在向量a{\bf a}a方向上的投影（a0=∣b∣cos⁡θa_0=|{\bf b}|\cos \thetaa0=∣b∣cosθ），与向量a\bf aa在a\bf aa方向上的乘积。

图1 二维平面上两个向量内积示意图

1.3 向量的范数

向量a\bf aa的范数记为∥a∥\|{\bf a}\|∥a∥，定义为
∥a∥=(a⋅a)12=∑i=1nai2.(2)\tag{2} \|{\bf a}\|=({\bf a \cdot a})^{\frac{1}{2}}=\sqrt{\sum_{i=1}^na_i^2}. ∥a∥=(a⋅a)21=i=1∑nai2.(2)不难看出，向量的范数为其长度。

1.4 标准正交向量组

若向量a\bf aa与b\bf bb的夹角cos⁡θ=90°\cos \theta=90\degreecosθ=90°，显然有a⋅b=0\bf a \cdot b=0a⋅b=0，我们称向量a\bf aa与b\bf bb正交。进一步，若∣a∣=∣b∣=1|\bf a|=|b|=1∣a∣=∣b∣=1，则称向量a\bf aa与b\bf bb标准正交，此时向量a\bf aa和b\bf bb正交且其范数（长度）均为单位1。
若有NNN个nnn维向量ei{\bf e}_iei，i=1,2,…,ni=1,2,\ldots,ni=1,2,…,n，满足
ei⋅ej={1,j=k0,j≠k(3)\tag{3} {\bf e}_i\cdot {\bf e}_j=\left\{\begin{aligned} 1,\ j=k\\ 0,\ j\ne k \end{aligned}\right. ei⋅ej={1, j=k0, j=k(3)则称{ei,i=1,2,…,N}\{ {\bf e}_i,\ i=1,2,\ldots,N\}{ei, i=1,2,…,N}为标准（归一化）正交向量组。

1.5 Gram-Schmidt正交化

下面我们讨论如何将一组nnn维向量{vi,i=1,2,…,m}\{{\bf v}_i,\ i=1,2,\ldots,m\}{vi, i=1,2,…,m}，构造成标准正交向量。

第一步，从这组向量中任意选择一个向量，例如v1\bf v_1v1，对它的长度归一化，可以得到第一个向量，即
u1=v1∥v1∥{\bf u}_1=\frac{{\bf v}_1}{\|{\bf v}_1\|} u1=∥v1∥v1
第二步，选择v2\bf v_2v2，先减去v2\bf v_2v2在u1\bf u_1u1上的投影，剩下与u1\bf u_1u1正交的成分，得到
u2′=v2−(v2⋅u1)u1,{\bf u_2}'={\bf v}_2-({\bf v}_2\cdot {\bf u}_1){\bf u}_1, u2′=v2−(v2⋅u1)u1,注意这里v2⋅u1{\bf v}_2\cdot {\bf u}_1v2⋅u1是个标量，表示v2\bf v_2v2投影到u1\bf u_1u1上的长度，u1\bf u_1u1是单位长度向量。进一步，我们将u2′\bf u_2'u2′归一化，有
u2=u2′∥u2′∥.\bf u_2=\frac{u_2'}{\|u_2'\|}. u2=∥u2′∥u2′.
第三步，继续上述过程，选择v3\bf v_3v3并减去其在u1,u2\bf u_1,u_2u1,u2上的投影，从而得到
u3′=v3−(v3⋅u1)u1−(v3⋅u2)u2,{\bf u_3}'={\bf v}_3-({\bf v}_3\cdot {\bf u}_1){\bf u}_1-({\bf v}_3\cdot {\bf u}_2){\bf u}_2, u3′=v3−(v3⋅u1)u1−(v3⋅u2)u2,以及
u3=u3′∥u3′∥.\bf u_3=\frac{u_3'}{\|u_3'\|}. u3=∥u3′∥u3′.将这个过程持续下去，就可以得到一组n1n_1n1个标准正交向量，一般来说n1≤nn_1\le nn1≤n。

1.6 向量的正交表示

若有包含NNN个向量的标准正交向量组 {ei,i=1,2,…,N}\{ {\bf e}_i,\ i=1,2,\ldots,N\}{ei, i=1,2,…,N}形成一个完备的坐标系统，则该系统中任一向量v\bf vv等于它在NNN个坐标轴上的分向量的几何和
v=∑i=1Nviei,(4)\tag{4} {\bf v}=\sum_{i=1}^{N}v_i{\bf e}_i, v=i=1∑Nviei,(4)其中vi=v⋅eiv_i={\bf v}\cdot {\bf e}_ivi=v⋅ei是v\bf vv在单位向量ei{\bf e}_iei上的投影。

2、信号空间

下面我们把向量空间的概念推广到信号空间上，这样可以简化信号的处理与分析。

2.1 信号的能量

实确定能量信号s(t)s(t)s(t)的能量为
Es=∫−∞∞s2(t)dt(5)\tag{5} E_s=\int_{-\infty}^{\infty}s^2(t)dt Es=∫−∞∞s2(t)dt(5)

2.2 信号的内积

我们定义实能量信号s1(t)s_1(t)s1(t)和s2(t)s_2(t)s2(t)的内积为
⟨s1(t),s2(t)⟩=∫−∞∞s1(t)s2(t)dt,(6)\tag{6} \langle s_1(t),s_2(t)\rangle=\int_{-\infty}^{\infty}s_1(t)s_2(t)dt, ⟨s1(t),s2(t)⟩=∫−∞∞s1(t)s2(t)dt,(6)如果它们的内积为零，我们则称它们为相互正交。

2.3 信号的范数

我们定义实能量信号s(t)s(t)s(t)的范数为
∥s(t)∥=∫−∞∞s2(t)dt=Es.(7)\tag{7} \|s(t)\|=\sqrt{\int_{-\infty}^{\infty}s^2(t)dt}=\sqrt{E_s}. ∥s(t)∥=∫−∞∞s2(t)dt=Es.(7)

2.4 信号的相关系数

为了表征两个信号间的相似性，我们定义实能量信号s1(t)s_1(t)s1(t)和s2(t)s_2(t)s2(t)的相关系数为
ρ12=⟨s1(t),s2(t)⟩∥s1(t)∥∥s2(t)∥.(8)\tag{8} \rho_{12}=\frac{\langle s_1(t),s_2(t)\rangle}{\|s_1(t)\|\|s_2(t)\|}. ρ12=∥s1(t)∥∥s2(t)∥⟨s1(t),s2(t)⟩.(8)显然，信号与其自身相关系数最大，为1；若两个信号正交，则相关系数为0。

2.5 信号的正交展开

下面我们讨论信号波形的向量表示法。对于确定实能量信号s(t)s(t)s(t)，假定存在一个标准正交函数集{fn(t),n=1,2,…N}\{f_n(t),n=1,2,\ldots N\}{fn(t),n=1,2,…N}，满足
∫−∞∞fn(t)fm(t)dt={1,m=n0,m≠n,(9)\tag{9} \int_{-\infty}^{\infty}f_n(t)f_m(t)dt=\left\{\begin{aligned} 1,\ m= n\\ 0,\ m\ne n \end{aligned}\right., ∫−∞∞fn(t)fm(t)dt={1, m=n0, m=n,(9)则可以用这NNN个标准正交函数的线性组合来近似表示信号s(t)s(t)s(t)，即
s^(t)=∑n=1Nsnfn(t).(10)\tag{10} \hat s(t)=\sum_{n=1}^{N}s_nf_n(t). s^(t)=n=1∑Nsnfn(t).(10)因此，我们可以得到近似误差为
e(t)=s(t)−s^(t)，e(t)=s(t)-\hat s(t)， e(t)=s(t)−s^(t)，显然，近似误差的能量为
Ee=∫−∞∞e2(t)dt=∫−∞∞[s(t)−s^(t)]2dt=∫−∞∞[s(t)−∑n=1Nsnfn(t)]2dt.(11)\tag{11} E_e=\int_{-\infty}^{\infty}e^2(t)dt=\int_{-\infty}^{\infty}[s(t)-\hat s(t)]^2dt=\int_{-\infty}^{\infty}[s(t)-\sum_{n=1}^{N}s_nf_n(t)]^2dt. Ee=∫−∞∞e2(t)dt=∫−∞∞[s(t)−s^(t)]2dt=∫−∞∞[s(t)−n=1∑Nsnfn(t)]2dt.(11)下面我们以最小化近似误差能量为目标，优化s^(t)\hat s(t)s^(t)近似的系数sn,n=1,2,…,Ns_n,n=1,2,\ldots,Nsn,n=1,2,…,N，即
min⁡snEe=∫−∞∞[s(t)−∑n=1Nsnfn(t)]2dt,n=1,2,…,N.(12)\tag{12} \min_{s_n}E_e=\int_{-\infty}^{\infty}[s(t)-\sum_{n=1}^{N}s_nf_n(t)]^2dt,\ n=1,2,\ldots,N. snminEe=∫−∞∞[s(t)−n=1∑Nsnfn(t)]2dt, n=1,2,…,N.(12)我们将EeE_eEe对NNN个系数求偏导，并置导数为0，就可以求得最优系数。由此我们得到NNN个等式
∂Ee∂si=0,i=1,2,…,N(13)\tag{13} \frac{\partial E_e}{\partial s_i}=0,\ i=1,2,\ldots,N ∂si∂Ee=0, i=1,2,…,N(13)进一步，我们有
∂Ee∂si=∂∂si∫−∞∞s2(t)dt+∂∂si∫−∞∞[∑n=1Nsnfn(t)]2dt−2∂∂si∑n=1Nsn∫−∞∞s(t)fn(t)dt(14)\tag{14} \begin{aligned} &\frac{\partial E_e}{\partial s_i}\\ =&\frac{\partial}{\partial s_i}\int_{-\infty}^{\infty}s^2(t)dt+\frac{\partial}{\partial s_i} \int_{-\infty}^{\infty}[\sum_{n=1}^{N}s_nf_n(t)]^2dt-2\frac{\partial }{\partial s_i}\sum_{n=1}^{N}s_n\int_{-\infty}^{\infty}s(t)f_n(t)dt \end{aligned} =∂si∂Ee∂si∂∫−∞∞s2(t)dt+∂si∂∫−∞∞[n=1∑Nsnfn(t)]2dt−2∂si∂n=1∑Nsn∫−∞∞s(t)fn(t)dt(14)上式中的第一项显然为0，第二项为
∂∂si∫−∞∞[∑n=1Nsnfn(t)]2dt=∂∂si∑m=1N∑n=1Nsmsn∫−∞∞fm(t)fn(t)dt=∂∂si∑n=1Nsn2∫−∞∞fn2(t)dt=∂∂si∑n=1Nsn2=2si,(15)\tag{15} \begin{aligned} &\frac{\partial}{\partial s_i} \int_{-\infty}^{\infty}[\sum_{n=1}^{N}s_nf_n(t)]^2dt\\ =&\frac{\partial}{\partial s_i} \sum_{m=1}^{N}\sum_{n=1}^{N}s_ms_n\int_{-\infty}^{\infty}f_m(t)f_n(t)dt\\ =&\frac{\partial}{\partial s_i} \sum_{n=1}^{N}s_n^2\int_{-\infty}^{\infty}f^2_n(t)dt \\ =&\frac{\partial}{\partial s_i}{\sum_{n=1}^{N}s_n^2}=2s_i, \end{aligned} ===∂si∂∫−∞∞[n=1∑Nsnfn(t)]2dt∂si∂m=1∑Nn=1∑Nsmsn∫−∞∞fm(t)fn(t)dt∂si∂n=1∑Nsn2∫−∞∞fn2(t)dt∂si∂n=1∑Nsn2=2si,(15)而第三项为
−2∂∂si∑n=1Nsn∫−∞∞s(t)fn(t)dt=−2si∫−∞∞s(t)fi(t)dt.(15)\tag{15} -2\frac{\partial }{\partial s_i}\sum_{n=1}^{N}s_n\int_{-\infty}^{\infty}s(t)f_n(t)dt=-2s_i\int_{-\infty}^{\infty}s(t)f_i(t)dt. −2∂si∂n=1∑Nsn∫−∞∞s(t)fn(t)dt=−2si∫−∞∞s(t)fi(t)dt.(15)将(14)、(15)带入(13)，可以得到近似误差能量最小时的最优系数为
sn,opt=∫−∞∞s(t)fn(t)dt,i=1,2,…,N.(16)\tag{16} s_{n,\rm opt}=\int_{-\infty}^{\infty}s(t)f_n(t)dt,\ i=1,2,\ldots,N. sn,opt=∫−∞∞s(t)fn(t)dt, i=1,2,…,N.(16)这意味着，将s(t)s(t)s(t)投影到fn(t)f_n(t)fn(t)，就可以得到最优系数sns_nsn，因此s^(t)\hat s(t)s^(t)是函数s(t)s(t)s(t)投影到{fn(t),n=1,2,…,N}\{f_n(t),n=1,2,\ldots,N\}{fn(t),n=1,2,…,N}张成的NNN维信号空间上的投影，此时的近似误差能量为
Ee,min⁡=∫−∞∞s2(t)dt+∑n=1Nsn,opt2−2∑n=1Nsn,opt∫−∞∞s(t)fn(t)dt=Es2−∑n=1Nsn,opt2(17)\tag{17} \begin{aligned} E_{e,\min}&=\int_{-\infty}^{\infty}s^2(t)dt+\sum_{n=1}^{N}s_{n,\rm opt}^2-2\sum_{n=1}^{N}s_{n, \rm opt}\int_{-\infty}^{\infty}s(t)f_n(t)dt\\ &=E_s^2-\sum_{n=1}^{N}s_{n,\rm opt}^2 \end{aligned} Ee,min=∫−∞∞s2(t)dt+n=1∑Nsn,opt2−2n=1∑Nsn,opt∫−∞∞s(t)fn(t)dt=Es2−n=1∑Nsn,opt2(17)当近似误差能量Ee,min⁡=0E_{e,\min}=0Ee,min=0时，我们有
Es2=∑n=1Nsn,opt2.(18)\tag{18} \begin{aligned} E_s^2=\sum_{n=1}^{N}s_{n,\rm opt}^2. \end{aligned} Es2=n=1∑Nsn,opt2.(18)这意味着，当Ee,min⁡=0E_{e,\min}=0Ee,min=0时，
s(t)=s^(t)=∑n=1Nsnfn(t)(19)\tag{19} s(t)=\hat s(t)=\sum_{n=1}^{N}s_nf_n(t)s(t)=s^(t)=n=1∑Nsnfn(t)(19)成立。若能量信号可以用(19)表示且Ee,min⁡=0E_{e,\min}=0Ee,min=0，我们称标准正交函数集{fn(t),n=1,2,…,N}\{f_n(t),\ n=1,2,\ldots, N\}{fn(t), n=1,2,…,N}是完备的。

【小结】若标准正交函数集{fn(t),n=1,2,…,N}\{f_n(t),\ n=1,2,\ldots, N\}{fn(t), n=1,2,…,N}是完备的，能量信号s(t)s(t)s(t)可以表示为
s(t)=∑n=1Nsnfn(t),s(t)=\sum_{n=1}^{N}s_nf_n(t), s(t)=n=1∑Nsnfn(t),其中，sn=∫−∞∞s(t)fn(t)s_n=\int_{-\infty}^{\infty}s(t)f_n(t)sn=∫−∞∞s(t)fn(t)为s(t)s(t)s(t)在fn(t)f_n(t)fn(t)上的投影。

2.6 信号的向量表示

根据上面的讨论，如果对于信号s(t)s(t)s(t)，有完备的标准正交函数集{fn(t),n=1,2,…,N}\{f_n(t),\ n=1,2,\ldots, N\}{fn(t), n=1,2,…,N}，则可以用{fn(t),n=1,2,…,N}\{f_n(t),\ n=1,2,\ldots, N\}{fn(t), n=1,2,…,N} 来张成NNN维信号空间。将信号s(t)s(t)s(t)映射到函数fn(t)f_n(t)fn(t)上，可以得到sn=∫−∞∞s(t)fn(t)s_n=\int_{-\infty}^{\infty}s(t)f_n(t)sn=∫−∞∞s(t)fn(t)，因此得到信号s(t)s(t)s(t)的向量表示为
s=[s1,s2,⋯,sN].{\bf s}=[s_1,s_2,\cdots,s_N]. s=[s1,s2,⋯,sN].这样信号间的运算，就可以变为向量间的运算。如(5)~(8)，均可以用向量形式表示如下：

信号内积
⟨s1(t),s2(t)⟩=⟨s1,s2⟩=∑n=1Ns1,ns2,n\langle s_1(t), s_2(t)\rangle=\langle {\bf s}_1, {\bf s}_2\rangle=\sum_{n=1}^{N}s_{1,n}s_{2,n} ⟨s1(t),s2(t)⟩=⟨s1,s2⟩=n=1∑Ns1,ns2,n
信号能量
Es=⟨s,s⟩=∑n=1Nsn2=∣s∣2E_s=\langle {\bf s}, {\bf s}\rangle=\sum_{n=1}^{N}s_n^2=|{\bf s}|^2 Es=⟨s,s⟩=n=1∑Nsn2=∣s∣2
信号范数
∥s(t)∥=Es=∑n=1Nsn2=∣s∣(7)\tag{7} \|s(t)\|=\sqrt{E_s}=\sqrt{\sum_{n=1}^{N}s_n^2}=|{\bf s}| ∥s(t)∥=Es=n=1∑Nsn2=∣s∣(7)
相关系数

ρ12=⟨s1,s2⟩Es1Es2=⟨s1,s2⟩∣s1∣∣s2∣\rho_{12}=\frac{\langle {\bf s}_1,{\bf s}_2\rangle}{\sqrt{E_{s1}E_{s2}}}=\frac{\langle {\bf s}_1,{\bf s}_2\rangle}{|{\bf s}_1||{\bf s}_2|} ρ12=Es1Es2⟨s1,s2⟩=∣s1∣∣s2∣⟨s1,s2⟩
进一步，我们定义两个实能量信号s1(t)s_1(t)s1(t)和s2(t)s_2(t)s2(t)之间的欧式距离为
d12=∫−∞∞[s1(t)−s2(t)]2dt=Es1+Es2−2Es1Es2ρ12(8)\tag{8} d_{12}=\sqrt{\int_{-\infty}^{\infty}[s_1(t)-s_2(t)]^2dt}=\sqrt{E_{s1}+E_{s2}-2\sqrt{E_{s1}E_{s2}}\rho_{12}} d12=∫−∞∞[s1(t)−s2(t)]2dt=Es1+Es2−2Es1Es2ρ12(8)也就是信号空间中两个向量s1{\bf s}_1s1与s2{\bf s}_2s2间的距离，即
d12=∣s1−s2∣.d_{12}=|{\bf s}_1-{\bf s}_2|. d12=∣s1−s2∣.若Es1=Es2=EsE_{s1}=E_{s2}=E_sEs1=Es2=Es，则有
d12=2Es(1−ρ12).d_{12}=\sqrt{2E_s(1-\rho_{12})}. d12=2Es(1−ρ12).