独立正交不相关定义关系

一、“独立”、“不相关”和“正交”的定义

假设X为一个随机过程，则在t1和t2时刻的随机变量的相关定义如下（两个随机过程一样）：

（1）定义Rx（t1，t2）=E{X（t1）X（t2）}为相关函数，若R=0，称正交（注意，相关函数为0，不是不相关，而是正交）。正交不仅仅描述确定函数之间的关系，也用以描述随机过程。两个随机过程X(t) Y(t)正交，即E[X(t)Y(t)]=0, 若E[X(t)Y(t)]=E[X(t)]E(Y(t)]说明两者不相关。不相关和相互独立一般不等价，只有当过程为高斯过程时才成立。

（2）定义Kx（t1，t2）=E{[X（t1）-Mx(t1)][X(t2)-Mx(t2)]}为协方差函数，若K=0，即相关系数为0，则称之为不相关；不相关只是说二者没有线形关系，但并不代表没有任何关系。

（3）独立性。就用他们的概率分布函数或密度来表达。联合分布等于他们各自分布的乘积，独立的定义是 F(x,Y)=F(x)F(Y)，就称独立。

用数学公式来定义如下：

二、“独立”、“不相关”和“正交”之间的关系

1.由于在两个随机过程相互独立的时候必有 KxY（t1，t2）=0，所以相互独立的随机过程必不相关。但由于这个时候的互相关函数RxY（t1，t2）=E[X（t1）]E[Y（t2）]=MX(t1)MY(t2)不一定为零，故尽管相互独立的随机过程必定不相关，但未必正交。仅当随机过程X(t)在t1或随机过程Y(t)在t2的期望值等于零的时候，相互独立的随机过程才不仅不相关，且正交。

2.假若两个随机过程不相关，则KxY（t1，t2）=0，且RxY（t1，t2）=MX(t1)MY(t2)。可见，两个随机过程不相关并非一定能推得独立和正交的结论。仅当MX(t1)或MY(t2)等于零的时候，这两个不相关的随机过程才会正交；仅当两个随机变量服从正态分布，则不相关的随机过程才会相互独立。

3.设若这两个随机过程正交，则RxY（t1，t2）=0，且有 KxY（t1，t2）= -Mx(t1)]MY(t2)]。可见，两个正交的随机过程可以推得不相关，但是推不到独立的结论。仅当两个随机变量服从正态分布，这两个正交的随机过程才会相互独立。

可见，由于两个随机过程x(t)与Y(t)相互独立的充要条件就是它们的联合分布等于各自分布的乘积，而两个随机变量X与Y相关指的是在这两随机变量间存在线性关系（也就是式Y=aX+b成立），换句话说，相关性描述的是两个随机变量之间是否存在线性关系，而独立性考察的则是两个随机变量间是否存在某种关系，因此独立的条件要比不相关严格。如果两个随机变量独立，就是说它们之间不存在任何关系，自然也就不会有线性关系了，所以相互独立的随机变量一定不相关。反过来说，如果两个随机过程不相关，仅是说二者之间不存在线性关系，但二者之间不一定不存在非线性关系，所以不相关的随机过程不一定相互独立。例如，随机变量X与X^2之间不存在线性关系，亦即不相关，但显然不独立。不过，如果两个随机变量相关，也就是说它们之间存在线性关系，则二者之间一定不独立了。当然，如果两个随机变量服从正态分布，则不相关与相互独立等价。

三、总结

独立必不相关，不相关未必独立；相关必不独立，不独立未必相关；

正交必不相关，不相关未必正交；相关必不正交，不正交未必相关。

在通信系统中，总是力图按不相关或正交关系来设计在同一信道随机发送的二元或多元信号。对于多数通信信号以及噪声来说，基本上均值都为0，于是在实际应用中，不相关与正交没有本质区别。