【数学和算法】矩阵运算的相关公式

`1.矩阵乘法：`

(AB)C=A(BC)\displaystyle\color{blue}(AB)C = A(BC)(AB)C=A(BC)
矩阵的乘法本质上就是线性变换:

(AB)C∗x\displaystyle\color{blue}(AB)C*x(AB)C∗x表示对某个向量x先进行C变换，再进行AB变换，其中AB变换是先进行B变换，再进行A变换的一个组合变换；
A(BC)∗x\displaystyle\color{blue}A(BC)*xA(BC)∗x表示先对某个向量x进行BC变换，其中BC变换是先进行C变换，再进行B变换的组合变换，然后BC组合变换后再进行A变换。

不管你怎么定义组合变换，最终x向量经历的变换都是C->B->A，所以括号随便加。

例如：

-----------------------------------------------------------------------------

`2.矩阵的转置运算`

(AB)T=BTAT(AB)^T=B^TA^T(AB)T=BTAT
(A+B)T=AT+BT(A+B)^T=A^T+B^T(A+B)T=AT+BT
E(AB)=E(A)E(B)E(AB)=E(A)E(B)E(AB)=E(A)E(B)

同理，可以证得下面几个公式：
可以参考向量二次型的证明:二次型求导：

但是这里不是向量，全都是矩阵,别和上面的向量二次型中的矩阵A弄混了:
d(ABAT)dA=2AB\frac{d(ABA^T)}{dA}=2ABdAd(ABAT)=2AB

-----------------------------------------------------------------------------
BCABC=1A=A−1\begin {aligned} \frac{BC}{ABC} &=\frac{1}{A}\\\\&=A^{-1} \end{aligned}ABCBC=A1=A−1

-----------------------------------------------------------------------------

`3. 协方差矩阵转置 = 协方差矩阵本身`

-----------------------------------------------------------------------------

`4.矩阵的迹：`

矩阵的迹是矩阵的对角线上的元素之和。
矩阵A的迹等于其转置的迹：

tr(A)=tr(AT)tr(A)=tr(A^T)tr(A)=tr(AT)
-----------------------------------------------------------------------------

`矩阵AB的迹对A求导：`

dtr(AB)dA=BT\frac{d{tr(AB)}}{dA}=B^TdAdtr(AB)=BT

证明：以二维为例：

-----------------------------------------------------------------------------
下面不说矩阵，说一下特征x的期望和方差：
很多个样本的特征x的期望为 E(x)E(x)E(x) ,方差为 Var(x)Var(x)Var(x);
如果特征x扩大a倍，那么:
E(ax)=a∗E(x)\displaystyle\color{blue}E(ax) = a*E(x)E(ax)=a∗E(x)
Var(ax)=a2∗Var(x)\displaystyle\color{blue}Var(ax) = a^2 * Var(x)Var(ax)=a2∗Var(x)

可根据同理推出，如果两个特征x和y的协方差矩阵为Q的话，如果特征x和y分别扩大a和b倍,那么新的协方差矩阵Q2：
Q2=W∗Q∗WT\displaystyle\color{blue} Q2=W*Q*W^TQ2=W∗Q∗WT,
其中,WWW应该是这样的

W=[a00b]W=\begin{bmatrix} a&0\\ 0&b\end{bmatrix}W=[a00b]

那么:
Q2=[a2∗Var(x)a∗b∗Cov(x,y)a∗b∗Cov(x,y)b2∗Var(y)]Q2=\begin{bmatrix} a^2*Var(x)&a*b*Cov(x,y)\\ \\ a*b*Cov(x,y)&b^2*Var(y) \end{bmatrix}Q2=⎣⎡a2∗Var(x)a∗b∗Cov(x,y)a∗b∗Cov(x,y)b2∗Var(y)⎦⎤