迹求导原因

矩阵求导最终都是华为标量求导，迹就是最简单的衡量标量一定要掌握

总结

Tr(AB)=Tr(BA)Tr(AB) =Tr(BA)Tr(AB)=Tr(BA)
Tr(ABC)=Tr(BCA)=Tr(CAB)Tr(ABC) = Tr(BCA) = Tr(CAB)Tr(ABC)=Tr(BCA)=Tr(CAB)
Tr(A)=Tr(A′)Tr(A) = Tr(A')Tr(A)=Tr(A′)
d(Tr(XB)）=d(Tr(BX))=B′d(Tr(XB)）=d(Tr(BX)) = B'd(Tr(XB)）=d(Tr(BX))=B′
X作为自变量（矩阵），若
d(Tr(X′B))=d(Tr(B′X)=Bd(Tr(X'B)) = d(Tr(B'X)=Bd(Tr(X′B))=d(Tr(B′X)=B
dTr(A′XB′)=dTr(BX′A)=dTr(X′AB)=ABdTr(A'XB')=dTr(BX'A)=dTr(X'AB)=ABdTr(A′XB′)=dTr(BX′A)=dTr(X′AB)=AB
还有终极的二次X：
dTr(AXBX′)=Tr(AXBd(X′))+Tr(XB′d(X′)A′)=AXB+A′XB′dTr(AXBX')=Tr(AXBd(X'))+Tr(XB'd(X')A')=AXB+A'XB'dTr(AXBX′)=Tr(AXBd(X′))+Tr(XB′d(X′)A′)=AXB+A′XB′

技巧

掌握根本的定义公式足够应付形式的千变万化；
【定义】矩阵迹就是对对角线求和：
Tr(A)=ΣaiiTr(A) = \Sigma{a_{ii}}Tr(A)=Σaii
自然，转置时候，aii不动的，Tr(A) = Tr(A’)
【AB矩阵乘】AB大小分别为mxn和nxm，那么迹就是
Tr(AB)=ΣimΣjnaijbjiTr(AB) = \Sigma{_i^m \Sigma{_j^n a_{ij}b_{ji}}}Tr(AB)=ΣimΣjnaijbji
关键就在AB乘积，迹是遍历两个维度m,n维度的有序ab乘积，所以颠倒乘法顺序，仍然是Tr(AB)=ΣjnΣimbjiaij=Tr(BA)Tr(AB) = \Sigma{_j^n \Sigma{_i^mb_{ji} a_{ij}}}=Tr(BA)Tr(AB)=ΣjnΣimbjiaij=Tr(BA)没有任何差异。
【求导】因为和XijX_{ij}Xij配对的永远是bjib_{ji}bji,所以有
d(Tr(AB))/d(aji)=d(ΣimΣjnaijbji)/d(aij)=bjid(Tr(AB))/d(a_{ji}) =d( \Sigma{_i^m \Sigma{_j^n a_{ij}b_{ji}}})/d(a_{ij})=b_{ji}d(Tr(AB))/d(aji)=d(ΣimΣjnaijbji)/d(aij)=bji
所以自然Tr(AB)偏导为B’,有个转置，这是由于矩阵乘法行列相差的关联关系导致的。

所有相关的偏导都会有这个结果：
d(Tr(X′B))=d(Tr(B′X)=Bd(Tr(X'B)) = d(Tr(B'X)=Bd(Tr(X′B))=d(Tr(B′X)=B
dTr(A′XB′)=dTr(BX′A)=dTr(X′AB)=ABdTr(A'XB')=dTr(BX'A)=dTr(X'AB)=ABdTr(A′XB′)=dTr(BX′A)=dTr(X′AB)=AB
还有终极的二次X：
dTr(AXBX′)=Tr(AXBd(X′))+Tr(XB′d(X′)A′)=AXB+A′XB′dTr(AXBX')=Tr(AXBd(X'))+Tr(XB'd(X')A')=AXB+A'XB'dTr(AXBX′)=Tr(AXBd(X′))+Tr(XB′d(X′)A′)=AXB+A′XB′

【矩阵运算】矩阵的迹以及迹对矩阵求导总结相关推荐

转载：汇总详解：矩阵的迹以及迹对矩阵求导
矩阵的迹概念矩阵的迹就是矩阵的主对角线上所有元素的和. 矩阵A的迹,记作tr(A),可知tra(A)=∑aii,1<=i<=n. 定理:tr(AB) = tr(BA) 证明定理:t ...
矩阵的迹以及迹对矩阵求导
ref: https://blog.csdn.net/u012421852/article/details/79594933 矩阵的迹概念矩阵的迹就是矩阵的主对角线上所有元素的和. 矩阵A的迹, ...
线性代数之矩阵求导（4）矩阵微分，迹与求导
线性代数之矩阵求导(4)迹与矩阵求导前言矩阵微分定义矩阵微分计算法则常矩阵线性乘积转置迹通过矩阵微分进行求导常用的矩阵微分后记前言本次将记录如何进行矩阵求导(标量对矩阵). ...
最小二乘估计，矩阵求导法（正规方程）全推导
1.矩阵求导: 函数自变量是矩阵,求导是对矩阵的每一个元素分别求导后,组成新的矩阵. 例: 2.矩阵的迹: 矩阵迹的常用性质: 矩阵迹与矩阵求导相关结论: 3.证明最小二乘的正规方程(矩阵求导法):
动手学深度学习——矩阵求导之矩阵的迹和微分
目录一.矩阵的迹 1. 迹的定义 2. 迹的性质二.微分与全微分 1. (全)微分的表达式 2. (全)微分的法则三. 矩阵的微分 1. 矩阵微分的实质 2. 矩阵微分的意义 3. 矩阵微分的法 ...
向量和矩阵求导（运用迹性质求导）
文章目录矩阵对标量求导标量对矩阵求导向量对向量求导(雅可比矩阵) 向量求导的链式法则矩阵迹实值函数对向量求导参考资料 1. 机器学习中的矩阵.向量求导矩阵对标量求导求导结果与函数(矩阵 ...
矩阵求导术（上、下）
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容矩阵求导的技术,在统计学.控制论.机器学习等领域有广泛的应用.鉴于我看过的一些资料或言 ...
『科学计算_理论』矩阵求导
上篇原文链接下篇原文链接标量对矩阵求导矩阵求导的技术,在统计学.控制论.机器学习等领域有广泛的应用.鉴于我看过的一些资料或言之不详.或繁乱无绪,本文来做个科普,分作两篇,上篇讲标量对矩阵的求导术 ...
标量、向量、矩阵求导大全
1.正则化原定的损失函数: J = − 1 m ∑ i = 1 m ( y ( i ) log ⁡ ( a [ L ] ( i ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − a ...
矩阵求导（一）-- 求导的定义和布局约定
本系列主要参考张贤达的<矩阵分析与应用>第三章矩阵微分和下面的博客内容进行学习,并整理成学习笔记.学习路线参考SinclairWang的文章--矩阵求导入门学习路线,按下面推荐顺序学习, ...

【矩阵运算】矩阵的迹以及迹对矩阵求导总结

矩阵求导最终都是华为标量求导，迹就是最简单的衡量标量一定要掌握

迹求导原因

总结

技巧

【矩阵运算】矩阵的迹以及迹对矩阵求导总结相关推荐

最新文章

热门文章

【矩阵运算】矩阵的迹以及迹对矩阵求导总结

矩阵求导最终都是华为标量求导，迹就是最简单的衡量标量 一定要掌握

迹求导原因

总结

技巧

【矩阵运算】矩阵的迹以及迹对矩阵求导总结相关推荐

最新文章

热门文章

矩阵求导最终都是华为标量求导，迹就是最简单的衡量标量一定要掌握