　在矩阵向量求导前4篇文章中，我们主要讨论了标量对向量矩阵的求导，以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导，还有矩阵对向量，向量对矩阵求导这几种形式的求导方法。

　　　　本文所有求导布局以分母布局为准，为了适配矩阵对矩阵的求导，本文向量对向量的求导也以分母布局为准，这和前面的文章不同，需要注意。

　　　　本篇主要参考了张贤达的《矩阵分析与应用》和长躯鬼侠的矩阵求导术

1. 矩阵对矩阵求导的定义

　　　　假设我们有一个p×qp×q的矩阵FF要对m×nm×n的矩阵XX求导，那么根据我们第一篇求导的定义，矩阵FF中的pqpq个值要对矩阵XX中的mnmn个值分别求导，那么求导的结果一共会有mnpqmnpq个。那么求导的结果如何排列呢？方法有很多种。

　　　　最直观可以想到的求导定义有2种：

　　　　第一种是矩阵FF对矩阵XX中的每个值XijXij求导，这样对于矩阵XX每一个位置(i,j)求导得到的结果是一个矩阵∂F∂Xij∂F∂Xij,可以理解为矩阵XX的每个位置都被替换成一个p×qp×q的矩阵，最后我们得到了一个mp×nqmp×nq的矩阵。

　　　　第二种和第一种类似，可以看做矩阵FF中的每个值FklFkl分别对矩阵XX求导，这样矩阵FF每一个位置(k,l)对矩阵XX求导得到的结果是一个矩阵∂Fkl∂X∂Fkl∂X, 可以理解为矩阵FF的每个位置都被替换成一个m×nm×n的矩阵，最后我们得到了一个mp×nqmp×nq的矩阵。

　　　　这两种定义虽然没有什么问题，但是很难用于实际的求导，比如类似我们在

机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导相关推荐

机器学习中的度量—— 向量距离
机器学习是时下流行AI技术中一个很重要的方向,无论是有监督学习还是无监督学习都使用各种"度量"来得到不同样本数据的差异度或者不同样本数据的相似度.良好的"度量" ...
matlab 调整矩阵形状,matlab对矩阵/向量的常用操作（拼接矩阵、向量逆序、改变矩阵形状、求行阶梯形矩阵、提取矩阵的一部分等）...
几乎所有变量在matlab中都可以视为矩阵(1 x 1元素,1 x n向量,m x n矩阵等),matlab中对矩阵/向量的操作非常多,个人认为对矩阵的操作是体现matlab功底的地方:灵活搭配使用这 ...
机器学习中的数学——常用概率分布（五）：高斯分布（Gaussian分布）/正态分布（Normal分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
matlab 矩阵列逆序,matlab对矩阵/向量的常用操作（拼接矩阵、向量逆序、改变矩阵形状、求行阶梯形矩阵、提取矩阵的一部分等）...
几乎所有变量在matlab中都可以视为矩阵(1 x 1元素,1 x n向量,m x n矩阵等),matlab中对矩阵/向量的操作非常多,个人认为对矩阵的操作是体现matlab功底的地方:灵活搭配使用这 ...
机器学习中的数学——距离定义（五）：标准化的欧几里得距离（Standardized Euclidean Distance）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
机器之心最干的文章：机器学习中的矩阵、向量求导
作者:七月本文的目标读者是想快速掌握矩阵.向量求导法则的学习者,主要面向矩阵.向量求导在机器学习中的应用.因此,本教程而非一份严格的数学教材,而是希望帮助读者尽快熟悉相关的求导方法并在实践中应用.另 ...
机器学习中的数学原理——向量内积
今天是2023年的第一天,祝大家新年快乐!这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下<白话机器 ...
机器学习中的数学知识(part1)
学习笔记,仅供参考,有错必纠参考自:<机器学习与应用>–雷明文章目录机器学习中的数学知识偏导数与梯度雅克比矩阵 Hessian矩阵奇异值分解向量与矩阵求导机器学习中的数学知 ...
机器学习中的数学基础（4.1）：支持向量机Support Vector Machine（SVM）
SVM可以说是一个很经典的二分类问题,属于有监督学习算法的一种.看过那么多的博客知乎解释SVM我一定要自己总结一篇,加深一下自己的理解. 带着问题去读文章会发现,柳暗花明又一村,瞬间李敏浩出现在眼前的 ...
一文读懂机器学习中奇异值分解SVD
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达目录: 矩阵分解 1.1 矩阵分解作用 1.2 矩阵分解的方法一文 ...

机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导

1. 矩阵对矩阵求导的定义

机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导相关推荐

最新文章

热门文章