机器学习中矩阵向量求导

以下内容是根据刘建平的求导博客做的相关笔记

一、导数的定义与布局

1. 相关说明

2.导数布局

导数部分有分子布局和分母布局两种情况。
分子布局和分母布局相差一个转置。

标量对向量求导布局
向量对向量求导布局
求导布局总结
标量对向量或矩阵求导，以分母布局为主。向量对向量求导，以分母布局为主。

二、矩阵向量求导之定义法

写出单个元素间的求导关系，得出求导结果。
思路简单，适用于求解简单关系的导数

2.1 标量对向量求导

2.2 标量对矩阵求导

2.3 向量对向量求导

三、矩阵向量求导之微分法

3.1 矩阵微分

3.2 矩阵微分的性质

矩阵迹相关

A∗A∗=∣A∣A*A^{*}=\left|A\right|A∗A∗=∣A∣
A∗=∣A∣A−1A^{*}=\left|A\right|A^{-1}A∗=∣A∣A−1
A∗A^{*}A∗是AAA的伴随矩阵，AAA相应位置的代数余子式构成的矩阵

3.3使用微分法求解矩阵向量求导

d(tr(X))=tr(d(x))d(tr(X))=tr(d(x))d(tr(X))=tr(d(x))
(uv)′=u′v+uv′(uv)^{'}=u^{'}v+uv^{'}(uv)′=u′v+uv′

四、链式法则

4.1 链式法则与矩阵相容

链式关系成立的条件是，相互关联的变量都是向量。

x\bm{x}x，y\bm{y}y,z\bm{z}z都是向量时，用上面的链式法则公式直接求解。
当最终的变量是标量时，按上面公式计算会出现维度不相容的情况。需要按下面的方法计算：

机器学习中矩阵向量求导相关推荐

向量转置的怎么求导_机器学习中的向量求导和矩阵求导
在机器学习的各种关于向量或者矩阵的求导中,经常会出现各种需要转置或者不需要转置的地方,经常会看得人晕头转向.今天我对机器学习中关于这部分的常识性处理方法进行整理并记录下来方便大家参考. 一些约定首先 ...
机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法.但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦. ...
机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦.因此我们需要其他的 ...
机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中,我们讨论了向量矩阵求导的9种定义与求导布局的概念.今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解 ...
机器学习中的矩阵向量求导(一) 求导定义与求导布局
在之前写的上百篇机器学习博客中,不时会使用矩阵向量求导的方法来简化公式推演,但是并没有系统性的进行过讲解,因此让很多朋友迷惑矩阵向量求导的具体过程为什么会是这样的.这里准备用几篇博文来讨论下机器学习中 ...
机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导
在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导.本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这几种形式的求导方法. 本文所有求 ...
矩阵向量求导（转载与整理）
矩阵向量求导 (转载与整理) 矩阵向量求导 (转载与整理) 1.[刘建平Pinard老师](https://www.cnblogs.com/pinard/)的博客文章(机器学习中的矩阵向量求导) 2. ...
矩阵向量求导-刘建平Pinard|笔记
矩阵向量求导-刘建平Pinard|笔记矩阵向量求导(刘建平Pinard) 笔记原文链接声明一.求导定义与求导布局原文图片个人笔记二.矩阵向量求导之定义法原文图片个人笔记三.矩阵向量求 ...
矩阵向量求导(Matrix calculus)
#原文地址 **注:**不要把它和几何运算或者是向量运算混淆 #前言: 在数学中,矩阵微积分是进行多变量微积分的一种特殊符号,特别是在矩阵的空间上. 它将关于许多变量的单个函数的各种偏导数和/或关于单 ...