矩阵求导法则与性质,机器学习必备~
前提及说明
第一次遇见矩阵求导,大多数人都是一头雾水,而搜了维基百科看也还是云里雾里,一堆的名词和一堆的表格到底都是什么呢?这里总结了我个人的学习经验,并且通过一个例子可以让你感受如何进行矩阵求导,下次再遇到需要进行矩阵求导的地方就不会措手不及。
在进行概念的解说之前,首先大家需要先知道下面的这个前提:
前提: 若 x 为向量,则默认 x 为列向量, xT 为行向量
布局的概念
布局简单地理解就是分子 y 、分母 x 是行向量还是列向量。
- 分子布局(Numerator-layout): 分子为 y 或者分母为 xT (即,分子为列向量或者分母为行向量)
- 分母布局(Denominator-layout): 分子为 yT 或者分母为 x (即,分子为行向量或者分母为列向量)
为了更加深刻地理解两种布局的特点和区别,下面是从维基百科中布局部分拿来的例子:
分子布局
标量/向量: (分母的向量为行向量)
向量/标量: (分子的向量为列向量)
向量/向量: (分子为列向量横向平铺,分母为行向量纵向平铺)
标量/矩阵: (注意这个矩阵部分是转置的,而下面的分母布局是非转置的)
矩阵/标量:
分母布局
标量/向量: (分母的向量为列向量)
向量/标量: (分子的向量为行向量)
向量/向量: (分子为行向量纵向平铺,分母为列向量横向平铺)
标量/矩阵: (矩阵部分为原始矩阵)
一个求导的例子
问题
说明: y、w为列向量,X为矩阵
式子演化
看到这个例子不要急着去查表求导,先看看它的形式,是的形式,这种形式一般求导较为复杂,因此为了简化运算,我们先把式子展开成下面的样子(注意:: )
然后就可以写成四个部分求导的形式如下(累加后求导=求导后累加):
求导
说明:分子部分为标量,分母部分为向量,找到维基百科中的Scalar-by-vector identities表格,在表格中匹配形式到第1行的位置,因为分母为列向量,因此为分母布局,对应的求导结果就是 0 。
说明:同样的,在维基百科中的Scalar-by-vector identities表格,在表格中匹配形式到第11行的位置,对应的求导结果就是 。
说明:因为分子为标量,标量的转置等于本身,所以对分子进行转置操作,其等价于第二部分。
说明:同样的,在维基百科中的Scalar-by-vector identities表格,在表格中匹配形式到第13行的位置,矩阵的转置乘上本身为对称矩阵当做表格中的A ,所以得到求导结果 。
整合
把四个部分求导结果进行相应的加减就可以得到最终的结果:
现在你再看看维基百科里那成堆的表格,是不是觉得异常实用了!
参考文献
- 维基百科 Matrix calculus
- 求导的例子来自《机器学习实战》-第八章 回归 138页
矩阵求导法则与性质,机器学习必备~相关推荐
- 机器学习必备的数学知识,一次学会
面对机器学习,初学者的阻塞点往往不在于机器学习本身,而是数学.机器学习是计算机技术,但它的底层是数学. 通常,在机器学习相关的教材中,通篇都是复杂的数学公式.初学者如果数学基础不牢固,面对满篇的数学公 ...
- 4.9-4.10 矩阵乘法的性质 矩阵的幂运算 矩阵的转置及其性质
矩阵乘法的性质 矩阵的乘法不遵守交换律 ! 矩阵乘法遵守结合律.分配律 对于任意r行c列的矩阵A,存在c行x列的矩阵O,满足:A . Ocx = Orx 对于任意r行c列的矩阵A,存在x行r列的矩阵O ...
- Codeforces Round #546 (Div. 2) C. Nastya Is Transposing Matrices(矩阵转置的性质)
题目链接: C. Nastya Is Transposing Matrices 题意: 给定两个大小均为n,m的矩阵A,B,每次操作可选择A中的一个正方形子矩阵进行矩阵转置,可进行任意次操作,问能否将 ...
- 机器学习必备知识点 之 先验概率和后验概率
机器学习必备知识点 见 机器学习必备知识点 我们可以把概率获得分为两种: 一种是从原因到结果--先验概率 一种是从结果到原因--后验概率 举个例子: 这里的P(C1),P(C2),P(x|C1),P( ...
- Gram矩阵的一些性质
Gram矩阵的一些性质 定义:对于矩阵A:m×nA:m×nA:m×n,我们称矩阵ATAA^TAATA为AAA的列向量Gram矩阵,矩阵AATAA^TAAT为AAA的行向量Gram矩阵. 以下讨论时考虑 ...
- 矩阵迹的性质_机器学习的数学基础 之 矩阵范数 — 我的长度我做主?
热点追踪 / 数学基础 / 编程基础 / 实战技术 字数: 3925 作者: 小组成员机器学习与数学 出品 0x01.矩阵的诞生 在数学史上,矩阵的概念提出得比较晚,但可以朔源到两千多年前就提出的线性 ...
- 数据科学机器学习必备六类数学利器,太用心!
介绍 数学是现代科学的基石,几乎所有现代科学都与数学密不可分,尤其是数据科学与机器学习. 要想成为资深数据分析师,必须具备一定的数学知识,熟练应用数学技巧,才能更好地使用程序自带的算法.比如说,理解了 ...
- 收藏!!如何 Get 机器学习必备的算法技能? | 逻辑回归
本文是吴恩达老师的机器学习课程[1]的笔记和代码复现部分(逻辑回归). 作者:黄海广[2] 备注:笔记和作业(含数据.原始作业文件).视频都在github[3]中下载. 我将陆续将课程笔记和课程代码发 ...
- 机器学习必备知识之皮尔森系数实现
引言:最近几天帮几个人工智能专业的同学做了一些机器学习课程的大作业,我发现机器学习一些常见的数据处理方法他们并不会用程序表示出来,仅仅是停留在理论层面.那么今天我将就机器学习一些常见数据处理方式实现皮 ...
- 一文掌握机器学习必备数学知识(附学习资源)
来源:运筹OR帷幄 作者:留德华叫兽&王源 本文共5800字,建议阅读10分钟. 本文划分了ML数学基础的的初.中.高三个阶段并提供针对各阶段的学习资源. 0.前言 本篇文章是由留德华叫兽在知 ...
最新文章
- 寫博客過程中遇到的問題
- 一周焦点 | Dota2团战击溃AI;不如跳舞!伯克利最新人体动作迁移研究
- 使用Bioconda管理生信软件(以bwa为例)
- jQuery动画---自定义动画animate()
- bzoj 4598: [Sdoi2016]模式字符串
- Java IDEA断点调试
- 分析汉谜网入口,列表,详情 地址
- 股票量化学习——复权因子计算
- linux网络重设,Linux ADSL拨号上网
- oracle if else嵌套,else能嵌入if吗
- 激光振镜误差校正算法C语言,一种基于双线性插值法的激光振镜图形校正算法的制作方法...
- 通过cookie绕过验证码登录(绕过验证码)
- windows/ubuntn 快捷键和命令行使用
- 【高德地图进阶】--- 带图片的点(3)
- linux下强制覆盖的密令
- Apktool重打包Apk
- ATCA基础入门学习总结
- 技术干货:工欲善其事,必先利其器 阿里云数据库系列谈之一
- Android Paint的使用详解
- CMD(命令提示符)修改盘符