二元函数对xy同时求导_矩阵求导与矩阵微分
矩阵求导与矩阵微分
符号定义
使用大写的粗体字母表示矩阵
使用小写的粗体字母表示向量
使用小写的正体字母表示标量
需要明白的是,矩阵求导的意义在哪来,我们回想一下函数求导的意义,最大的作用就是寻找极值,导数为0的位置就是函数极值位置,某个点的导数代表梯度下降的方向。
0.布局约定
当向量对于向量的求导的时候,通常会有两种结果,出现不同结果的原因是所使用的的布局不同。通常布局(Layout)有两种,分子布局(numerator layout)和分母布局(denominator layout),简单来说,两种区别在于:
- 分子布局:分子为列向量或者分母为行向量
- 分母布局,分子为行向量或者分母为列向量
注意到分子布局与分母布局只是相差一个转置。我们考虑的大多数问题都是以函数自变量为一个矩阵或者向量(我们使用列向量),函数值为一个数,采用分母布局,得到的结果的维度将于自变量相同,所以下面都采用分母布局。
1.课本上的定义
在开始之前,先看一下戴华老师的《矩阵论》里面关于矩阵微分的描述:
矩阵
矩阵
函数对矩阵的导数
设
函数矩阵对矩阵的导数
设
对
其中
2.函数值为数
本节中我们考虑的问题是求
矩阵求导就是为了找到这些变量的具体的值,使得这个函数映射取得极值。
矩阵求导就为了寻找
2.1 通过定义求解例——最小二乘问题
以上我们知道了矩阵求导的定义,也明确了有两种基本的布局,由于在本文中,我们求解的问题通常是函数值为一个数,自变量为矩阵,目的是求矩阵变化对函数值的影响,导数应该维度与自变量相同,所以采用分母布局。一个最经典的问题就是最小二乘问题。
最小二乘问题是为了求解方程
很显然,这个数只有在满足测量的情况下,取得极值0。求极值就需要求导,求
所以有:
其中:
上式展示的是导数的每一行,
2.2 更简单的解法——矩阵微分
可以看出,使用定义写法非常麻烦,需要把每个分量都写出来,而且特别容易出错,有没有更简单的方法,那是肯定的,可以使用矩阵微分的方法。
因为这里面都是数,可以写成:
可以更快得到最终结果。
该简单的方法主要用到了矩阵微分的方法,矩阵微分主要有以下几种:
- 加减乘运算,转置,求迹:
- 求逆运算:
简单证明:
- 哈达玛积,也就是一般说的逐元素乘,即
:
- 逐元素函数,其中
接下来将导数与微分联系起来。我们先考虑对于一个二元函数
对于一个函数矩阵
写成矩阵形式就是:
注意到,如果矩阵降维成向量,上式子直接变成了
结合求迹的技巧,可以更加方便地计算求导:
- 标量求迹:
- 转置:
- 线性:
- 乘法交换:
2.3 更多的例子
- 首先给出一个非常简单的例子:
直接求迹,可以得到:
,所以可以得到。 - 再给出一个更加复杂的例子,这个例子中会出现哈达玛积:
计算其导数,有
- 还有一些例子可以见知乎上大佬的文章: 矩阵求导术(上)
写在最后
本文简单介绍了矩阵求导的一些相关计算方法,本文的主要目的是通过矩阵求导寻找极值问题,为了帮助大家梳理,我给出了以下思维导图:
未完待续。。。
以后有机会我还会更新寻找极值的一些常见方法,主要包括梯度下降法和牛顿法。希望能够帮到大家。
二元函数对xy同时求导_矩阵求导与矩阵微分相关推荐
- 二元函数对xy同时求导_做题笔记:多元函数求导的链式法则
本文使用 Zhihu On VSCode 创作并发布 核心公式: Very Easy 设 ,求 . (二元函数换成一元函数,直接代入或者链式法则均可) 解: 2. 设 ,求 . (这同样可以看成二元函 ...
- 二元函数对xy同时求导_更新丨10分钟掌握高等数学上册函数极限求解问题(考研、期末复习均可以用)...
学过高数的都知道,极限在高数的应用频率是非常高的,而且是很多高数知识的基础,求导.变限积分求极限.多重积分求极限等等均会用到 虽然是基础,但是很多人在刚学习的时候就会直接被理论弄懵圈,因此就无法继续再 ...
- 二元函数对xy同时求导_复变函数(1)——解析与保角,导数的几何意义,柯西-黎曼方程...
学习阶段:大学数学. 前置知识:复数的三角形式.棣莫弗定理.多元微分学. 1. 复变函数 1.1 复变函数的定义 说地简单点,复变函数就是自变量和应变量都是复数的函数.其定义域和值域均 ,是实函数的扩 ...
- 二元函数对xy同时求导_如何对反三角函数进行求导和积分?
在上完高中三年的所有课程之后,我们对于微积分已经有了一定的了解并且在其他科目中也利用它解决了很多问题.在高中阶段,应用的频率比较多的可能也就是普通的微分和积分的一些公式,比如对x²求导就是2x,对x² ...
- 二元函数对xy同时求导_让向量、矩阵和张量的求导更简洁些吧
本文是我在阅读Erik Learned-Miller的<Vector, Matrix, and Tensor Derivatives>时的记录,点此下载. 本文的主要内容是帮助你学习如何进 ...
- 二元函数对xy同时求导_高等数学期末总复习 DAY4. 利用莱布尼茨定理求高阶导 隐函数求导 对数求导法 参数函数求导等...
DAY 4. 这世上总要有个明白人,懂得克制. DAY 4. 1. 利用莱布尼茨定理求高阶导 2.隐函数求导 3.对数求导 4.参数函数求导 5.用导数求切线.法线 6.函数的微分 1. 利用莱布尼茨 ...
- 二元函数对xy同时求导_复变函数学习笔记(5)
到现在为止复变函数的理论还算友善,只是Cauchy积分定理很难证.不过接下来,一系列震撼我妈的结论就要出现,这就是复变函数与实函数的区别. (果然我还是喜欢无口系少女www) Cauchy积分公式,复 ...
- 已知若干点求圆心_【求精干货】高中数学知识点总结归纳高一学生必须掌握
高中数学高考知识点总结高一必高中数学高一的学生离高考还有两年的时间,别看这两年感觉很长,其实时间一晃就过了,高中数学学习成绩不太好的同学该加油好好学习了.别等到最后一年累死累活的搞,还不一定有效果,今 ...
- c++求矩阵的秩_一文搞定矩阵相关概念 使用Excel矩阵计算不用愁
知识要点: 矩阵的本质 矩阵的计算公式 实例演示 背景 矩阵计算是我们经常碰到的一个问题.在几乎所有跟"学问"二字稍微沾点边的东西里,矩阵这个家伙从不缺席.那Excel在其中扮演什 ...
最新文章
- 6425C-Lab11 配置DNS
- Protobuf3语言指南
- SqlDateTime 溢出。必须介于 1/1/1753 12:00:00 AM 和 12/31/9999 11:59:59
- c语言see函数,vprintf() - C语言库函数
- python描述器descriptor_Python 黑魔法 --- 描述器(descriptor)
- 并发编程模型Akka
- mysql 用户管理_mysql 用户管理及数据权限问题总结
- ASP.NET MVC 对于视图引擎的优化
- [HDU3756]Dome of Circus
- 1.4补充 三态缓存(tristate buffer)与 多路复用器(Multiplexers)
- Linux系统的Shell编程
- 我的知识管理工具列表 zz
- 小米6刷android 8.0,小米小米6(安卓8.0)手机快速救砖,线刷教程分享,小白轻松救活手机...
- oppoR9s计算机使用方法,oppor9s怎么进入Recovery模式
- windows7安装中文语言包及文乱码问题解决方法
- 90后准程序员写给前辈们的一封信
- 多元线性回归之Spss实现
- asp.net 著名网站
- 时间戳 转换24小时制
- kodi教程_超级详细,步步有图 最详细的KODI入门教程
热门文章
- 【初六】我的辞职信写好了
- 活动时的测试点及注意事项
- Python绘图总结(Matplotlib篇)之坐标轴及刻度
- P1337 [JSOI2004]平衡点 / 吊打XXX 模拟退火
- 如何修改flash的文字背景颜色?
- 抖音品质建设 - iOS启动优化《实战篇》
- 基于Linux的跨NAT上网监控原理
- 知网论文检测表格是否在查重范围内?
- 英语一窍不通python怎么学_英语一窍不通从哪里开始学?零基础如何正确学英语?...
- JAVA类与对象tank_5.编写一个java程序,该程序有两个类:Tank(用于刻画坦克)和Fight(主类)。 已知坦克类如下:...