【机器学习】汇总详解：矩阵基本知识以及矩阵求导
1.矩阵的基本概念
1.1矩阵的迹（matrix trace）
存在方阵A=(aij)n×n，其主对角线上的所有元素的和，称为此方阵的迹，记作tr(A)
tr(A)=a11+a22+……+ann
tr(A)=∑aii，i=1,....,n
注：n阶方阵A，tr(A)也等于方阵A的所有特征值的和
1.2矩阵的代数余子式（alebraic cofactor）
1.3伴随矩阵A*（adjoint matrix）
存在方阵A=(aij)n×n，则矩阵A*=(Aij)n×n称为矩阵A的伴随矩阵，
1.4行列式(determinant)
存在n阶方阵A=(aij)n×n，则其行列式可记作D=|A|=detA=det(aij)
1.5线性方程组有唯一解法则
又称克拉默法则，如果线性方程组的系数行列式不等于零，则此线性方程组有唯一解！
1.6零矩阵
如果一个矩阵的元素都是零，则此矩阵就是零矩阵。注：不同型的零矩阵不相等
1.7单位矩阵E
如果一个矩阵的主对角线上的元素都为1，而其他位置上的元素都为零，则此矩阵称为单位矩阵
E=diag(1，1，……，1)
1.8对角矩阵
如果一个矩阵的对角线上的不为零，而其他位置上的元素都为零，则此矩阵称为对角矩阵
对角矩阵=diag(λ1，λ2，……，λn)，其中λi≠0。
1.9矩阵的幂
对象：n阶方阵A=(aij)n×n
k个n阶方阵A的乘积，可以表达为矩阵A的k次幂，记作AAA=A^3，AAAA=A^4等
1.10转置矩阵
对象：m×n的普通矩阵A=(aij)m×n
转置：把矩阵A的行换成同序数的列，得到的新矩阵就是A的转置矩阵，记作A^T，博客里为了方便表达记作A'
性质：
A''=A
(A+B)'=A'+B'
(λA)'=λA'
(AB)'=B'A'
1.11对称阵
对象：n阶方阵A=(aij)n×n
概念：如果n阶方阵A的所有元素，以对角线为对称轴对称的元素相等，则称n阶方阵为对称阵。
记作：如果A'=A，则A为n阶对称阵
1.12n阶方阵的行列式
对象：n阶方阵A=(aij)n×n
性质：
1）|A'| = |A|
2）|λA| = λ^n|A|
3）|AB| = |A||B|，其中A和B都为n阶方阵矩阵A=(aij)n×n，B=(bij)n×n
4）对于n阶矩阵A和B，一般来说AB≠BA，但是总是有：|AB|=|BA|=|A||B|
5）AA*=A*A=|A|E，其中A*为伴随矩阵，E为n阶单位矩阵
6）|E|=1，单位矩阵的行列式等于1
1.13逆矩阵
对象：n阶方阵A和B，A=(aij)n×n，B=(bij)n×n
概念：如果AB=BA=E，其中E为n阶单位矩阵，则称A是可逆的，B为A的逆矩阵，简称逆阵，记作A^(-1)
性质：
1）可逆n阶方阵A的逆矩阵只有一个，因为B=BE=B(AC)=(BA)C=EC=C，所以B=C，所以A只有一个可逆矩阵
2）什么样的方阵可逆？
如果|A|≠0，则n阶方阵A是可逆的。
3）逆阵A和伴随矩阵的关系？
A^-1=A*/|A|
4）若A和B是同阶方阵且均可逆，则AB也可逆，并且：
(AB)^(-1)=B^(-1)A^(-1)
5）若A可逆，则A'也可逆，且：
(A')^(-1) = (A^(-1))'
6）若A可逆，则A*也可逆，且：
(A*)^(-1) = (A^(-1))*
1.14奇异矩阵
|A|=0时，A称为奇异矩阵。
|A|≠0 与 A可逆 是充分必要条件，即可逆矩阵就是非奇异矩阵。
1.5线性方程组
a11x1 + a12x2 + ……+a1jxj+……+a1nxn = b1
a21x1 + a22x2 + ……+a2jxj+……+a2nxn = b2
……
am1x1 + am2x2 + ……+amjxj+……+amnxn = bm
1.16系数矩阵
线性方程组中系数组成的矩阵，A=(aij)m×n，称为系数矩阵
可简单记作A=（a1, a2, …ai…，an），其中ai为单列矩阵(ai1, ai2, ai3,……,ain)
1.17未知数向量
线性方程组中自变量x组成的列向量，X=(x1, x2, ……，xn)称为未知数向量
1.18常数项向量
线性方程组中最后端的常熟组成的列向量b=(b1, b2, ……，bm)，称为常数项向量
1.19增广矩阵
B=(系数矩阵，常数项矩阵)=(A, b) = (a1, a2, ……，an，b)，即：
a11 a12 a13 …… a1n b1
a21 a22 a23 …… a2n b2
……
am1 am2 am3 …… amn bm
1.20梯度矩阵
标量y对矩阵Xm×n的导数，得到的就是梯度矩阵
dy/dX=(∂y/∂xij)m×n，i=1,2,……,m，j=1,2,……，n
展开就是
∂f/∂x11 ∂f/∂x12 ∂f/∂x13 …… ∂f/∂x1n
∂f/∂x21 ∂f/∂x22 ∂f/∂x23 …… ∂f/∂x2n
…… …… …… …… ……
∂f/∂xm1 ∂f/∂xm2 ∂f/∂xm3 …… ∂f/∂xmn
2.函数的基本概念
2.1实值函数
如果一个函数f(x)的值域在实数范围内，则此函数f(x)称为是实函数，也叫实值函数。
2.2矩阵值函数
如果一个矩阵A(x)m×n的每个元素a(x)ij都属于实数范围(a,b)内，则此矩阵A(x)m×n称为矩阵值函数。
一般记A(x)m×n是实数区间(a,b)上m×n阶矩阵值函数，矩阵值函数中每个元素都满足：a(x)ij∈(a,b)
2.3向量值函数
如果一个矩阵A(x)m×1的元素a(x)i1都属于实数范围(a,b)内，则此矩阵A(x)m×1称为向量值函数
可知向量值函数是矩阵值函数的列等于1时的函数。
2.4矩阵函数（matrix function）
如果一个函数的定义域和值域都是方阵，则此函数称为矩阵函数
3矩阵值函数的导数运算
如果一个矩阵A(x)m×n的每个元素a(x)ij都属于实数范围(a,b)内，则此矩阵A(x)m×n称为矩阵值函数
假设有矩阵值函数A(x)，B(x)，下面简单记作A,B，并用符号d(A)表示对矩阵值函数A进行x求导！
1）A(x)是常数矩阵的 充分必要条件是 dA(x)/dx = 0
2）d(A + B) = dA + dB
3）d(AB)= (dA)B + A(dB)
4.多元函数f(X)对矩阵X求导
如果f=f(X)作为X∈R^(p×q)的多元函数，且f是可微的，则多元函数f对矩阵X的导数为：
df/dX = (∂f/∂xij)p×q=
∂f/∂x11 ∂f/∂x12 ∂f/∂x13 …… ∂f/∂x1q
∂f/∂x21 ∂f/∂x22 ∂f/∂x23 …… ∂f/∂x2q
…… …… …… …… ……
∂f/∂xp1 ∂f/∂xp2 ∂f/∂xp3 …… ∂f/∂xpq
也就是：X矩阵大小不变p×q，xij每个元素都换成f(X)对xij求导，得到的新矩阵，就是df/dX~~~~
此时得到的导数就是梯度矩阵~~~~~
5.多元函数f(x)对向量x的求导
如果f=f(x)是向量x∈R^n的多元函数，且f是可微的，则f对向量x的导数为：
df/dx = (∂f/∂x1，∂f/∂x2，∂f/∂x3，……，∂f/∂xn)
6标量y对标量x的求导
直接写作：dy/dx
6标量y对矩阵X的求导
一般情况下，只用到标量对矩阵的求导~~~
7.向量A对标量x的求导
记作A=(a1, a2, a3,……,an)，则向量A对标量x的求导为：
dA/dx=∂ai/∂x，i=1,2,……,n
dA/dx=(∂a1/∂x，∂a2/∂x，……，∂an/∂x)
8.矩阵对标量x的求导
矩阵A，标量x，则矩阵A的每个元素分别对标量x求导
dA/dx=∂aij/∂x，i=1,2,……,m，j=1,2,……,n
展开就是
∂a11/∂x ∂a12/∂x …… ∂a1n/∂x
∂a21/∂x ∂a22/∂x …… ∂a2n/∂x
…… …… …… ……
∂am1/∂x ∂am2/∂x …… ∂amn/∂x
9.向量Y对向量X的求导
Y=(y1, y2, ……，ym)，X=(x1，x2，……，xn)
dY/dX=(∂yi/∂xj)m×n，i=1,2,……,m，j=1,2,……,n
展开就是：
∂y1/∂x1 ∂y1/∂x2 …… ∂y1/∂xn
∂y2/∂x1 ∂y2/∂x2 …… ∂y2/∂xn
∂y3/∂x1 ∂y3/∂x2 …… ∂y3/∂xn
…… …… …… ……
∂ym/∂x1 ∂ym/∂x2 …… ∂ym/∂xn
10.矩阵Y关于向量X的求导
Y=(yij)m×n对向量X=xk,k=1,2,……,n的求导
dY/dX=(∂yij/∂xj)m×n，i=1,2,……,m，j=1,2,……,n
展开就是：
∂y11/∂x1 ∂y12/∂x2 …… ∂y1n/∂xn
∂y21/∂x1 ∂y22/∂x2 …… ∂y2n/∂xn
…… …… …… ……
∂yi1/∂x1 ∂yi2/∂x2 …… ∂yin/∂xn
…… …… …… ……
∂ym1/∂x1 ∂ym2/∂x2 …… ∂ymn/∂xn
11.常用导数总结
假设有：a是实数，X、β是向量、A、B、C是和X无关的矩阵
且X'、β'、A'、B'、C'分别表示各自矩阵的转置矩阵，这是为了方便表示用'替代了T
注释：为了方便书写博客，d(f(X))表示∂(f(X))/∂X，即f(X)对X的导数。
1）d(β'X)=β，其中β'是β的转置矩阵
2）d(X') = E
3）d(XX') = 2X
4）d(AD(X)B) = Ad(D(X))B
5）d(X'AX) = (A'+A)X
尝试用的矩阵的迹的公式有：
1）tr(a) = a
2）tr(AB) = tr(BA)
3）tr(ABC) = tr(BCA) = tr(CAB)
4）tr(A) = tr(A')
5）dtr(AB) = dtr(BA) = B'， 此处dtr(AB)含义是∂tr(AB)/∂A
6）dtr(A'XB'))= dtr(BX'A))= AB， 其中A、B、X在此处都是矩阵，且A、B和矩阵X无关
7）dtr(ABA'C)= CAB + C'AB'， 此处dtr(ABA'C) 含义是∂tr(ABA'C)/∂A
8）dtr(AXBX) = AX'B' + B'X'A'， 此处dtr(AXBX)含义是∂dtr(AXBX)/∂X
(end)
【机器学习】汇总详解：矩阵基本知识以及矩阵求导相关推荐
- L2正则化Regularization详解及反向传播的梯度求导
摘要 本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证. 相关 系列文章索引 : https://blog.csdn.net ...
- 【吃瓜教程】《机器学习公式详解》西瓜书与南瓜书公式推导
[吃瓜教程]<机器学习公式详解>西瓜书与南瓜书公式推导 2021年7月11日 第0章-导学 深度学习:狭义地来说,就是具有较多层的神经网络. 整个学习过程; 先看西瓜书,在看 Datawh ...
- 【机器学习】详解 RNN
相关文章 [机器学习]详解 RNN [机器学习]详解 LSTM [机器学习]详解 GRU 目录 一.概述 二.语言模型 与 N 元语法 (N-Gram) 三.循 ...
- 2位专家耗时2年打造，西瓜书机器学习公式详解，都在这里了！（文末留言赠书）...
作为机器学习的入门经典教材,周志华老师的<机器学习>,自2016年1月底出版以来,首印5000册一周售罄,并在8个月内重印9次.先后登上了亚马逊,京东,当当网等的计算机类畅销书榜首,身边学 ...
- 21年最新Python面试题及答案汇总详解(上)
错过三月找工作的机会,还要错过四月的好时期吗?Python面试你做准备了吗?下面小编整理了一套2021年最新Python常见面试题目,及Python面试题目答案汇总.希望能够帮助到大家. 21年最新P ...
- 使用pickle保存机器学习模型详解及实战（pickle、joblib）
使用pickle保存机器学习模型详解及实战 pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议. "Pickling"是将Python对象层次结构转换为字节 ...
- 合服 两个服务器都有什么作用,阴阳师合服是什么意思？合服合区问题汇总详解[多图]...
阴阳师最近在进行合服,那么这次的合服合区到底是什么意思呢?下面是友情MT为大家带来的阴阳师合服合区问题汇总详解,希望能帮助到大家! 为提升部分服务器阴阳师大人们参与交互玩法的体验,寮办将于2018年1 ...
- python混淆矩阵,详解使用python绘制混淆矩阵（confusion_matrix）
这篇文章主要介绍了详解使用python绘制混淆矩阵(confusion_matrix),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学 ...
- 阴阳师最新的服务器,阴阳师跨区服务器大全 集结之境新增跨区服务器汇总详解...
阴阳师跨区服务器有哪些,阴阳师集结之境新增服务器哪些可以玩呢?下面是小编为大家带来的阴阳师跨区服务器大全,集结之境新增跨区服务器汇总详解,希望能帮助到大家! 亲爱的阴阳师大人: 为了让更多的大人们能够 ...
最新文章
- Swift游戏开发实战教程（大学霸内部资料）
- 两阶段提交协议的异常处理
- 常用浏览器重要启动参数和配置参数整理
- Spring MVC 中 HandlerInterceptorAdapter的使用--转载
- java converter转换器_springboot 自定义转换器（converter）
- 计组—原码、补码、反码、移码复习
- 任正非：华为鸿蒙将比安卓快 60％；小米已官方回应侵权偷图事件；博通正考虑收购软件公司，其中Tibco和赛门铁克为重点目标……...
- OpenCV文档阅读笔记-Imread flags解析与实例（保存透明图像）
- 禁止html文件控件手动输入的方法
- VMware vCenter Server 的内部版本号和版本 (2143838)--2020-10-27 更新
- MongoDB C Driver使用教程
- java 53个关键字_java的保留（53个）关键字v11.docx
- 第十章 动态选录协议
- Linux搭建Git服务器教程
- Python全栈之路--Django ORM详解
- oracle drop怎么用,Oracle Drop Table
- PT站的分享精神，我所向往的PT分享模式（原创）
- 公司代码与采购组织的分配关系
- 人教版三年级计算机教学计划,2017人教版三年级信息技术教学计划范文
- 神经网络是算法还是模型,神经元网络算法的思想