lecture05:Positive Definite and Semidefinite Matrices——正定、半正定矩阵

补充：【线性代数】6-5:正定矩阵(Positive Definite Matrices) | 谭升的博客 https://face2ai.com/Math-Linear-Algebra-Chapter-6-5/

对称正定矩阵

讨论满足条件：

对称矩阵，特征值λi>0\lambda_i>0λi>0
充要条件：xTSx>0(x≠0)x^TSx>0(x\neq0)xTSx>0(x=0)；另一种理解，关于能量的xTSx>x^TSx>xTSx> 表示一个系统的能量，其必须大于0，也就是说对于一个矩阵，其能量为正，这个矩阵定义为正定矩阵。
S=ATA,AS=A^TA,AS=ATA,A列向量无关
子行列式>0
消元后的主元pivots>0pivots>0pivots>0

S=[3445],det<0×S=\left[\begin{matrix}3&4\\4&5\end{matrix}\right],det<0\ ×S=[3445],det<0 ×

S=[3446]→[3402/3],pivots>0(主元乘积=行列式值)S=\left[\begin{matrix}3&4\\4&6\end{matrix}\right]\ →\left[\begin{matrix}3&4\\0&2/3\end{matrix}\right],pivots>0(主元乘积=行列式值)S=[3446] →[3042/3],pivots>0(主元乘积=行列式值)

[xy][3446][xy]=3x2+6y2+8xy=3(x+43y)2+23y2>=0\left[\begin{matrix}x&y\end{matrix}\right]\left[\begin{matrix}3&4\\4&6\end{matrix}\right]\left[\begin{matrix}x\\y\end{matrix}\right]=3x^2+6y^2+8xy=3(x+\frac{4}{3}y)^2+\frac{2}{3}y^2>=0[xy][3446][xy]=3x2+6y2+8xy=3(x+34y)2+32y2>=0

以上L(x,y)=xTSxL(x,y)=x^TSxL(x,y)=xTSx是一个碗的形状(x,y≠0x,y\neq0x,y=0)，为凸函数，梯度下降可得到局部最优解即全局最优解；而L(x,y)=xTSx+xTbL(x,y)=x^TSx+x^TbL(x,y)=xTSx+xTb，局部最优解不一定是全局最优，存在问题。

正定矩阵的可加性：两个正定矩阵之和仍为正定矩阵

xTsx>0,xTTx>0→xT(Sx+Tx)=xT(S+T)x=xTCx>0x^Tsx>0\ ,x^TTx>0\ →x^T(Sx+Tx)=x^T(S+T)x=x^TCx>0xTsx>0 ,xTTx>0 →xT(Sx+Tx)=xT(S+T)x=xTCx>0

正定矩阵的可逆性：正定矩阵的逆仍为正定矩阵，特征值为1λ\frac{1}{\lambda}λ1

QTSQ：QTSQ=Q−1SQ,相似矩阵，特征值相同或者xTQTSQx=yTSy,仍为正定Q^TSQ：Q^TSQ=Q^{-1}SQ,相似矩阵，特征值相同或者x^TQ^TSQx=y^TSy,仍为正定QTSQ：QTSQ=Q−1SQ,相似矩阵，特征值相同或者xTQTSQx=yTSy,仍为正定

半正定矩阵

讨论满足条件：

特征值λi≥0\lambda_i\geq0λi≥0
xTSx≥0x^TSx\geq0xTSx≥0
S=ATA,允许AS=A^TA,允许AS=ATA,允许A列向量相关
行列式≥0\geq0≥0
r个pivots>0,r≤nr个pivots>0,r\leq nr个pivots>0,r≤n

S=[344163],det=0,trace=3+163,λ=0/253S=\left[\begin{matrix}3&4\\4&\frac{16}{3}\end{matrix}\right],det=0,trace=3+\frac{16}{3},\lambda=0/\frac{25}{3}S=[344316],det=0,trace=3+316,λ=0/325

S=[111111111],r=1,λ=3/0/0S=\left[\begin{matrix}1&1&1\\1&1&1\\1&1&1\end{matrix}\right],r=1,\lambda=3/0/0S=⎣⎡111111111⎦⎤,r=1,λ=3/0/0

S=[111111111]=QΛQT=λ1q1q1T+λ2q2q2T+λ3q3q3T=λ1q1q1T=3∗13[111]13[111]S=\left[\begin{matrix}1&1&1\\1&1&1\\1&1&1\end{matrix}\right]=Q\Lambda Q^T=\lambda_1q_1q_1^T+\lambda_2q_2q_2^T+\lambda_3q_3q_3^T=\lambda_1q_1q_1^T=3*\frac{1}{\sqrt{3}}\left[\begin{matrix}1&1&1\end{matrix}\right]\frac{1}{\sqrt{3}}\left[\begin{matrix}1\\1\\1\end{matrix}\right]S=⎣⎡111111111⎦⎤=QΛQT=λ1q1q1T+λ2q2q2T+λ3q3q3T=λ1q1q1T=3∗31[111]31⎣⎡111⎦⎤

线性代数|学习笔记|18.065MIT公开课 lecture05相关推荐

线性代数学习笔记（二十九）——方程组解的结构（一）
停更2年多了,做事得有始有终,继续更新... 本篇笔记回顾了线性方程组解的三种情况,并讨论了齐次线性方程组解的结构,并介绍了齐次线性方程组解的相关性质.其中重点讨论了基础解系定义,以及基础解系的求法和 ...
Hadoop学习笔记—18.Sqoop框架学习
Hadoop学习笔记-18.Sqoop框架学习一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据 ...
Ext.Net学习笔记18：Ext.Net 可编辑的GridPanel
Ext.Net GridPanel 有两种编辑模式:编辑单元格和编辑行. 单元格编辑: 行编辑: 可以看出,单元格编辑的时候,只有单元格会进入编辑模式,而行编辑模式中则对编辑行的所有可编辑字段统一进行 ...
华为HCIA-datacom 学习笔记18——SDN与NFV概述
华为HCIA-datacom 学习笔记18--SDN与NFV概述 SDN与NFV概述 1.计算机时代的演进 1.1大型机专门的硬件专门的操作系统专门的应用.(稳定性能好,但封闭) 1.2小型机 ...
线性代数学习笔记（二十二）——向量间的线性关系（二）
本篇笔记首先介绍了线性相关和线性无关的概念,关键是找到一组不全为零相关系数使得等成立:然后重点介绍了一些重要的结论,以及向量组线性相关和线性无关的几个充要条件. 1 线性相关与线性无关线性相关:设 ...
2020-4-12 深度学习笔记18 - 直面配分函数 5 ( 去噪得分匹配，噪声对比估计NCE--绕开配分函数，估计配分函数)
第十八章直面配分函数 Confronting the Partition Function 中文英文 2020-4-8 深度学习笔记18 - 直面配分函数 1 ( 配分函数概念,对数似然梯度) 2 ...
线性代数学习笔记——第四章学习指南——n维向量空间
一.学习内容及要求 1. 内容: §4.1. n维向量空间的概念线性代数学习笔记--第四十讲--n维向量空间的概念线性代数学习笔记--第四十一讲--n维向量空间的子空间 §4.2. 向量组的线性相 ...
线性代数学习笔记10-4：左右逆、伪逆/M-P广义逆（从四个子空间和SVD角度理解）
下面讨论m×nm\times nm×n的秩为rrr的矩阵对于不同情况,讨论逆矩阵两侧逆矩阵 2-sided inverse 这也是一般所说的"逆矩阵"的含义方阵A\bolds ...
Python学习笔记18：实操案例十五（记录用户登录日志，模拟淘宝客服自动回复）
Python学习笔记18:实操案例十五(记录用户登录日志,模拟淘宝客服自动回复) 网课传送门:https://www.bilibili.com/video/BV1Sw411Z779?p=168& ...

线性代数|学习笔记|18.065MIT公开课 lecture05

lecture05:Positive Definite and Semidefinite Matrices——正定、半正定矩阵

对称正定矩阵

半正定矩阵

线性代数|学习笔记|18.065MIT公开课 lecture05相关推荐

最新文章

热门文章