这套笔记是跟着七月算法四月机器学习班的学习而记录的，主要记一下我再学习机器学习的时候一些概念比较模糊的地方，具体课程参考七月算法官网：

http://www.julyedu.com/

矩阵分析与应用

主要介绍的内容有：如图

首先，来看两个示例：

概念1. 行视图--凸优化中的超平面

对于式（1），写成方程组的形式就是：

在行视图中，它的解表示为两条直线的交点；

对于式（2）,其行视图表示为：

每一个方程表示三维空间中的一个平面，则方程的解为三个平面的交点。

概念2：列视图-- 矩阵列的线性组合

对于式（1）,其列视图表示为

每列参数表示一个向量，x,y即为满足等式右边的条件下，两个向量的伸缩倍数，如图：

则(2)式可以表示为：

线性相关的线性无关：

给一个比较直观的例子

从行视图和列视图看线性相关：

如式（1），对于行视图，若线性性相关，则两条直线平行。对于列视图，若线性相关，则两个向量共线。

从行视图和列视图看线性无关：

如式（1）,行视图不平行，列视图不共线。

概念：

简单来说，就是在一组向量集中，其中一个向量能被其他向量通过线性组合表示出来。这个向量实际上是多余的。

概念3：子空间

所有列的线性组合构成了一个span，也就是这组向量的子空间，

基可以理解为子空间的最大无关组

四个基本的子空间：

列空间：

举例来说：

矩阵A的所有列构成的子空间的所有线性组合张成一个如上图所示的平面。

子空间包含0点（向量），因为x1,x2可以为0

零空间：这里注意，零空间是列的子空间

n = 4;

Ax = 0的解是S1,S2任意的线性组合。

在上例中，列的线性组合构成了R2的子空间，N(A)构成了R4的子空间

行空间：

左零空间：

四种空间之间的关系：

解释下这个图，矩阵A的规模为mxn, m,为矩阵的行，n为列，r为矩阵的秩，因此，

右上图：为A的列空间，它是Rm的一个子空间，因为每列的长度为m,其维数为最大的线性无关的向量的个数，即r, 所有列的线性组合构成列的子空间

右下图：为A的左零空间, 左零空间也是Rm的子空间，它是和A的列的子空间相垂直的向量构成的子空间。与列空间构成正交补（交点为0点且只有0点）。

左下图：为A的零空间，它是Rn的子空间

左上图：A的行空间，是与A的零空间垂直的空间且行空间的向量与A的零空间构成正交补。

A的列空间与行空间的秩相同，即，矩阵的行秩等于列秩。

注意：

和张成的空间是相同的，在右边都对应到b上，右上边的框就是A张成的子空间（从列视图的角度理解）。左零空间与b所在的空间垂直，交点处为

利用子空间重新看待线性方程组的解：

Ax = A(p + v) ; Ap = b, Av = 0 , v是N(A)中的向量

特征值与特征方程：

特征分解的性质：

对称矩阵的特征分解：

二次型：

特征值大于0,为正定矩阵

特征分解的应用--PCA

SVD分解:特征分解的广义化

SVD和子空间的关系

U1为A的列空间的正交基

低秩矩阵近似(降维)

低秩矩阵近似应用—图像压缩

参考资料：

七月算法：机器学习四月班：http://www.julyedu.com/

图片来自于课程PPT

七月算法机器学习笔记2--机器学习中的数学之矩阵分析与应用相关推荐

数据结构与算法-java笔记一更新中
数据结构与算法-java笔记一更新中数据结构与算法什么是数据结构.算法数据结构学了有什么用: 线性结构数组特点应用链表存储结构链表类型单链表双向链表双向循环链表链表与数组的 ...
机器学习笔记-神经网络的原理、数学、代码与手写数字识别
机器学习笔记-神经网络作者:星河滚烫兮文章目录前言一.神经网络的灵感二.基本原理 1.神经网络最小单元--神经元 2.神经网络层结构 3.正向传播 4.反向传播 5.梯度下降三.数学理论推 ...
机器学习笔记（机器学习很难么？？？那必然难啊！！！）
机器学习第一章数据挖掘数据挖掘概念数据挖掘的模式类型第二章机器学习 1 机器学习分类 2 机器学习中的一些概念训练样本训练分类模型验证第三章无监督学习聚类 K-means聚类算法 ...
机器学习与深度学习中的数学知识点汇总
点击上方"AI算法与图像处理",选择加"星标"或"置顶" 重磅干货,每天 8:25 送达来源:SIGAI 在机器学习与深度学习中需要大量使 ...
吴恩达机器学习笔记-应用机器学习的建议
评估假设我们之前已经学习过一些机器学习的算法,现在我们来谈谈如何评估算法学习得到的假设.当发现预测的结果和实际的数据有误差的时候,我们需要进行一些调整来保证预测的准确性,大部分情况下,有以下几种办法 ...
[云炬python3玩转机器学习笔记] 2-2机器学习主要任务
机器学习(监督学习)的主要任务一.分类:将给定的数据进行分类- 二分类任务:二选一的方式,yes/no- 多分类任务:结果不仅仅在两个结果中,而是很多结果,获得的结果很明确- 数字识别- 图像识别- ...
andrew ng 机器学习笔记_机器学习笔记
第一节机器学习定义对于一个计算机程序来说,给它一个任务T和一个性能测量方法P,如果在经验E的影响下,P对T的测量结果得到了改进,那么就说程序从E中学习. 监督学习回归问题房价的预测分类问题 ...
[吴恩达机器学习笔记]11机器学习系统设计3-4/查全率/查准率/F1分数
11. 机器学习系统的设计觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 11.3 偏斜类的误差度量 Error Metr ...
[云炬python3玩转机器学习笔记] 2-1机器学习基础概念
机器学习基础概念一.关于数据本文约定: 大写表示矩阵小写表示向量上标代表第几个样本下标代表第几个特征一般向量都表示为列向量特征空间:每个维度都可以表示一个特征,形成一个空间(2D,3D, ...
[云炬python3玩转机器学习笔记] 2-5机器学习相关的哲学思考
2-5机器学习相关的哲学思考

七月算法机器学习笔记2--机器学习中的数学之矩阵分析与应用