(数学)最小二乘的几何意义及投影矩阵
主要内容:
- 什么是最小二乘
- 最小二乘的几何意义
- 正交投影矩阵
什么是最小二乘?
假设我们手上有n组成对的数据,{(xi,yi):i=1…n},为了探究y变量与x变量的关系,我们希望用一个多项式来匹配它,可是多项式中的系数怎么确定呢?拿来拼凑肯定是不行的,最小二乘法告诉我们,这个多项式的系数应该让每个点的误差的平方之和最小。
(百度百科)最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
最小二乘的几何意义
最小二乘的几何意义:最小二乘法中的几何意义是高维空间中的一个向量在低维子空间的投影。
从上面的定义中,我们很难想象到最小二乘的几何意义,那么我们通过一个简单的例子来推导一下:
我们根据定义中的误差平方之和最小化来拟合直线:
每个点的误差表示:
最小误差的平方和:
要求解上面的最小化问题,我们可以通过求导的方式得到,最好是转化为矩阵表达形式:AX=b (这里x表示上述的系数a)
求得结果为:
如果通过超定方程的解法,很容易就可以得到上面结果。
先来说说向量表达形式:
小括号中表示:它是两个向量 [1, ... , 1]T 和 [x1, ... , xn]T 的线性组合,换句话说,它是这两个向量构成的二维子空间(想成一个平面就可以)的任意一点。
那么上面式子的几何含义:表示向量 [y1, ... , yn]T(表示空间中的一点) 到这个二维子空间任意一点的距离;(向量的长度)
最小化上面式子的平方(向量长度的最小化)的几何含义:寻找在 [1, ... , 1]T 和 [x1, ... , xn]T 构成的二维子空间上的一个点,使得向量 [y1, ... , yn]T 到这个点的距离最小。怎么找这个点呢?只要做一个几何投影就好了。(如下图)
如上图所示,在三维空间中给定一个向量 u,以及由向量 v1,v2 构成的一个二维平面,向量 p 为 u 到这个平面的投影,它是 v1,v2 的线性组合:
利用投影的垂直性质,我们可以得到关于系数C的两个方程:
令 V = [v1, v2], p = c1v1 + c2v2,将上述式子合并并转化为矩阵形式(更容易扩展到高维空间),得到:
因此系数c的表达式为:
有没有发现很熟悉?和式子 一模一样有木有!!!
好了,我们回到原来的例子,看看几何关系中的投影点和被投影的空间分别代表什么。
把图中的 u 替换成 [y1, ... , yn]T ,把 v1,v2 分别替换成 [1, ... , 1]T 和 [x1, ... , xn]T, 系数 c1 和 c2 也就是我们要求的 a0,a1。
所以,最小二乘法的几何意义是高维空间的一个向量(由y数据决定)在低维子空间(由x数据以及多项式的次数决定)的投影。
正交投影矩阵
上面提到了最小二乘的几何意义就是空间中的投影,其实投影在线性代数中也是存在其数学公式的,可以联系以下数学知识来理解最小二乘的几何意义。
张成子空间:
张成子空间的投影矩阵:
最小二乘的投影解释:
(数学)最小二乘的几何意义及投影矩阵相关推荐
- (数学概念)矩阵的逆、伪逆、左右逆,最小二乘,投影矩阵
主要内容: 矩阵的逆.伪逆.左右逆 矩阵的左逆与最小二乘 左右逆与投影矩阵 一.矩阵的逆.伪逆.左右逆 1.矩阵的逆 定义: 设A是数域上的一个n阶方阵,若在相同数域上存在另一个n阶矩阵B,使得: A ...
- 矩阵的逆、伪逆、左右逆,最小二乘,投影矩阵
主要内容: 矩阵的逆.伪逆.左右逆 矩阵的左逆与最小二乘 左右逆与投影矩阵 一.矩阵的逆.伪逆.左右逆 1.矩阵的逆 定义: 设A是数域上的一个n阶方阵,若在相同数域上存在另一个n阶矩阵B,使得: A ...
- 压缩感知中的数学知识:投影矩阵(projection matrix)
题目:压缩感知中的数学知识:投影矩阵(projection matrix) ========================背景======================== 关注于投影矩阵主要是看 ...
- 线性代数笔记18——投影矩阵和最小二乘
一维空间的投影矩阵 先来看一维空间内向量的投影: 向量p是b在a上的投影,也称为b在a上的分量,可以用b乘以a方向的单位向量来计算,现在,我们打算尝试用更"贴近"线性代数的方式表达 ...
- 如何将一个向量投影到一个平面上_线性代数19——投影矩阵和最小二乘
一维空间的投影矩阵 先来看一维空间内向量的投影: 向量p是b在a上的投影,也称为b在a上的分量,可以用b乘以a方向的单位向量来计算,现在,我们打算尝试用更"贴近"线性代数的方式表达 ...
- 【数学】对向量的求导和Jacobian矩阵的几何意义与Hessian矩阵
算是上一篇[数学]均匀分布生成其他分布的方法的一个数学基础补遗吧. 函数对向量求导 Jacobian矩阵相当于通用型的函数的一阶导数,Hessian矩阵是一个Rn→RR^n \to R的函数的二阶导数 ...
- 如何将一个向量投影到一个平面上_线性代数笔记(15-16)投影、投影矩阵和最小二乘...
投影(Projection) 上图为二维平面的投影.其中p是b在a方向上的投影,则有: (1) (2) (3) (正交) 因此可得 进而可得 (P为矩阵:Ax=b的形式,bp均为向量,则A为矩阵) 其 ...
- 深入解析投影矩阵的数学方法
齐次空间 要理解3d的齐次空间,我们先理解2d的齐次空间. 2d的齐次空间可以理解为三维空间上的向量在(x, y, 1)平面上的投影. 投影结果是(x/z, y/z, 1) 齐次矩阵 齐次矩阵能够对向 ...
- 矩阵论(七):投影矩阵
矩阵论专栏:专栏(文章按照顺序排序) 参考资料: 线性代数基础知识系列:1.2.3.4.5 广义逆矩阵(上) 广义逆矩阵(下) 投影矩阵 投影的定义 投影矩阵 求法 性质 正交投影的性质 投影定理 投 ...
最新文章
- 【每日DP】day 8、P2014 [CTSC1997]选课(树形DP(树形背包)模板)难度⭐⭐⭐
- Kafka->Flink->Hbase(纯DDL/DML形式)
- hibernate正向生成数据库表以及配置——hibernate.cfg.xml
- avframe转byte数组_C# amp; VB6.0 图像与二维数组 互转
- 工程安全cso千人千面计算机,千人一面变为千人千面 自适应教育助力因材施教...
- python django开发工具_Python和Django web开发工具pycharm介绍
- 数仓建模的edw_浅谈数仓分层和模型
- 字节跳动 CEO 张楠谈遭微信封禁;传蚂蚁集团将重组 ;Apache ECharts 5 发布| 极客头条...
- CSS设计指南(第3版)
- eclipse合并svn分支方法
- SAP那些事-理论篇-7-SAP的优势和劣势
- 64位java没有javaw.exe,2019-01-01 eclipse无法找到javaw.exe怎么处理
- PHP本地文件包含漏洞环境搭建与利用
- 服务器解压文件出错,四大方法解决解压文件出错问题|解压文件出错
- python爬取网页数据总结_pycharm爬取网页数据
- The second sprint
- 1分钟学会小程序几个最有效的运营推广手段
- 跨专业计算机 调剂,考研调剂可以跨专业调剂吗
- 电弧故障断路器全国产化电子元件推荐方案
- 使用python绘制有效性前沿
热门文章
- 二叉树的各种操作(转)
- 东方通没有创造中间件 却在定义中间件的“化蝶”
- Android中样式及主题
- Jedis与Redisson对比有什么优缺点?
- 利用Kubernetes名称空间来管理内存和CPU资源(二)
- InputStreamReader 和 OutputStreamWriter类用法简介,及演示。
- Java1.7ConcurrentHashMap类源码解析
- 台达s1变频器参数表_各大品牌变频器万能密码汇总
- 使用this调用已有的有参构造函数_JavaScript 中的 this 的几种使用场景
- (干货!)Tomcat性能优化