多元函数的向量表示_多元高斯分布完全解析
摘要
高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用. 由中心极限定理
- 阐述多元标准高斯分布;
- 由多元标准高斯分布导出多元高斯分布;
- 阐述多元高斯分布的几何意义;
- 总结.
关键词: 多元高斯分布, 高斯过程, 概率论与数理统计, 机器学习
校对: @叶定南, @Towser, @Syous
编者按: 评论区中, @Towser 和 @Syous 两位大神对多元高斯分布有非常深刻的见解和讨论.
多元标准高斯分布
熟悉一元高斯分布的同学都知道, 若随机变量
而如果我们对随机变量
此时我们说随机变量
需要注意的是, 为了保证概率密度函数在
随机变量
标准化的过程, 实际上的消除量纲影响和分布差异的过程. 通过将随机变量的值减去其均值再除以标准差, 使得随机变量与其均值的差距可以用若干个标准差来衡量, 从而实现了不同随机变量与其对应均值的差距, 可以以一种相对的距离来进行比较.
一元标准高斯分布与我们讨论多元标准高斯分布有什么关系呢? 事实上, 多元标准高斯分布的概率密度函数正是从(4)导出的. 假设我们有随机向量
我们称随机向量
由于随机向量
由(7)我们可知, 其等高线为以(0, 0)为圆心的同心圆.
多元高斯分布
由上一节我们知道, 当随机向量
如果我们能通过线性变换, 使得随机向量
中的每个随机变量彼此独立, 则我们也可以通过独立随机变量概率密度函数之间的关系求出其联合概率密度函数. 事实上, 我们有如下定理可完成这个工作
定理1: 若存在随机向量
, 其中为均值向量,半正定实对称矩阵为的协方差矩阵, 则存在满秩矩阵, 使得, 而.
有了定理1, 我们就可以对随机向量
由多元函数换元变换公式, 我们还需要求出雅可比行列式
由(9)(10), 我们可进一步得
我们得到随机向量
在(12)中, 随机向量
我们发现, (12)中
原本由定理1, 我们还需要求线性变换矩阵
, 才能确定随机向量
的联合概率密度函数的表达式, 现在由(13)我们即可得最终形式(14), 随机向量
的联合概率密度函数由其均值向量
和其协方差矩阵
唯一确定, 但我们需要明白的是, 这是通过定理1的线性变换
得到的, 即此线性变换隐含其中.
如果我们取常数
由于矩阵
由(16)我们可知, 此时函数
如果协方差矩阵
如果协方差矩阵
多元高斯分布的几何意义
现在我们知道, 随机向量
由定理1我们有
再由(15)(17)可得
由(18)我们已经可以非常明显地看出线性变换
我们先对标准正交基进行拉伸, 横轴和纵轴分别拉伸
而如果我们只保留
这个投影后坐标轴长度较长的对应的坐标, 我们就可以达到将随机向量
进行降维的效果, 而这, 就是所谓的PCA(principal component analysis, 主成分分析).
总结
本文从多元标准高斯分布出发, 阐述了如何通过线性变换, 将任意的服从多元高斯分布的随机向量去相关性, 并求出其联合概率密度函数的过程, 最后给出了线性变换的具体过程阐述. 多元高斯分布是许多其他理论工具的基础, 掌握它是进行其他相关理论研究的关键.
引用
[1] Wikipedia contributors. "中心极限定理."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 9 May 2018. Web. 9 May 2018.‹https://zh.wikipedia.org/w/index.php?title=%E4%B8%AD%E5%BF%83%E6%9E%81%E9%99%90%E5%AE%9A%E7%90%86&oldid=49494817›.
[2] Do, C. (2008).The Multivariate Gaussian Distribution. [online] Cs229.stanford.edu. Available at: http://cs229.stanford.edu/section/gaussians.pdf [Accessed 13 Mar. 2019].
[3] 张, 伟. (2019). 多元正态分布. [online] Staff.ustc.edu.cn. Available at: http://staff.ustc.edu.cn/~zwp/teach/MVA/Lec4_slides.pdf [Accessed 13 Mar. 2019].
[4] Wikipedia contributors. "多元正态分布."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 16 Sep. 2018. Web. 16 Sep. 2018.‹https://zh.wikipedia.org/w/index.php?title=%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83&oldid=51304757›.
[5] Wikipedia contributors. "雅可比矩阵."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 7 Dec. 2018. Web. 7 Dec. 2018.‹https://zh.wikipedia.org/w/index.php?title=%E9%9B%85%E5%8F%AF%E6%AF%94%E7%9F%A9%E9%98%B5&oldid=52294204›.
多元函数的向量表示_多元高斯分布完全解析相关推荐
- 多元高斯分布是非参_多元高斯分布(多元正态分布)简介
多元高斯分布(多元正态分布)简介 标签:#正态分布##统计基础##高斯分布# 时间:2017-01-28 23:02:43 作者:小木 高斯分布(Gaussian Distribution),也称作是 ...
- 多元有序logistic回归分析_多元Logistic_回归分析解析.ppt
医学研究中经常遇到分类型变量 二分类变量: 生存与死亡 有病与无病 有效与无效 感染与未感染 多分类有序变量: 疾病程度(轻度.中度.重度) 治愈效果(治愈.显效.好转.无效) 多分类无序变量: 手术 ...
- 一元高斯分布多元高斯分布高斯过程混合高斯模型
高斯分布,又称正态分布,应用于连续型随机变量分布的模型中,对于多元高斯分布存在和一元高斯相似的,对于多元实值向量,使熵取得最大值的是高斯分布.当多个随机变量之和相加时,根据拉普拉斯提出的中心极限定理( ...
- 多元高斯分布是非参_(二)多元高斯分布与概率图条件独立性假设
Author: Pan Date: 2020/7/15 首先,我们通过随机向量的介绍来引出多元高斯分布,通过多元高斯分布,我们将介绍概率图的条件独立性假设. 先快速过一遍随机向量: 1.随机向量 ...
- 多元高斯分布异常检测代码_数据科学 | 异常检测的N种方法,阿里工程师都盘出来了...
↑↑↑↑↑点击上方蓝色字关注我们! 『运筹OR帷幄』转载 作者:黎伟斌.胡熠.王皓 编者按: 异常检测在信用反欺诈,广告投放,工业质检等领域中有着广泛的应用,同时也是数据分析的重要方法之一.随着数据量 ...
- 多元微积分_多元连式法则2 多元连式法则与方向向量
一,用向量表示多元连式法则 前面我们探讨了多元链式法则与偏导 假设有一个向量函数v 这个函数输入一个变量t 输出一个向量 那这个链式法则能用向量表示吗 这个向量函数v的导数如何表示: (因为只有一个输 ...
- 高斯分布、多维高斯分布、各向同性的高斯分布及多元高斯分布之间的KL散度
转自:https://www.cnblogs.com/jiangkejie/p/12939776.html 高斯分布是一类非常重要的概率分布,在概率统计,机器学习中经常用到. 一维高斯分布 一维高斯分 ...
- 第二课.多元高斯分布与其几何特征
目录 多元高斯分布 一元高斯与多元高斯 多元高斯分布的参数 二元高斯分布 多元高斯分布的几何特征 几何特征 实例演示 多元高斯分布 一元高斯与多元高斯 在第一课的一元高斯分布中,处理的是一组样本X=( ...
- 机器学习导论(张志华):多元高斯分布
前言 这个笔记是北大那位老师课程的学习笔记,讲的概念浅显易懂,非常有利于我们掌握基本的概念,从而掌握相关的技术. 正文 这节课主要讲的是常用统计分布里的多元高斯分布. 高斯分布的相关定义延申后可以直接 ...
最新文章
- Bootstrap—基础样式定义
- android第三次作业
- ubuntu开启root登陆
- [html] 你认为Html的术难点在哪?
- 设计模式——Iterator模式实现研究
- java中Object.equals()简单用法
- 图像处理(MATLAB及FPGA)实现基础原理(持续更新)
- matlab 平滑曲线连接_MATLAB数据可视化
- “萝卜快跑”,“快”不起来——百度Robotaxi试乘体验
- 小甲鱼第45课 魔术方法 简单定制
- 流利阅读 2019.3.18 Can baijiu, China’s sorghum firewater, go global?
- MySQL高级-04-授课笔记
- 自己写的实用VBA代码合集
- 【Java中级】8.5 SSH之Hibernate框架(五)——关于Criteria(QBC)过时的补充
- 测试工具开发手把手教程
- 小车红外线自主充电方案-2
- 学计算机减肥,电脑瘦身(教你一分钟让电脑瘦身)
- 05-旭日X3派测评——Open Cv Pangolin等库安装ORB_SLAM2 安装运行
- 【C++】八皇后问题(竖列递进)
- 使用scrapy-redis搭建分布式爬虫环境