PCA算法中样本方差和协方差的无偏估计与n-1的由来
原文出处： http://blog.sina.com.cn/s/blog_c96053d60101n24f.html
在PCA算法中的方差协方差计算公式中除数为什么是n-1?
假设X为独立同分布的一组随机变量，总体为M，随机抽取N个随机变量构成一个样本，
和是总体的均值和方差, 是常数。是对样本的均值和方差，由于样本是随机抽取的，也是随机的。
既然是随机变量，就可以观察他们的均值方差。
这里需要注意的是，由于样本是随机的，所以X1，X2，X3...都是随机的。上式中可以看出，样本均值这个变量的期望就是总体的均值，因此可以说均值是无偏的。
接下来看样本方差的均值：
结合方差公式，可以得到方差的期望与方差之间的关系：
（方差的期望=(n-1/n)方差）
这里可以看出样本方差的期望并不是无偏的，要无偏估计，应该再乘上一个系数：
所以无偏估计的样本的方差：
。
n-1为自由度，就是说，在一个容量为n的样本里，当确定了n-1个变量以后，第n个变量就确定了，因为样本均值是无偏的。
协方差除以m-1原理和方差一样，因为方差为协方差的特殊情况。
PCA算法中样本方差和协方差的无偏估计与n-1的由来相关推荐
- 机器学习教程 之 SKlearn 中 PCA 算法的运用：人脸识别实例
文章目录 一.PCA原理简介 二. sklearn 中的PCA 三. PCA降维进行人脸识别 四.更多资源下载 一.PCA原理简介 关于主成分分析算法,即 Principal conponent an ...
- 用通俗易懂的方式讲解：主成分分析(PCA)算法及案例（Python 代码）
文章目录 知识汇总 加入方式 一.引入问题 二.数据降维 三.PCA基本数学原理 3.1 内积与投影 3.2 基 3.3 基变换的矩阵表示 3.4 协方差矩阵及优化目标 3.5 方差 3.6 协方差 ...
- 图解主成分分析PCA算法(附Python实现)
0 写在前面 机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用."深"在详细推导算法模型背后的数学原理:"广"在分析多个机器学习模型:决策树.支持 ...
- 【转】PCA算法学习_1(OpenCV中PCA实现人脸降维)
前言: PCA是大家经常用来减少数据集的维数,同时保留数据集中对方差贡献最大的特征来达到简化数据集的目的.本文通过使用PCA来提取人脸中的特征脸这个例子,来熟悉下在oepncv中怎样使用PCA这个类. ...
- python中pca算法_Python使用三种方法实现PCA算法
主成分分析(PCA) vs 多元判别式分析(MDA) PCA和MDA都是线性变换的方法,二者关系密切.在PCA中,我们寻找数据集中最大化方差的成分,在MDA中,我们对类间最大散布的方向更感兴趣. 一句 ...
- python中pca算法_使用python的numpy库实现PCA算法
#!/usr/bin/env python # -*- coding: utf-8 -*- from numpy import * #参数1:特征值向量, #参数2:比率 #返回值:k(符合指定比率的 ...
- 从特征分解到协方差矩阵：详细剖析和实现PCA算法
从特征分解到协方差矩阵:详细剖析和实现PCA算法 本文先简要明了地介绍了特征向量和其与矩阵的关系,然后再以其为基础解释协方差矩阵和主成分分析法的基本概念,最后我们结合协方差矩阵和主成分分析法实现数据降 ...
- 机器学习算法_机器学习算法之PCA算法
前言 在机器学习中降维是我们经常需要用到的算法,在降维的众多方法中PCA无疑是最经典的机器学习算法之一,最近准备撸一个人脸识别算法,也会频繁用到PCA,本文就带着大家一起来学习PCA算法. 前置内容 ...
- 主成分分析|PCA算法大全
主成分分析|PCA算法大全 文章目录 主成分分析|PCA算法大全 1. PCA原理 1.1 最大方差理论 1.2 最小平方误差理论 1.3 高维数据下的特征值分解 2. CCIPCA增量主元分析算法[ ...
最新文章
- IT 巡检内容、方法大全
- ML之FE：基于FE特征工程对RentListingInquries数据集进行预处理并导出为三种格式文件(csv格式/txt格式/libsvm稀疏txt格式)
- php redis key,redis 在 php 中的应用（key篇）
- Microsoft Dynamics CRM server 2013 一般销售流程之 报价单功能详解
- Nginx实现通过不同的url前缀访问不同的前后端项目
- python try expect 多个except3.7_python try小例子
- java jsession,JSession
- 单价数量和总价的公式_小学数学量的计算单位及常用公式表
- GIS系列专题（3）：缓冲区算法对比研究（Buffer Algorithm），类似刀具补偿
- 龙族——路明非真实身份猜想
- php正则匹配斜线_PHP正则匹配反斜杠'\'和美元'$'的方法
- win10卸载WSL2记录
- 小程序加密解密完成版
- 结构体嵌套结构体，及其的初始化
- ADS 2019 安装 仿真
- OCP 12c最新考试题库及答案（071-2）
- 麦咖啡导致电脑不能上网
- 如果把中国422位皇帝放在一个群里，他们会聊些什么？
- Altium Designer创建异形铜皮
- 基于Spark的FPGrowth（关联规则算法）