机器学习总结(三)：矩估计
鉴于后续机器学习课程中多次提到参数估计的概念，为了避免囫囵吞枣的理解某些知识点，决定对概率统计的这部分知识点进行简要总结，这篇博客主要涉及的是点估计中的矩估计知识点，后续的博客将总结点估计中其他两个比较常见的方式，极大似然估计以及最小二乘法。
基础概念
为什么要出现估计呢？
因为在统计学中，所要观测的数据量往往都比较大，我们不可能将所有数据全部都进行统计，一种可行的方式就是从这些数据量中抽取一部分数据，这时候便用到了估计的知识，用抽取出来的样本的情况来估计总体的情况。
参数估计的概念
参数估计指的是根据从总体中抽取出来的样本来估计总体分布中包含的未知参数的方法，分为点估计和区间估计两种。
点估计的概念
依据从总体中抽取出来的样本来估计总体分布中的未知参数，点估计具体分为：矩估计、极大似然估计(MLE)以及最小二乘法。
区间估计的概念
依据抽取出来的样本，根据一定的准确度和精确度要求，构造适当的区间作为对总体分布中的未知参数的真值所在范围的估计，比如人们常说的百分之多少把某个数据控制在某个范围内就是区间估计最通俗的表述。
大数定律
矩估计的理论依据就是基于大数定律的，大数定律语言化的表述为：当总体的k阶矩存在时，样本的k阶矩依概率收敛于总体的k阶矩，即当抽取的样本数量n充分大的时候，样本矩将约等于总体矩。
矩估计
矩的概念
详情见附加笔记第(1)点
样本矩、样本均值、样本方差的概念
详情见附加笔记第(2)点
矩估计实现原理
矩估计的原理总结来讲为：令总体矩的k阶矩分别等于样本的k阶矩即可，至于到底会涉及到k是多大就要看你要估计的总体中包含几个未知参数了，包含几个k就应该是几。
通俗的讲，为什么k阶样本矩分别等于k阶总体矩就能算出总体的参数，原因在于，样本中的期望和方差是我们可以直观计算出来的常数，而总体的期望和方差是带有未知参数的，两者分别相等能够联立出等式计算出未知参数。
一个简单的例子
详情见附加笔记第(3)点
关于样本均值、样本方差、总体均值、总体方差的符号说明
详情见附加笔记第(4)点
矩估计的优缺点
优点：在不清楚总体分布具体属于什么分布的情况下，只需要根据均值和方差进行估计即可。
缺点：如果在总体分布已知的情况下，并不能很好的使用对应分布类型的信息，因为矩估计根本就不看重总体分布到底属于那种类型。
关于样本方差公式中除以n-1而不是n的思考
这样做的目的纯粹是为了保证能够无偏估计参数
无偏估计的概念
用样本统计量来估计总体参数时的一种无偏判断，如果估计量的数学期望等于被估参数的真实值，则称此估计量为被估参数的无偏估计。
对样本方差中除以n-1原因的探讨
详情见附加笔记第(5)点
附加笔记
参考文献
- http://blog.csdn.net/liuyuemaicha/article/details/52497512
- http://www.cnblogs.com/tangchong/p/3157710.html
- http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html
- https://wenku.baidu.com/view/8ef4d699dd3383c4bb4cd2c8.html
- https://www.zhihu.com/question/23340486
- https://www.zhihu.com/question/38185998
- https://www.zhihu.com/question/20099757/answer/26586088
机器学习总结(三)：矩估计相关推荐
- 机器学习笔记1.矩估计、极大似然估计。
1.矩估计 1.1矩估计思想: 矩估计是基于一种简单的"替换"思想,即用样本矩估计总体矩 1.2矩估计理论: 矩估计的理论依据就是基于大数定律的,大数定律语言化表述为:当总体的k阶 ...
- 机器学习中的数学——点估计（二）：矩估计
分类目录:<机器学习中的数学>总目录 相关文章: · 点估计(一):基础知识 · 点估计(二):矩估计 · 点估计(三):极大似然估计/最大似然估计(Maximum Likelihood ...
- 机器学习数学笔记|大数定理中心极限定理矩估计
机器学习数学笔记|大数定理中心极限定理矩估计 觉得有用的话,欢迎一起讨论相互学习~ 本博客为七月在线邹博老师机器学习数学课程学习笔记 为七月在线打call!! 课程传送门 概率密度/概率分布函数 概率 ...
- 机器学习中的数学-矩估计
原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记 一. 样本的统计量 二. 矩估计 2.1 矩估计定义 矩估计的原理即是假设样本的K阶矩等于总体的K阶矩,可以估计出总体的 ...
- 统计知识基础（三）常用构造估计量的两种方法——矩估计、最大似然估计
矩估计法 矩估计法的定义 矩估计法是用样本kkk阶矩作为总体的kkk阶矩的估计量,建立含待估计参数的方程,从而解出带估计参数.矩估计中,总体均值与方差的矩估计量的表达式不因不同的总体分布而异.通俗的讲 ...
- 极大似然估计_一文读懂矩估计，极大似然估计和贝叶斯估计
概率论和数理统计是机器学习重要的数学基础. 概率论的核心是已知分布求概率,数理统计则是已知样本估整体. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 数理统计最常见的 ...
- 一文读懂矩估计、极大似然估计和贝叶斯估计
概率论和数理统计是机器学习重要的数学基础. 概率论的核心是已知分布求概率,数理统计则是已知样本估整体. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 数理统计最常见的 ...
- 参数估计：极大似然估计、矩估计的基本概念及应用方法
来源:首席数据科学家 今天分享一下关于参数估计的基本概念.尤其是极大似然估计,有着重要的应用. 01 - 参数估计的定义 首先,什么是参数估计呢? 之前我们其实已经了解到很多种分布类型了,比如正态分布 ...
- ML 03、机器学习的三要素
FROM: http://www.cnblogs.com/ronny/p/4062792.html 机器学习算法原理.实现与实践--机器学习的三要素 1 模型 在监督学习中,模型就是所要学习的条件概率 ...
最新文章
- python3 判断进程是否存在
- 皮一皮：中国好男友？
- golang interface的使用和实现（翻译整理）
- python通用爬虫和聚焦爬虫的区别
- 学习笔记：2019 张小龙在微信公开课上的演讲
- Python中的文件复制
- WINDOWS2008网络负载平衡群集(NLB)完全攻略
- mysql搜索结果去重_MySQL去除查询结果重复
- 操作系统_图解deepin操作系统安装，体验定制版的国产操作系统
- 二维树状数组的区间加减及查询 tyvj 1716 上帝造题的七分钟
- python安装包下载
- 华南农业大学计算机科学与技术专业,华南农业大学住宿
- css让文本不会被选中，鼠标变小手
- matlab2014的m文件画波形,matlab绘制波形图
- qq、微信能打开，网页打不开的解决办法。
- Modern UI for WPF的使用
- Windows驱动的加载顺序
- 魅族的usb计算机连接无法使用,魅族16怎么连接电脑 魅族手机连接电脑无法识别...
- 电机或编码器相关的 CW 与 CCW
- 免费顶级域名TK介绍