极大似然估计_一文读懂矩估计,极大似然估计和贝叶斯估计
![](/assets/blank.gif)
概率论和数理统计是机器学习重要的数学基础。
概率论的核心是已知分布求概率,数理统计则是已知样本估整体。
概率论和数理统计是互逆的过程。概率论可以看成是由因推果,数理统计则是由果溯因。
数理统计最常见的问题包括参数估计,假设检验和回归分析。
所谓参数估计,就是已知随机变量服从某个分布规律,但是概率分布函数的有些参数未知,那么可以通过随机变量的采样样本来估计相应参数。
参数估计最主要的方法包括矩估计法,极大似然估计法,以及贝叶斯估计法。
机器学习中常常使用的是极大似然估计法和贝叶斯估计法。
一,矩估计法
矩估计的基本思想是用样本的k阶矩作为总体的k阶矩的估计量,从而解出未知参数。
例如
对
试估计参数
解:用样本的一阶距估计总体的一阶距,用样本的二阶中心距估计总体的二阶中心距。
可以得到:
对
无偏估计是
二,极大似然估计法
极大似然估计法简称MLE(Maximum Likelihood Estimation).
极大似然估计法先代入参数值计算观测样本发生的概率,得到似然函数,然后对似然函数求极大值,得到对应的参数,即为极大似然估计参数。
对于离散随机变量X,N次采样得到样本结果为
对于连续随机变量X,如果其概率密度函数为
那么N次采样得到样本结果为
为了便于计算方便,可以构造对数似然函数为
对数似然函数取极大值时,有
求解该方程可以得到
例如
对
试估计参数
解:
正态分布的概率密度函数为
对应的对数似然函数为
对数似然函数取极大值时,有
解得
三,贝叶斯估计法
贝叶斯估计也叫做最大后验概率估计法,简称MAP(Maximum A Posterior)。
可以认为极大似然估计是贝叶斯估计不考虑先验概率的特例。
在概率论中有两大学派,频率学派和贝叶斯学派。
频率学派认为随机变量服从特定的统计分布规律,分布函数的参数是确定的数,可以通过抽样来估计。
和频率学派不同,贝叶斯学派认为一切皆为随机变量,随机变量的分布函数的参数也是随机变量,对其进行抽样估计时还必须考虑参数的先验分布。
在贝叶斯学派中,似然函数被理解为
而
贝叶斯估计的想法是最大化
当不考虑先验概率
由于在实践中,先验概率
在机器学习中,有一种和引入先验概率等效的做法,那就是在目标函数(相当于对数似然函数)后面加入正则化项。
如果加入的是L1正则化,相当于假设了参数的先验分布符合双指数分布,而如果引入了L2正则化,相当于假设了参数的先验分布符合正态分布。
在机器学习中,经验风险最小化和极大似然估计对应,结构风险最小化和贝叶斯估计对应。
极大似然估计_一文读懂矩估计,极大似然估计和贝叶斯估计相关推荐
- 一文读懂矩估计、极大似然估计和贝叶斯估计
概率论和数理统计是机器学习重要的数学基础. 概率论的核心是已知分布求概率,数理统计则是已知样本估整体. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 数理统计最常见的 ...
- psm倾向得分匹配法举例_一文读懂倾向得分匹配法(PSM)举例及stata实现(一)
原标题:一文读懂倾向得分匹配法(PSM)举例及stata实现(一) 一.倾向匹配得分应用之培训对工资的效应 政策背景:国家支持工作示范项目( National Supported Work,NSW ) ...
- java中date类型如何赋值_一文读懂java中的Reference和引用类型
简介 java中有值类型也有引用类型,引用类型一般是针对于java中对象来说的,今天介绍一下java中的引用类型.java为引用类型专门定义了一个类叫做Reference.Reference是跟jav ...
- python输入什么就输出什么_一文读懂Python的输入和输出
本文介绍了Python的输入和输出,既然是Python代码,那么就一定有输出量,那么,Python是如何输出的呢? 输出 用print()在括号中加上字符串,就可以向屏幕上输出指定的文字.比如输出'h ...
- gps导航原理与应用_一文读懂角速度传感器(陀螺仪)的应用场景
前文我们大致了解陀螺仪的来历,原理和种类,那么,它与我们的日常生活有怎样的关系呢? 陀螺仪器最早是用于航海导航,但随着科学技术的发展,它在航空和航天事业中也得到广泛的应用.陀螺仪器不仅可以作为指示仪表 ...
- hdfs读写流程_一文读懂HDFS分布式存储框架分析
一文读懂HDFS分布式存储框架分析 HDFS是一套基于区块链技术的个人的数据存储系统,利用无处不在的私人PC存储空间及便捷的网络为个人提供数据加密存储服务,将闲置的存储空间利用起来,服务于正处于爆发期 ...
- mysql 默认事务隔离级别_一文读懂MySQL的事务隔离级别及MVCC机制
回顾前文: <一文学会MySQL的explain工具> <一文读懂MySQL的索引结构及查询优化> (同时再次强调,这几篇关于MySQL的探究都是基于5.7版本,相关总结与结论 ...
- stata 求输出相关系数矩阵命令_一文读懂结果输出命令大全(上)
目录 描述统计量 help tabstat //Stata 官方命令 描述统计量组间均值差异检验 help ttest help ttable2 help estout 相关分析命令 help p ...
- 超融合和服务器关系_一文读懂超融合服务器
原标题:一文读懂超融合服务器 1.什么叫超融合服务器 融合基础架构(Hyper-Converged Infrastructure)是一种集成了虚拟计算资源和存储设备的信息基础架构.在这样的架构环境中, ...
最新文章
- 从通用到专用,5G时代IP核的新故事
- iOS开发网络篇—多线程断点下载
- 组建核心团队时的困惑
- 数字新消费重塑新中部,岳麓峰会再汇“长沙内能”
- numpy 平方_NumPy入门指南
- [渝粤教育] 郑州航空工业管理学院 航空概论 参考 资料
- 苹果cmsV10仿哈哩哈哩动漫自适应模板
- python实现希尔排序(已编程实现)
- Java2实用教程(第6版)实验指导与习题解答
- 新书推荐 | Java核心技术卷Ⅰ:基础知识(原书第11版)
- 计算机科学与技术的学士服是什么颜色的,学士服颜色分类 各色学士服都有什么讲究...
- 揭开神秘的莫比乌斯环异形创意LED显示屏的柔性显示之美。
- 碧蓝航线内部表情包(有爱自取)
- [重庆思庄每日技术分享]-oracle11g到ORACLE 816的dblink访问报 ORA-03150错误
- NuSences 数据集解析以及 nuScenes devkit 的使用
- 微软文字转语音工具(在线版)
- python 写出好看且实用的后台管理-django 后台管理美化
- ESB和SOA到底是什么?
- 关于opencv更改摄像头参数(帧率,分辨率,曝光度……)的几个问题
- python数据分析vip班级笔记
热门文章
- c语言中1%100是什么意思,**************
- c++实现rsa算法_RSA简介
- html5 drawimage参数,HTML canvas
- 无心剑中译丁尼生《磨坊主千金》
- 安卓学习笔记19:常用控件 - 单选按钮和复选框
- win10无线投屏_如何实现win10无线投屏电视?电脑投屏电视的办法介绍
- bzoj1951 [Sdoi2010]古代猪文 lucas+CRT+exgcd
- 2017.10.2 loli测试
- 【英语学习】【English L06】U08 News L2 Have you read the news about the light show?
- 【英语学习】【WOTD】decoct 释义/词源/示例