1. 极大似然与最大概率

　　因为不是科班出身，所以最初接触极大似然的时候，总是很奇怪为什么叫极大似然，而不直接叫做最大概率？

　　后来才知道极大似然是用来估计未知参数的，而最大概率的表述更适合于已知参数的情况下，求解出现最大概率的变量的，举例如下：

　　Max L(θ) = θ1x1+θ2x2+θ3x3

　　Max P(x) = θ1x1+θ2x2+θ3x3

　　Max L(θ)是拥有多组观测样本X时，估计θ参数的方法，而Max P(x)正好相反，是已知θ时，求解什么样的x出现会使得P最大。

2.  极大似然与无监督

　　弄懂了第一点后，再来看看极大似然与无监督有什么关系。

　　这里的无监督即指机器学习中的无监督学习方法，例如我们知道了一组变量X服从高斯分布(正态分布)，那么怎么预估高斯分布中的参数μ和σ呢？

　　例如：某学校学生的“身高”服从高斯分布，越矮越少，越高也越少，只有中间最多，还有考试成绩往往也符合高斯分布，中间居多，两边偏少，但是我们并不知道μ和σ是多少，也就没法构造出整体分布函数到底是怎么样的，那如果某个学生问班主任老师我的成绩大概排在全省的什么位置？

　　班主任只知道学校的样本，并不清楚全省所有人都考得怎么样，但是他知道无论是学校的成绩还是全省的成绩都符合高斯分布，现在怎么预估出这个高斯分布呢？

　　由于班主任老师是数学老师，他很快就想到了解决办法，他利用已有的样本X去预估高斯分布的参数μ和σ！

　　用的就是极大似然估计——Max L(μ, σ)，因为已经知道了本校成绩x，所以当这些成绩出现的可能性最大时，就是成绩x最可能吻合的那个正态分布，这样也就找到了未知参数μ和σ。

　　其实这就是求无监督机器学习方法的一种方式，与求解机器学习模型时的“解析解”的概念十分相似，但是解析解是一般是在决策函数是线性函数时出现的，而这里使用的模型显然是概率模型，所以用了极大似然的方法。

　　回到成绩分布的问题，假设机器学习任务就是要学习考试成绩的高斯分布函数的参数，而且只有变量即观测样本，而没有观测值——也就是代入变量到高斯分布里的结果，在这个例子里是一个概率值，这个概率值可以等同于学生成绩所处的分布位置。

　　总结以上，当我们只有部分样本的观测值，而没有标注结果，且知道假设分布函数的情况下，可以用极大似然估计的方式估计出在这组观测值下假设分布函数的最佳参数。

　　

相关资料：

　　最大似然估计正态分布：http://www.dwz.cn/v25v2

　　最大似然估计法：http://blog.sciencenet.cn/home.php?mod=space&uid=491809&do=blog&id=400893

转载请注明引用自：

　　http://www.cnblogs.com/breakthings/p/4058543.html

转载于:https://www.cnblogs.com/breakthings/p/4058543.html

极大似然估计(Maximum Likelihood)与无监督相关推荐

  1. 极大似然估计 —— Maximum Likelihood Estimation

    1 引入 机器学习中,经常会遇到极大似然估计 (Maximum Likelihood Estimation, MLE) 这个名词,它的含义是什么?它能够解决什么问题?我们该如何理解并使用它?本篇就对此 ...

  2. 【机器学习算法-python实现】最大似然估计(Maximum Likelihood)

    1.背景 最大似然估计是概率论中常常涉及到的一种统计方法.大体的思想是,在知道概率密度f的前提下,我们进行一次采样,就可以根据f来计算这个采样实现的可能性.当然最大似然可以有很多变化,这里实现一种简单 ...

  3. 最大似然估计(Maximum likelihood estimation）

    最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:"模型已定,参数未知",利用已知样本结果(统计概率)反推最有可能导致这样结果的参数值.简单而言,假设我们要统计全国人口的 ...

  4. 最大似然估计(Maximum likelihood estimation)(通过例子理解)

    之前看书上的一直不理解到底什么是似然,最后还是查了好几篇文章后才明白,现在我来总结一下吧,要想看懂最大似然估计,首先我们要理解什么是似然,不然对我来说不理解似然,我就一直在困惑最大似然估计到底要求的是 ...

  5. 极大似然估计_计量经济学 | 极大似然估计

    写在前面:本文写作于被新冠病毒 (COVID-19) 笼罩下的英国.前段时间本人的恩师.苏格兰老爷爷.英国伯明翰大学Emeritus讲席教授Peter Sinclair确诊新冠病毒,实乃不幸.在此祝P ...

  6. 极大似然估计（Maximum Likelihood Estimattion Theory）是什么？极大似然估计的本质思想是什么？为什么极大似然可以作为损失函数使用？负对数似然损失函数（Negative

    极大似然估计(Maximum Likelihood Estimattion Theory)是什么?极大似然估计的本质思想是什么?为什么极大似然可以作为损失函数使用?负对数似然损失函数(Negative ...

  7. 机器学习基础：最大似然（Maximum Likelihood） 和最大后验估计 （Maximum A Posteriori Estimation）的区别

    前言 在研究SoftMax交叉熵损失函数(Cross Entropy Loss Function)的时候,一种方法是从概率的角度来解释softmax cross entropy loss functi ...

  8. 极大似然估计（Maximum likelihood estimation，MLE）：用样本估计总体参数

    1 基本概念回顾 边缘概率.联合概率和条件概率的基本概念. 1.1 定义 边缘概率(Marginal Probability):可以简单理解为单一事件发生的概率.如果A是一个事件,且事件A发生的概率为 ...

  9. Maximum Likelihood Method极大似然估计的朴素理解

    最大似然法,英文名称是Maximum Likelihood Method,在统计中应用很广.这个方法的思想最早由高斯提出来,后来由菲舍加以推广并命名. 最大似然法是要解决这样一个问题:给定一组数据和一 ...

最新文章

  1. Python实现进程同步和通信
  2. mysql补充（3）优化sql语句查询常用的30种方法
  3. PAT甲级1020 Tree Traversals：[C++题解]树的遍历、由中序序列和后序序列递归建树
  4. Leetcode 23 合并k个升序链表 (每日一题 20210722)
  5. nginx和apache的伪静态区别
  6. CodeSmith--SchemaExplorer类结构详细介绍
  7. android中requestFocus 以及与setFocusable的区别
  8. Springboot02配制jsp
  9. flink 任务执行类的加载
  10. Random()种子数
  11. Qt QJsonObject QString QJsonArray 互转
  12. 细数魔兽争霸作弊工具排行
  13. 最新资料！工银亚洲开户见证业务受理网点（深圳地区）
  14. Static Asynchronous Component Misuse Detection for Android Applications
  15. 接受数据的php文件源码,PHP文件上传源码分析(RFC1867)
  16. cad2012打开后闪退_为什么CAD2012一打开就闪退啊。求大神解答
  17. VMware16虚拟机安装
  18. MOSS 学习的比较好的网
  19. 网易2017笔试题-日记的颜色
  20. 剑指offer编程题（JAVA实现)——第38题：二叉树的深度

热门文章

  1. jquery选择器：第一个子元素
  2. mysql 使用 utf8mb4 编码
  3. Tomcat SSL/HTTPS 单向认证
  4. HTML5数据库建模,HTML5的五种客户端离线存储方案
  5. js的this与java的区别_JavaScirpt(JS)的this细究
  6. python函数和方法概念_第48p，什么是函数？，Python中函数的定义
  7. 告别加班：一个让你不再重复工作的技能
  8. CTO 太水！犯了低级错误，还删除代码隐藏证据！
  9. 发现一个木马，竟然偷传我珍藏几十G的视频！
  10. 磁盘里竟然还有这个东西！多亏这个1.5M大小的神器工具发现了它