《概率论》：最大似然估计 和 求法
2021.09.21
主要参考小崔老师：https://www.bilibili.com/video/BV1Hb4y1m7rE
《概率论》：最大似然估计 和 求法
视频地址：https://www.bilibili.com/video/BV1KL4y187jV/
1. 最大似然估计思路
从样本情况推测自然界概率模型，到底自然界真实情况是不是这样？不好说，不一定。
2. 方法
- 第一步：自然界模型中，我们假设，抽中1的概率θ\thetaθ,抽2的概率(1−θ)(1-\theta)(1−θ),但θ\thetaθ到底多少不知道。
- 第二步：那么我从大数据中抽了五个球，因为数据样本非常大，所以不考虑排列，如图①①②①②概率是 L(θ)=θ3(1−θ)2L(\theta)=\theta^3(1-\theta)^2L(θ)=θ3(1−θ)2
【杨哥讲解】
其实自然界 到底什么样的θ\thetaθ都是有可能的，θ=0.1\theta=0.1θ=0.1，有可能抽出这样的样本；θ=0.5\theta=0.5θ=0.5也能抽出这样的样本，无非抽出的概率不同。
最大似然估计法，就是认为，我们抽出来这样的样本，那么我就认为这种情况是最经常发生的。也就是让L(θ)=θ3(1−θ)2L(\theta)=\theta^3(1-\theta)^2L(θ)=θ3(1−θ)2取最大，我们认为这时候的θ\thetaθ就是自然界的θ\thetaθ。
- 第三步：求 L(θ)L(\theta)L(θ)最大值，一般转换成求 -lnL(θ)L(\theta)L(θ)最小值
【杨哥讲解】
- 取对数不改变函数单调性，又能很好地换减运算：① 将指数换成系数；②将联乘变成了连加
这里我认为讲的有点小问题，要加负号最小，所以一阶导=0，虽然不影响结果，但这样逻辑上才合适
- 第四步：我们认为的大数据最终概率分布是这样的
但，大数据里真的是这样么？
3.思考
我们用李宏毅《机器学习》里面的一个例子，来看一个有趣的现象。
我们真实情况下有1类一个，2,3,4类 各4个，现在通过这种抽样的思路来对测试数据进行分类（c1是class 1,C2 不是class2），看看它在属于1类的的概率。
计算的情况是 训练数据 是C1类的概率<0.5
但人眼一眼就看出，它就是Class1
所以最大似然估计，是通过 统计学来假设样本存在概率的 ，和真实情况有可能非常接近，有可能有一定差距。换句话说就是 ，此算法有时候具有优势，有时候并不特别准确。
《概率论》：最大似然估计 和 求法相关推荐
- 最大似然估计学习总结
1. 作用 在已知试验结果(即是样本)的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数作为真实的参数估计. 2. 离散型 设为离散型随机变量,为多维参数向量,如果随机变量相互独立且概率 ...
- 最大似然估计总结笔记
最大似然估计学习总结------MadTurtle 1. 作用 在已知试验结果(即是样本)的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数作为真实的参数估计. 2. 离散型 设为离散型 ...
- 最大似然估计 高斯分布
极大似然估计法是求估计的另一种方法.它最早由高斯提出.后来为费歇在1912年的文章中重新提出,并且证明了这个方法的一些性质.极大似然估计这一名称也是费歇给的.这是一种上前仍然得到广泛应用的方法.它是建 ...
- 【最大似然估计】详解概率论之最大似然估计
本文收录于<深入浅出讲解自然语言处理>专栏,此专栏聚焦于自然语言处理领域的各大经典算法,将持续更新,欢迎大家订阅! 个人主页:有梦想的程序星空 个人介绍:小编是人工智能领域硕士,全 ...
- 最小二乘与最大似然估计之间的关系
最小二乘与最大似然估计之间的关系 1.结论 测量误差(测量)服从高斯分布的情况下, 最小二乘法等价于极大似然估计. 2.最大似然估计概念 最大似然估计就是通过求解最大的(1)式得到可能性最 ...
- 回归算法 - 线性回归求解 θ（最大似然估计求解）
回顾线性回归的公式:θ是系数,X是特征,h(x) 是预测值. h(x) = θ0 + θ1x1 + θ2x2 + - + θnxn h(x) = Σ θixi( i=0~n ) h(x) = θTX ...
- 独家 | 一文读懂最大似然估计(附R代码)
作者:阿尼·辛格 翻译: 陈之炎 校对:丁楠雅 本文约4200字,建议阅读10+分钟. 本文将研究MLE是如何工作的,以及它如何用于确定具有任何分布的模型的系数. 简介 解释模型如何工作是数据科学中最 ...
- 【机器学习算法-python实现】最大似然估计(Maximum Likelihood)
1.背景 最大似然估计是概率论中常常涉及到的一种统计方法.大体的思想是,在知道概率密度f的前提下,我们进行一次采样,就可以根据f来计算这个采样实现的可能性.当然最大似然可以有很多变化,这里实现一种简单 ...
- 最大似然估计（MLE：样本观测总体参数）是如何工作的？
1. MLE的意义:样本估计总体分布参数 假定一个事件的观测样本服从如下分布,我们如何确定总体数据的分布模型? 首先应该想到是建立线性回归模型,然而由于该变量不是正态分布的,而且是不对称的,因此不符合 ...
最新文章
- 空间点像素索引（三）
- 在origin 2018中同时画两个图，带errorbar和不带errorbar两种情况
- Arthas watch 命令使用指南
- 中国汽车行业节能减排行业全景调研规划及投资投资战略咨询研究报告2022-2028年版
- centos查看当前目录文件夹的大小与tar解压到指定目录
- 微软修复工具_微软正在推出更新以修复此前被发现的Windows 10 SFC问题
- 远程控制python
- realme曝光全球首张6400万像素样张 大家品一品？
- [转载] Python: struct 模块之字节对齐问题
- 基金境外设立子公司将迎新规 监管给出24个月过渡期
- 查看linux系统端口占用情况
- 微信转发别人语音的方法
- 9 个出色的 JavaScript 库推荐【云图智联】
- 163邮箱登录界面在哪里？如何登陆163邮箱呢？邮箱163格式怎么写
- linux查看占用负载的程序,Linux中查看负载
- 项目实战：如何制作报表？
- java代码实现短信接受验证码
- 训练孩子思维能力的几种方法
- python300行代码_Python：游戏：300行代码实现俄罗斯方块
- 数据分析案例-往届世界杯数据可视化