似然函数取对数的原因
不仅仅是减少计算量
在计算一个独立同分布数据集的联合概率时,如:
X={x1,x2,…,xN}X={x1,x2,…,xN}
其联合概率是每个数据点概率的连乘:
p(X∣Θ)=∏i=1Np(xi∣Θ)p(X∣Θ)=∏i=1Np(xi∣Θ)
两边取对数则可以将连乘化为连加
lnp(X∣Θ)=∑i=1Nlnp(xi∣Θ)lnp(X∣Θ)=∑i=1Nlnp(xi∣Θ)
乘法变成加法,从而减少了计算量;同时,如果概率中含有指数项,如高斯分布,能把指数项也化为求和形式,进一步减少计算量;另外,在对联合概率求导时,和的形式会比积的形式更方便。
但其实可能更重要的一点是,因为概率值都在[0,1]之间,因此,概率的连乘将会变成一个很小的值,可能会引起浮点数下溢,尤其是当数据集很大的时候,联合概率会趋向于0,非常不利于之后的计算。
取对数不影响单调性
p(x∣Θ1)>p(x∣Θ2)⇔lnp(x∣Θ1)>lnp(x∣Θ2)p(x∣Θ1)>p(x∣Θ2)⇔lnp(x∣Θ1)>lnp(x∣Θ2)
因为相同的单调性,它确保了概率的最大对数值出现在与原始概率函数相同的点上。因此,可以用更简单的对数似然来代替原来的似然。
Reference:Why we consider log likelihood instead of Likelihood in Gaussian Distribution
似然函数取对数的原因相关推荐
- 极大似然函数取对数的原因
极大似然函数取对数的原因 1. 减少计算量 2. 利于结果更好的计算 3. 取对数并不影响最后结果的单调性 1. 减少计算量 2. 利于结果更好的计算 但其实可能更重要的⼀点是,因为概率值都在[0,1 ...
- 最大似然法、似然函数及对数似然函数
似然函数 统计学中,似然函数是一种关于统计模型参数的函数.表示模型参数中的似然性. 定义:给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率: 其中,小x是指联合样 ...
- 回归分析什么时候取对数_在线性回归中,什么时候使用自变量的对数代替实际值合适?...
我总是告诉学生,采用自然对数来转换变量的三个原因.记录变量的原因将决定您是要记录独立变量还是因变量或两者.为了清楚起见,我正在谈论采用自然对数. 首先,如其他海报所指出的那样,提高模型拟合度.例如,如 ...
- 挂代理无法访问网页了怎么办_搜索引擎蜘蛛不能爬取网页的原因有哪些
我们在进行网站seo优化过程中进行seo诊断时,有时候会发现这样一个问题,有些网站优质内容,用户可以正常的访问,但是搜索引擎蜘蛛却无法访问,并无法进行抓取.如果网站中存在着很多这种情况,就有可能被搜索 ...
- hdu 1568 (log取对数 / Fib数通项公式)
2007年到来了.经过2006年一年的修炼,数学神童zouyu终于把0到100000000的Fibonacci数列 (f[0]=0,f[1]=1;f[i] = f[i-1]+f[i-2](i>= ...
- maven不能拉取私服的原因
maven不能拉取私服的原因 <mirror><id>aliyunmaven</id><mirrorOf>*</mirrorOf><n ...
- python 怎么取对数_概率矩阵分解(PMF)及MovieLens上的Python代码
首先对Probabilistic Matrix Factorization这篇论文的核心公式进行讲解和推导:然后用Python代码在Movielens数据集上进行测试实验. 一. 背景知识 文中作者提 ...
- 【HDU -1568】 Fibonacci(斐波那契通项公式+取对数)
Fibonacci Problem Description 2007年到来了.经过2006年一年的修炼,数学神童zouyu终于把0到100000000的Fibonacci数列 (f[0]=0,f[1] ...
- http下载异常_百度网站抓取异常的原因有哪些?有什么影响和解决方法?
大纲如下:1.抓取异常是什么?百度抓取异常又是什么?2.百度抓取异常的原因有哪些?3.网站抓取异常的原因有哪些?4.百度抓取异常对网站有什么影响?5.网站出现抓取异常的解决方法抓取异常是什么?百度抓取 ...
最新文章
- 16Adapter(适配器)模式
- python按时间排序 文件
- optee中utee syscall的实现(系统调用实现)
- tensorflow实现手写数字识别(MNIST)
- ITK:计算灰度图像的梯度幅度
- java北大青鸟试题_10个常见2020春招Java面试题及注意事项!
- 服务器运行程序 网络错误怎么办,网站出现:ldquo;/rdquo;应用程序中的服务器错误。该如何解决?_已解决 - 阿里巴巴生意经...
- Win11 不支持移动任务栏位置;苹果将推出更大尺寸的 iPad Pro;iOS 15 更新 Beta2 版本|极客头条...
- java常用设计模式及其使用场景
- ovito在linux下安装教程,linux下超详细教程安装phonopy
- Android获取外网和内网ip地址
- 异数OS 开启5G时代应用服务器大门
- 通过vdi备份linux,Linux_Ubuntu下VirtualBox的vdi文件克隆方法,使用VirtualBox时遇到一个问题, - phpStudy...
- k8s 配置存储之 Configmap secret
- java秀恩爱代码_Android表白秀恩爱源码
- H5页面的测试点整理
- R语言,一行代码实现高大上的“高考文字云”(附完整教程)
- Mysql数据库备份恢复
- 计算机实时控制和过程控制,实时控制程序
- LinkList *L和 LinkList *L和LinkList *L
热门文章
- vue项目配置nginx页面跳转正常,接口报200,但是没数据(很抱歉,如果没有启用JavaScript,XXX无法正常工作)
- 汽车改装贴膜小程序开发制作功能介绍
- [CUPT]国一博主, 教你求解95%以上的方程(数值解)
- 美国看牙尴尬记:深度洗牙+补牙+拔牙
- solr之模糊搜索(Fuzzy matching)
- 2021/03/27 K8S集群日志与监控
- CSRF Token has been associated to this client
- 阿里云服务器ECS的用途有哪些?
- 工具 网络游戏封包基础
- qt网络编程之使用cookie和ssl