LR为什么用极大似然估计,损失函数为什么是log损失函数(交叉熵)
首先,逻辑回归是一个概率模型,不管x取什么值,最后模型的输出也是固定在(0,1)之间,这样就可以代表x取某个值时y是1的概率
这里边的参数就是θ,我们估计参数的时候常用的就是极大似然估计,为什么呢?可以这么考虑
比如有n个x,xi对应yi=1的概率是pi,yi=0的概率是1-pi,当参数θ取什么值最合适呢,可以考虑
n个x中对应k个1,和(n-k)个0(这里k个取1的样本是确定的,这里就假设前k个是1,后边的是0.平时训练模型拿到的样本也是确定的,如果不确定还要排列组合)
则(p1*p2*...*pk)*(1-pk+1)*(1-pk+2)*...*(1-pn)最大时,θ是最合适的。联合概率最大嘛,就是总体猜的最准,就是尽可能使机器学习中所有样本预测到对应分类得概率整体最大化。
其实上边的算式就是极大似然估计的算式:
对应到LR中:
总之就是因为LR是概率模型,对概率模型估计参数用极大似然,原理上边说了
然后为什么用logloss作为cost function呢
主要的原因就是因为似然函数的本质和损失函数本质的关系
对数似然函数:
可以看到对数似然函数和交叉熵函数在二分类的情况下形式是几乎一样的,可以说最小化交叉熵的本质就是对数似然函数的最大化。
对数似然函数的本质就是衡量在某个参数下,整体的估计和真实情况一样的概率,越大代表越相近
而损失函数的本质就是衡量预测值和真实值之间的差距,越大代表越不相近。
他们两个是相反的一个关系,至于损失函数的惩罚程度,可以用参数修正,我们这里不考虑。
所以在对数似然前边加一个负号代表相反,这样就把对数似然转化成了一个损失函数,然后把y取0和1的情况分开(写成分段函数),就是:
意义就是:当y=1时,h=1时没有损失,h越趋近0损失越大
当y=0时,h=0没有损失,h越趋近1损失越大。
转载于:https://www.cnblogs.com/hum0ro/p/10243115.html
LR为什么用极大似然估计,损失函数为什么是log损失函数(交叉熵)相关推荐
- 逻辑回归(Logistic Regression)原理及损失函数、极大似然估计
一.什么是逻辑回归 虽然名字是"回归",但解决的是"分类"问题. 模型学习的是E[y∣x;θ]E[y|x;\theta]E[y∣x;θ],即给定自变量和超参数后 ...
- 千字讲解极大似然估计
上周有读者私信我说,面试被问到了极大似然估计没回答出来,虽然网上有很多讲解,但是不大能看得懂,而且有一些疑问没有解释清楚.经过一周的撰写,今天困哥就专门整理了一篇数千字的文章,来详细介绍一下极大似然估 ...
- 极大似然估计_计量经济学 | 极大似然估计
写在前面:本文写作于被新冠病毒 (COVID-19) 笼罩下的英国.前段时间本人的恩师.苏格兰老爷爷.英国伯明翰大学Emeritus讲席教授Peter Sinclair确诊新冠病毒,实乃不幸.在此祝P ...
- 什么是极大似然估计?
● 每周一言 坚持一定是有毅力,但有毅力不一定能坚持. 导语 统计学中,我们经常能听到极大似然估计,或者最大似然估计,它是一种参数估计方法.在机器学习中,逻辑回归就是基于极大似然估计来计算的损失函数. ...
- 逻辑回归_极大似然估计
二.逻辑回归原理 逻辑回归又叫对数几率回归,是一种广义的线性回归分析模型.虽然名字里有回归,但其实是分类模型,常用于二分类. 1.什么是逻辑回归 由于逻辑回归的原理是用逻辑函数把线性回归的结果 ...
- 透彻理解机器学习中极大似然估计MLE的原理(附3D可视化代码)
文章目录 相关资料 一.什么是概率,什么是似然 二.极大似然估计 Maximum Likelihood Estimation (MLE) 的含义 2.1 机器学习中的极大化似然函数 2.2 极大似然估 ...
- 一文看懂 “极大似然估计” 与 “最大后验估计” —— 极大似然估计篇
参考: 唐宇迪<人工智能数学基础>第8章 Richard O. Duda <模式分类>第三章 白板机器学习 P2 - 频率派 vs 贝叶斯派 频率学派还是贝叶斯学派?聊一聊机器 ...
- 最小二乘与极大似然估计
两者思想的差异 最小二乘估计与极大似然估计都是用来样本值来估计真实值的,之所以需要估计,是因为用数学量化真实世界事物关系时总是存在误差. 我们尽管痛苦的承认了有不能解释的误差,但是我们依然想尽可能的让 ...
- 参数估计、点估计、极大似然估计
快速了解: 参数估计,估计的是随机变量分布的参数.可以先去博主的另一篇文章了解随机变量及其分布. 所谓分布的参数,例如正态分布XXX~N(u,σ2)N(u,\sigma^2)N(u,σ2),u,σu, ...
最新文章
- 蚂蚁金服-支付风险识别亚军方案!
- Android HTTP2 + Oauth2 + Jwt 接口认证实例
- 外包网络推广公司探索出高排名网站优化的技巧!
- Python的第一个程序 Hello world
- Stream filter过滤案例
- java经典密码算法,浅析五种最常用的Java加密算法,以后可以直接拿来用了
- linux创建网络ntfs接点,Linux系统下挂接ntfs盘时总提示module fuse not found如何解决?...
- Linux日志管理五大命令详解
- QByteArray使用方法举例
- Xen Server 7.0 一直无法退出维护模式
- 二分查找 python实现
- 1解锁方式9008_黔隆科技刷机教程金立E7忘记密码刷机解锁降级救砖解屏幕锁账户锁教程...
- 如何修改UG标题文字
- 超级计算机x5670,x5670相当于什么cpu
- 听《正面管教》,论如何教育孩子
- 一些服务器常见漏洞的修复方法
- python爬虫从入门到放弃,含案例分析,超详细讲解(一)
- 如何删除WhatsApp消息
- 陈天奇:机器学习科研的十年
- Windows 下基于 MikTeX 的 Latex 环境配置小记
热门文章
- GPG96244QS1屏驱动难题
- linux下解包bin二进制文件_linux下如何使用docker二进制文件安装_docker离线安装
- 微电子科学与工程要学计算机吗,微电子科学与工程专业就业前景如何 有前途吗...
- python爬虫用什么软件写_python爬虫怎么写
- java swing进度条_Java Swing创建自定义闪屏:在闪屏上添加Swing进度条控件(转)
- LeetCode 1864. 构成交替字符串需要的最小交换次数
- LeetCode 1758. 生成交替二进制字符串的最少操作数(DP)
- LeetCode 1688. 比赛中的配对次数(模拟)
- 剑指Offer - 面试题18. 删除链表的节点
- LeetCode 970. 强整数