逻辑回归（LR实则分类）的损失函数

原文链接：https://blog.csdn.net/CTTACM/article/details/91472794

逻辑回归是在线性函数的基础上，经过激活函数后产生的0~1之间的概率值。
设x为特征向量，y为真实的标签。KaTeX parse error: Got function '\hat' with no arguments as superscript at position 11: yˆy^ \̲h̲a̲t̲ ̲yy^=1.x是负样本，似然函数也等于1，KaTeX parse error: Expected group after '\hat' at position 46: …oup after '\hat'̲ at end of inpu…=0.所以我们的目标就是要最大化似然函数。
以往的线性回归模型，使用的都是最小二乘法作为损失函数，大意就是用预测值与真实值的差作为评价模型好坏的标准。毕竟越好的模型预测的应该越准确嘛。
但这里却没用最小二乘作为损失函数，为什么呢？因为线性回归是回归问题，而逻辑回归虽然叫逻辑回归，实则确实分类问题。类别变量不同于连续变量，连续变量可以用差距衡量模型的好坏，分类问题却只是用数值代表类别，数值本身确实无意义的，比如用{0，1}表示的类别，用{1，2}也同样能够表示。经过学习我们知道，类别问题更应该用概率分布的角度衡量预测出的类别与真实类别的差距。
接着之前的讲，我们要好的模型，就要最大化似然函数。这里用一个小技巧，把似然函数两边取对数，得到对数似然函数，因为对数函数是单调递增的，所以最大化似然函数等价于最大化似然函数。

在讲这个对数似然函数之前，我们要提一下“损失函数”，损失函数：真实值-预测值=损失掉的值。机器学习中，总是希望损失函数的值越小越好。所以，我们希望最大化对数似然函数，就可以让损失函数等于负的对数似然函数，那么对数似然函数越大，损失函数不就越小了么。
上式中的大写L就是代表损失函数。
最大化似然函数也就是最小化损失函数。
对于m个样本的整个训练集，服从独立同分布的样本的联合概率（样本与样本没有关联）就是每个样本的概率的乘积：

同样的，最大化似然函数也就是最小化代价函数，因此可以去掉负号，并除以一个常数m对代价函数进行适当的缩放，得到：

参考：https://blog.csdn.net/weixin_41537599/article/details/80585201

                                </div><link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-60ecaf1f42.css" rel="stylesheet"></div>

逻辑回归（LR实则分类）的损失函数相关推荐

python机器学习案例系列教程——逻辑分类/逻辑回归LR/一般线性回归（softmax回归）
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程线性函数.线性回归参考:http://blog.csdn.net/luanpeng825485697/article/details ...
分类算法-逻辑回归与二分类
逻辑回归(Logistic Regression)是机器学习中的一种分类模型,逻辑回归是一种分类算法,虽然名字中带有回归,但是它与回归之间有一定的联系.由于算法的简单和高效,在实际中应用非常广泛. 1 ...
逻辑回归LR vs 支持向量机SVM
目录 LR vs SVM LR和SVM的相同点 LR和SVM的不同点逻辑回归LR LR损失函数 LR公式推导支持向量机SVM 间隔和支持向量对偶问题核函数软间隔和正则化 LR vs SVM ...
【机器学习算法笔记系列】逻辑回归(LR)算法详解和实战
逻辑回归(LR)算法概述逻辑回归(Logistic Regression)是用于处理因变量为分类变量的回归问题,常见的是二分类或二项分布问题,也可以处理多分类问题,它实际上是属于一种分类方法. 逻辑 ...
Keras【Deep Learning With Python】逻辑回归·softmax多分类与交叉熵
文章目录 1 逻辑回归 1.2 Sigmod函数 1.2 逻辑回归损失函数 2 交叉熵 3 softmax分类 1 逻辑回归回答0或1 1.2 Sigmod函数 0.9是好人 0.1是坏人二分类 ...
【机器学习基础】(三)：理解逻辑回归及二分类、多分类代码实践
本文是机器学习系列的第三篇,算上前置机器学习系列是第八篇.本文的概念相对简单,主要侧重于代码实践. 上一篇文章说到,我们可以用线性回归做预测,但显然现实生活中不止有预测的问题还有分类的问题.我们可以从 ...
吴恩达《机器学习》学习笔记八——逻辑回归（多分类）代码
吴恩达<机器学习>笔记八--逻辑回归(多分类)代码导入模块及加载数据 sigmoid函数与假设函数代价函数梯度下降一对多分类预测验证课程链接:https://www.bilib ...
降维后输入分类器分类时报错_逻辑回归解决多分类方法及其优缺点分析
众所周知,逻辑回归常用于解决二分类任务,但是在工作/学习/项目中,我们也经常要解决多分类问题.本文总结了 3 种逻辑回归解决多分类的方法,并分析了他们的优缺点. 一.One-Vs-Rest 假设我们要 ...
机器学习：理解逻辑回归及二分类、多分类代码实践
作者 | caiyongji 责编 | 张红月来源 | 转载自 caiyongji(ID:cai-yong-ji) 本文的概念相对简单,主要侧重于代码实践.现实生活中不止有预测的问题还有分类的问 ...

逻辑回归（LR实则分类）的损失函数

逻辑回归（LR实则分类）的损失函数相关推荐

最新文章

热门文章