逻辑回归为什么使用对数损失函数

在前面介绍的《逻辑回归是个什么逻辑》中，我们构建的逻辑回归模型是：

P(y=1|x;θ)=11+e−θTx

P(y = 1|x;\theta ) = \frac{1}{{1 + {e^{ - {\theta ^T}x}}}}
在模型的数学形式确定后，剩下的就是如何去求解模型中的参数 θ\theta。而在已知模型和一定样本的情况下，估计模型的参数，在统计学中常用的是极大似然估计方法。即找到一组参数 θ\theta，使得在这组参数下，样本数据的似然度（概率）最大。对于极大似然估计，可以参考下前期文章《极大似然估计》。

对于逻辑回归模型，假定的概率分布是伯努利分布，根据伯努利分布的定义，其概率质量函数PMF为：

P(X=n)={1−pn=0pn=1

P(X = n) = \left\{ \begin{array}{l} 1 - p\;\;\;\;n = 0\\ p\;\;\;\;\;\;\;\;n = 1 \end{array} \right.
所以，似然函数可以写成：

L(θ)=∏i=1mP(y=1|xi)yiP(y=0|xi)1−yi

L(\theta ) = \prod\limits_{i = 1}^m {P{{(y = 1|{x_i})}^{{y_i}}}P{{(y = 0|{x_i})}^{1 - {y_i}}}}
对数似然函数则为：

lnL(θ)=∑i=1m[yilnP(y=1|xi)+(1−yi)lnP(y=0|xi)]

\ln L(\theta ) = \sum\limits_{i = 1}^m {[{y_i}\ln P(y = 1|{x_i}) + (1 - {y_i})\ln P(y = 0|{x_i})} ]

lnL(θ)=∑i=1m[yilnP(y=1|xi)+(1−yi)ln(1−P(y=1|xi))]

\ln L(\theta ) = \sum\limits_{i = 1}^m {[{y_i}\ln P(y = 1|{x_i}) + (1 - {y_i})\ln (1 - P(y = 1|{x_i}))} ]
而在机器学习领域，我们经常使用损失函数（loss function,或称为代价函数，cost function）来衡量模型预测的好坏。常用的有0-1损失，平方损失，绝对损失，对数损失等。其中对数损失在单个数据点上的定义为：

cost(y,p(y|x))=−ylnp(y|x)−(1−y)ln(1−p(y|x))

\cos t(y,p(y|x)) = - y\ln p(y|x) - (1 - y)\ln (1 - p(y|x))
全体样本的损失函数则可表达为：

cost(y,p(y|x))=−∑i=1m[yilnp(yi|xi)+(1−yi)ln(1−p(yi|xi))]

\cos t(y,p(y|x)) = - \sum\limits_{i = 1}^m {[{y_i}\ln p({y_i}|{x_i}) + (1 - {y_i})\ln (1 - p({y_i}|{x_i}))} ]
可以看到，这个对数损失函数与上面的极大似然估计的对数似然函数本质上是等价的。所以逻辑回归直接采用对数损失函数来求参数，实际上与采用极大似然估计来求参数是一致的。

逻辑回归为什么使用对数损失函数相关推荐

大白话5分钟带你走进人工智能-第十八节逻辑回归之交叉熵损失函数梯度求解过程(3)
第十八节逻辑回归之交叉熵损失函数梯度求解过程(2) 上一节中,我们讲解了交叉熵损失函数的概念,目标是要找到 ...
个人总结：从线性回归到逻辑回归为什么逻辑回归又叫对数几率回归？
逻辑回归不是回归算法,是分类算法,可以处理二元分类以及多元分类. 线性回归线性回归的模型是求出特征向量Y和输入样本矩阵X之间的线性关系系数θ,满足Y = Xθ.此时Y是连续的,所以是回归模型. 对应 ...
逻辑回归损失函数推导及其模型的推导
注:本篇文章求解思路.过程均为原创,本文出现的文字.公式等均为对照原计算手稿逐字手敲,绝无复制粘贴学术不端之举,转载请注明URL以及出处. 1.什么是逻辑回归? Logistic−Regression ...
逻辑回归（对数几率回归）推导及python代码实现
逻辑回归,也叫对数几率回归: import numpy as np import matplotlib.pyplot as plt from sklearn.datasets._samples_gen ...
Lesson 4.1-4.2 逻辑回归模型构建与多分类学习方法逻辑回归参数估计
Lesson 4.1 逻辑回归模型构建与多分类学习方法首先我们来讨论关于逻辑回归的基本原理,当然,在此过程中,我们也将进一步补充机器学习数学理论基础. 逻辑回归的基本原理,从整体上来划分可以分为两个 ...
全面解析并实现逻辑回归(Python)
本文以模型.学习目标.优化算法的角度解析逻辑回归(LR)模型,并以Python从头实现LR训练及预测. 一.逻辑回归模型结构逻辑回归是一种广义线性的分类模型且其模型结构可以视为单层的神经网络,由一层 ...
使用鸢尾花数据集实现一元逻辑回归、多分类问题
目录鸢尾花数据集逻辑回归原理 [1]从线性回归到广义线性回归 [2]逻辑回归 [3]损失函数 [4]总结 TensorFlow实现一元逻辑回归多分类问题原理独热编码多分类的模型参数损失函数 ...
机器学习笔记（三）---- 逻辑回归（二分类）
逻辑回归基本概念前面提到过线性模型也可以用来做分类任务,但线性模型的预测输出 y = wx + b 可能是(-∞,+∞)范围内的任意实数,而二分类任务的输出y={0,1},如何在这之间做转换呢?答案 ...
逻辑回归算法原理解读
1.线性回归和逻辑回归的区别线性回归是处理回归问题,而逻辑回归是处理分类问题,这是两者最本质的区别 2.逻辑回归的原理,损失函数,参数更新方式线性回归的公式: ,此时Y和X是线性关系逻辑回归则是 ...

逻辑回归为什么使用对数损失函数

逻辑回归为什么使用对数损失函数相关推荐

最新文章

热门文章