机器学习算法LR（logit regression逻辑回归）原理简单解析

2024-04-13 06:35:39

LR(Logit regression，逻辑回归)，又名：对数几率回归（logistics regression）

注意：虽然它的名字是“回归”，但是实际却是一种分类学习方法。

公式： $y = g^{-1}(w^{T}x+b})$

找一个单调可微函数将分类任务的 真实标记y 与线性回归模型的 预测值 联系起来
在逻辑回归中，我们选择对数几率函数： $g^{-1} =\frac{1}{1+e^{-z}}$ ，则逻辑回归的公式： $y =\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-(w^{T}x+b)}}$

可以发现： $ln\frac{y}{1-y}=w^{T}x+b$ ，其中 $\frac{y}{1-y}$ 为几率，反映了x作为正例的相对可能性，而 $ln\frac{y}{1-y}$ 为对数几率，因此可以说，逻辑回归是用线性模型（ $w^{T}x+b$ ）的预测结果去逼近真实标记的对数几率，因此该模型也称为“对数几率回归”。

（1）将逻辑回归公式： $y =\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-(w^{T}x+b)}}$ 中的y视为类后验概率估计 $p(y=1|x)$ ，则有：

$ln\frac{p(y=1|x)}{p(y=0|x)}=w^{T}x+b$ ,

显然有：

$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$

$p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}$

可以通过“极大似然法”来估计w和b,给定数据集 $\left \{ \left ( x^{_{i}},y^{_{i}}}} \right ) \right \}_{i=1}^{m}$ ，对数回归模型最大化“对数似然”：

$l(w,b) = \sum_{i=1}^{m} lnp(y_{i}|x_{i};w,b})$

为了便于讨论，另 $\beta = (w;b)$ ， $\hat{x}=(x;1)$ ，则 $w^{T}x+b$ 可以简写成 $\beta^{T}\hat{x}$ 。再令 $p_{1}(\hat{x};\beta)=p(y=1|\hat{x};\beta )$ ， $p_{0}(\hat{x};\beta)=p(y=0|\hat{x};\beta )=1-p_{1}(\hat{x};\beta)$ ，则上式中的似然项可以重写为：

**$p(y_{i}|x_{i};w,b) = p_{1}(\hat{x};\beta)^{y_{i}}* p_{0}(\hat{x};\beta)^{(1-y_{i})}$**

因此，最终的最大化“对数似然”等价于最小化：

$l(\beta) = \sum_{i=1}^{m}(-y_{i}\beta^{T}\hat{x}+ln(1+e^{\beta^{T}\hat{x}}))$

注意：这是关于β的高阶可导连续函数，根据凸优化理论，可用梯度下降法，牛顿法等，求取最优解。

机器学习算法LR（logit regression逻辑回归）原理简单解析相关推荐

【机器学习】Logistic Regression逻辑回归原理与java实现
[机器学习]Logistic Regression逻辑回归原理与java实现 1.基于概率的机器学习算法 2.逻辑回归算法原理 2.1.分离超平面 2.2.阈值函数 2.3.样本概率 2.4.损失函数 ...
Logistic Regression逻辑回归的简单解释
Logistic Regression也叫Logit Regression,在机器学习中属于参数估计的模型.逻辑回归与普通线性回归(Linear Regression)有很大的关系.在应用上,它们有所 ...
【机器学习算法笔记系列】逻辑回归(LR)算法详解和实战
逻辑回归(LR)算法概述逻辑回归(Logistic Regression)是用于处理因变量为分类变量的回归问题,常见的是二分类或二项分布问题,也可以处理多分类问题,它实际上是属于一种分类方法. 逻辑 ...
机器学习算法（3）—— 逻辑回归算法
逻辑回归算法 1 逻辑回归介绍 2 损失及优化 3 逻辑回归的使用 4 分类评估方法 4.1 混淆矩阵 4.2 ROC曲线与AUC指标 4.3 ROC曲线绘制 5 分类中类别不平衡问题 5.1 过采样 ...
机器学习算法总结--线性回归和逻辑回归
1. 线性回归简述在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析.这种函数是一个或多个称为回 ...
【机器学习算法-python实现】逻辑回归的实现(LogicalRegression)
1.背景知识在刚刚结束的天猫大数据s1比赛中,逻辑回归是大家都普遍使用且效果不错的一种算法. (1)回归先来说说什么是回归,比如说我们有两类数据,各有50十个点 ...
机器学习算法（四）逻辑回归理论与python实现+经典示例（从疝气病预测病马的死亡率）
学习笔记更新什么是逻辑回归? 简要介绍逻辑回归是用来解决线性回归问题的,它将线性回归得到的结果通过逻辑函数映射到[0,1]之间,因此称逻辑回归.逻辑回归模型主要用于解决二分类问题,是一个分 ...
Logistic Regression逻辑回归的损失函数与梯度下降训练
有一篇博文提到logistic regression的简单理解(Logistic Regression逻辑回归的简单解释).逻辑回归实际上是odds取对数后的反函数,其函数形式也称为sigmoid f ...
机器学习实战（四）逻辑回归LR（Logistic Regression）
目录 0. 前言 1. Sigmoid 函数 2. 梯度上升与梯度下降 3. 梯度下降法(Gradient descent) 4. 梯度上升法(Gradient ascent) 5. 梯度下降/上升法 ...
机器学习-非线性回归( Unlinear Regression) -逻辑回归（Logistic Regression）算法
学习彭亮<深度学习基础介绍:机器学习>课程概率定义概率(Probability): 对一件事情发生的可能性的衡量范围 0 <= P <= 1 计算方法根据个人置信根 ...

最新文章

热门文章