二项逻辑回归模型（logistic regression model）

2024-06-12 04:54:13

Binary logistic regression model

是分类模型，由概率分布P(Y∣X)P(Y|X)P(Y∣X)计算，是参数化的Logistic分布

先概述一下这个模型的条件概率分布

P(Y=1∣x)=exp(w⋅x+b)1+exp(w⋅x+b)P(Y=1|x)=\frac{exp(w\cdot{x}+b)}{1+exp(w\cdot{x}+b)}P(Y=1∣x)=1+exp(w⋅x+b)exp(w⋅x+b)

P(Y=0∣x)=11+exp(w⋅x+b)P(Y=0|x)=\frac{1}{1+exp(w\cdot{x}+b)}P(Y=0∣x)=1+exp(w⋅x+b)1

什么是一个事情的几率？

一件事情发生的概率ppp比上这件事情不发生的概率1−p1-p1−p即p1−p\frac{p}{1-p}1−pp

那么对数几率logit(p)=logep1−plogit(p)=log_e{\frac{p}{1-p}}logit(p)=loge1−pp

logit(p)=logep1−p=logit(P(Y=1∣x))=loge(exp(w⋅x+b))=w⋅x+blogit(p)=log_e{\frac{p}{1-p}}=logit(P(Y=1|x))=log_e(exp(w\cdot{x}+b))=w\cdot{x}+blogit(p)=loge1−pp=logit(P(Y=1∣x))=loge(exp(w⋅x+b))=w⋅x+b
所以对于Y=1Y=1Y=1的对数几率，是一个线性函数

而这个式子P(Y=1∣x)=exp(w⋅x+b)1+exp(w⋅x+b)P(Y=1|x)=\frac{exp(w\cdot{x}+b)}{1+exp(w\cdot{x}+b)}P(Y=1∣x)=1+exp(w⋅x+b)exp(w⋅x+b)，就相当于把w⋅x+bw\cdot{x}+bw⋅x+b转化为概率，在这种情况下w⋅x+bw\cdot{x}+bw⋅x+b越接近于正无穷，概率值就越接近1

模型的参数估计

令P(Y=1∣x)=pP(Y=1|x)=pP(Y=1∣x)=p and P(Y=1∣x)=1−pP(Y=1|x)=1-pP(Y=1∣x)=1−p

那么似然函数就是：# 不懂似然函数，先后面有讲似然函数，看完再回来
∏i=1N=[pi]yi[1−pi]1−yi\prod_{i=1}^N=[p_i]^{y_i}[1-p_i]^{1-{y^i}}i=1∏N=[pi]yi[1−pi]1−yi
然后取对数，得到对数似然函数L(w)L(w)L(w)
L(w)=∑i=1N[yilogepi+(1−yi)loge(1−pi)]L(w)=\sum_{i=1}^N[y_i{log_e{p_i}}+(1-y_i)log_e(1-p_i)]L(w)=i=1∑N[yilogepi+(1−yi)loge(1−pi)]
=yilogepi(1−pi)+loge(1−pi)=y_i{log_e\frac{p_i}{(1-p_i)}}+log_e(1-p_i)=yiloge(1−pi)pi+loge(1−pi)
=(w⋅x+b)+loge11+exp(w⋅x+b)=(w\cdot{x}+b)+log_e\frac{1}{1+exp(w\cdot{x}+b)}=(w⋅x+b)+loge1+exp(w⋅x+b)1

=(w⋅x+b)−loge(1+exp(w⋅x+b))=(w\cdot{x}+b)-log_e(1+exp(w\cdot{x}+b))=(w⋅x+b)−loge(1+exp(w⋅x+b))

下一步使用梯度下降求使得L(w)L(w)L(w)最大的www的值就可以

似然函数和极大似然估计

似然函数的定义是：L(θ∣x)=f(x∣θ)L(\theta|x) = f(x|\theta)L(θ∣x)=f(x∣θ)
可以看具体数学含义：

本质

数学推理

先看1再看2再看1

二项逻辑回归模型（logistic regression model）相关推荐

逻辑回归模型(Logistic Regression, LR)基础
逻辑回归模型(Logistic Regression, LR)基础逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上,套用了一个逻辑函数,但也就由于这个逻辑函数, ...
逻辑回归模型(Logistic Regression, LR)基础 - 文赛平
逻辑回归模型(Logistic Regression, LR)基础 - 文赛平时间 2013-11-25 11:56:00 博客园精华区原文 http://www.cnblogs.com/ ...
机器学习--逻辑回归模型(Logistic Regression)
1.逻辑回归逻辑回归(Logistic Regression)是一种用于二元分类问题的机器学习算法.逻辑回归的目的是基于输入特征预测一个样本属于某个特定的类别的概率. 逻辑回归的核心思想是将线性回归 ...
逻辑回归模型(Logistic Regression)
逻辑回归符合伯努利分布.伯努利分布就是我们常见的0-1分布,即它的随机变量只取0或者1,各自的频率分别取1−p和p,当x=0或者x=1时,我们数学定义为: 所以在常规的逻辑回归模型中,只有两个类别,0 ...
逻辑回归二分类算法python_多分类逻辑回归 (Multinomial Logistic Regression)
前言分类从结果的数量上可以简单的划分为: 二分类(Binary Classification) 多分类(Multinomial Classification). 其中二分类是最常见且使用最多的分类场 ...
logisticregression参数_通俗地说逻辑回归【Logistic regression】算法（二）sklearn逻辑回归实战...
前情提要: 通俗地说逻辑回归[Logistic regression]算法(一) 逻辑回归模型原理介绍上一篇主要介绍了逻辑回归中,相对理论化的知识,这次主要是对上篇做一点点补充,以及介绍sklear ...
机器学习算法与Python实践之逻辑回归（Logistic Regression）
转载自:http://blog.csdn.net/zouxy09/article/details/20319673 机器学习算法与Python实践这个系列主要是参考<机器学习实战>这本书. ...
[机器学习] Coursera ML笔记 - 逻辑回归（Logistic Regression）
引言机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归.逻辑回归.Softmax回归.神经网络和SVM等等.主要学习资料来自Standford Andrew N ...
逻辑回归（Logistic Regression）
一. 逻辑回归在前面讲述的回归模型中,处理的因变量都是数值型区间变量,建立的模型描述是因变量的期望与自变量之间的线性关系.比如常见的线性回归模型: 而在采用回归模型分析实际问题中,所研究的变量往往不 ...

最新文章

热门文章