多元逻辑回归公式推导

《统计学习方法》中关于多元逻辑回归公式推导，写的比较简单，正好前几天有同事对此比较疑惑，因此，在此进行详细推导，有助于大家共同学习。

首先，关于逻辑回归中二分类问题:
P(Y=1∣x,ω)=exp(ω⋅x+b)1+exp(ω⋅x+b)P(Y=1|x,\omega)=\frac{exp(\omega \cdot x+b)}{1+exp(\omega \cdot x+b)}P(Y=1∣x,ω)=1+exp(ω⋅x+b)exp(ω⋅x+b)
P(Y=0∣x,ω)=11+exp(ω⋅x+b)P(Y=0|x,\omega)=\frac{1}{1+exp(\omega \cdot x+b)}P(Y=0∣x,ω)=1+exp(ω⋅x+b)1
事件发生对数几率定义如下：
logP(Y=1∣x,ω)1−P(Y=0∣x,ω)=ω⋅xlog \frac{P(Y=1|x,\omega)}{1-P(Y=0|x,\omega)}=\omega\cdot xlog1−P(Y=0∣x,ω)P(Y=1∣x,ω)=ω⋅x

其次，关于对分类问题，可以看做多个二分类问题：
logP(Y=1∣x)P(Y=K∣x)=ω1⋅xlog \frac{P(Y=1|x)}{P(Y=K|x)}=\omega_1\cdot xlogP(Y=K∣x)P(Y=1∣x)=ω1⋅x
logP(Y=i∣x)P(Y=K∣x)=ωi⋅xlog \frac{P(Y=i|x)}{P(Y=K|x)}=\omega_i\cdot xlogP(Y=K∣x)P(Y=i∣x)=ωi⋅x
logP(Y=K−1∣x)P(Y=K∣x)=ωK−1⋅xlog \frac{P(Y=K-1|x)}{P(Y=K|x)}=\omega_{K-1}\cdot xlogP(Y=K∣x)P(Y=K−1∣x)=ωK−1⋅x
因此有：
P(Y=1∣x)=P(Y=K∣x)∗eω1⋅xP(Y=1|x)=P(Y=K|x) *e^{\omega_1\cdot x}P(Y=1∣x)=P(Y=K∣x)∗eω1⋅x
⋅⋅⋅\cdot\cdot\cdot⋅⋅⋅
P(Y=i∣x)=P(Y=K∣x)∗eωi⋅xP(Y=i|x)=P(Y=K|x) *e^{\omega_i\cdot x}P(Y=i∣x)=P(Y=K∣x)∗eωi⋅x
P(Y=K−1∣x)=P(Y=K∣x)∗eωK−1⋅xP(Y=K-1|x)=P(Y=K|x) *e^{\omega_{K-1}\cdot x}P(Y=K−1∣x)=P(Y=K∣x)∗eωK−1⋅x
概率之和为1：
∑iKP(Y=i∣x,ω)=1\sum^K_i P(Y=i|x, \omega)=1i∑KP(Y=i∣x,ω)=1
联合上述K-1个、概率和式子，则有：
(1+∑i=1K−1eωi⋅x)⋅P(Y=K∣x,ω)=1(1+\sum ^{K-1}_{i=1}e^{\omega_i \cdot x})\cdot P(Y=K|x,\omega)=1(1+i=1∑K−1eωi⋅x)⋅P(Y=K∣x,ω)=1
则
P(Y=K∣x,ω)=1(1+∑i=1K−1eωi⋅x)P(Y=K|x,\omega) = \frac{1}{(1+\sum ^{K-1}_{i=1}e^{\omega_i \cdot x})}P(Y=K∣x,ω)=(1+∑i=1K−1eωi⋅x)1
P(Y=i∣x,ω)=eωi⋅x(1+∑i=1K−1eωi⋅x)P(Y=i|x,\omega) = \frac{e^{\omega_i\cdot x}}{(1+\sum ^{K-1}_{i=1}e^{\omega_i \cdot x})}P(Y=i∣x,ω)=(1+∑i=1K−1eωi⋅x)eωi⋅x
到此，全部推导完成。如果推导有疑问，欢迎大家一起交流！

多元逻辑回归公式推导相关推荐

神经网络（二）：Softmax函数与多元逻辑回归
文章目录一. Softmax函数与多元逻辑回归二.广告时间一. Softmax函数与多元逻辑回归为了之后更深入地讨论神经网络,本节将介绍在这个领域里很重要的softmax函数,它常被用来定义神 ...
《人工智能》机器学习 - 第5章逻辑回归（四多元逻辑回归实战）
5.4多元逻辑回归实战 5.4.1多元逻辑回归实战之预测病马的死亡率本次实战内容,将使用Logistic回归来预测患疝气病的马的存活问题.原始数据集下载地址: http://archive.ics. ...
logistic逻辑回归公式推导及R语言实现
Logistic逻辑回归 Logistic逻辑回归模型线性回归模型简单,对于一些线性可分的场景还是简单易用的.Logistic逻辑回归也可以看成线性回归的变种,虽然名字带回归二字但实际上他主要用来二 ...
吴恩达老师深度学习视频课笔记：逻辑回归公式推导及C++实现
逻辑回归(Logistic Regression)是一个二分分类算法.逻辑回归的目标是最小化其预测与训练数据之间的误差.为了训练逻辑回归模型中的参数w和b,需要定义一个成本函数(cost functi ...
逻辑回归公式推导过程
1 逻辑回归模型回归是一种极易理解的模型,就相当于y=f(x),表明自变量x与因变量y的关系.最常见问题有如医生治病时的望.闻.问.切,之后判定病人是否生病或生了什么病,其中的望闻问切就是获取自变量 ...
【数学建模】统计领域的逻辑回归（分类变量相关性检验、优势比OR、包含分类变量的多元逻辑回归）
统计领域的逻辑回归 0 指导方针 1 分类变量之间的相关性检验 1.1 分类变量相关性的示例 1.2 列联表分析 1.3 信用风险建模案例 1.3.1 制作两分类变量交叉表并求解交叉频率 1.3.2 ...
联邦学习纵向逻辑回归公式推导
原文链接 [技术博客]纵向联邦学习简介及实现--MomodelAI 在研究纵向联邦学习时,为了对细节有更深入的理解,查询了一些资料并对图中的公式(出自上文引用)进行了推导. 推导过程如下. 其中, 1 ...
多元有序logistic回归_R语言多元Logistic逻辑回归应用案例
原文链接: http://tecdat.cn/?p=2640 tecdat.cn 可以使用逐步过程确定多元逻辑回归.此函数选择模型以最小化AIC. 如何进行多元逻辑回归可以使用阶梯函数通过逐步过程 ...
R语言多元Logistic逻辑回归应用案例
可以使用逐步回归过程确定多元逻辑回归.此函数选择模型以最小化AIC. 如何进行多元逻辑回归可以使用step函数通过逐步回归过程确定多元逻辑回归.此函数选择模型以最小化AIC. 通常建议不要盲目地遵循 ...
R语言惩罚逻辑回归、线性判别分析LDA、广义加性模型GAM、多元自适应回归样条MARS、KNN、二次判别分析QDA、决策树、随机森林、支持向量机SVM分类优质劣质葡萄酒十折交叉验证和ROC可视化
最近我们被客户要求撰写关于葡萄酒的研究报告,包括一些图形和统计输出. 介绍数据包含有关葡萄牙"Vinho Verde"葡萄酒的信息.该数据集有1599个观测值和12个变量,分别是 ...

多元逻辑回归公式推导

多元逻辑回归公式推导相关推荐

最新文章

热门文章