多元逻辑回归（Multinomial Logistic Regression）

2024-05-23 06:36:20

二分类逻辑回归

我们定义ppp为类别为1（二分类0，1）的概率，ln⁡p1−p\ln\frac{p}{1-p}ln1−pp表示类别为1的概率与类别为0的概率比的对数，当ln⁡p1−p>0\ln\frac{p}{1-p}>0ln1−pp>0，则为类别1。
ln⁡p1−p=w0+∑iwixip1−p=exp⁡w0+∑iwixip=exp⁡w0+∑iwixi1+exp⁡w0+∑iwixi=11+exp⁡−(w0+∑iwixi)\ln\frac{p}{1-p}=w_0+\sum_iw_ix_i\\ \frac{p}{1-p}=\exp^{w_0+\sum_iw_ix_i}\\ p=\frac{\exp^{w_0+\sum_iw_ix_i}}{1+\exp^{w_0+\sum_iw_ix_i}}\\ =\frac{1}{1+\exp^-({w_0+\sum_iw_ix_i})} ln1−pp=w0+i∑wixi1−pp=expw0+∑iwixip=1+expw0+∑iwixiexpw0+∑iwixi=1+exp−(w0+∑iwixi)1
可以看到最后的standard logistic function是sigmoid function。

多分类逻辑回归

以一个三分类（0，1，2）为例，定义三组二分类逻辑回归的权重w0,w1,w2w^0, w^1, w^2w0,w1,w2，则定义每个类别概率
p(y=0)=exp⁡∑iwi0xi0∑j=02exp⁡wijxijp(y=1)=exp⁡∑iwi1xi1∑j=02exp⁡wijxijp(y=2)=exp⁡∑iwi2xi2∑j=02exp⁡wijxijp(y=0)=\frac{\exp^{\sum_iw_i^0x_i^0}}{\sum_{j=0}^2\exp^{w_i^jx_i^j}}\\ p(y=1)=\frac{\exp^{\sum_iw_i^1x_i^1}}{\sum_{j=0}^2\exp^{w_i^jx_i^j}}\\ p(y=2)=\frac{\exp^{\sum_iw_i^2x_i^2}}{\sum_{j=0}^2\exp^{w_i^jx_i^j}}p(y=0)=∑j=02expwijxijexp∑iwi0xi0p(y=1)=∑j=02expwijxijexp∑iwi1xi1p(y=2)=∑j=02expwijxijexp∑iwi2xi2
可以看到最后的standard logistic function是softmax function。

多元逻辑回归（Multinomial Logistic Regression）相关推荐

逻辑回归二分类算法python_多分类逻辑回归 (Multinomial Logistic Regression)
前言分类从结果的数量上可以简单的划分为: 二分类(Binary Classification) 多分类(Multinomial Classification). 其中二分类是最常见且使用最多的分类场 ...
logisticregression参数_通俗地说逻辑回归【Logistic regression】算法（二）sklearn逻辑回归实战...
前情提要: 通俗地说逻辑回归[Logistic regression]算法(一) 逻辑回归模型原理介绍上一篇主要介绍了逻辑回归中,相对理论化的知识,这次主要是对上篇做一点点补充,以及介绍sklear ...
逻辑回归（Logistic Regression）
一. 逻辑回归在前面讲述的回归模型中,处理的因变量都是数值型区间变量,建立的模型描述是因变量的期望与自变量之间的线性关系.比如常见的线性回归模型: 而在采用回归模型分析实际问题中,所研究的变量往往不 ...
逻辑回归模型(Logistic Regression, LR)基础
逻辑回归模型(Logistic Regression, LR)基础逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上,套用了一个逻辑函数,但也就由于这个逻辑函数, ...
逻辑回归模型(Logistic Regression, LR)基础 - 文赛平
逻辑回归模型(Logistic Regression, LR)基础 - 文赛平时间 2013-11-25 11:56:00 博客园精华区原文 http://www.cnblogs.com/ ...
逻辑回归（Logistic Regression）原理详细总结
逻辑回归(Logistic Regression)是一个分类算法,既可以用来解决二分类问题也可以解决多分类问题.那么为什么名为"回归"的算法却是用来解决分类问题的呢?本文将对逻辑回 ...
使用聚类算法（Kmeans）进行数据降维并作为分类算法逻辑回归（logistic Regression）的数据预处理步骤实战
使用聚类算法(Kmeans)进行数据降维并作为分类算法逻辑回归(logistic Regression)的数据预处理步骤实战目录
[机器学习] Coursera ML笔记 - 逻辑回归（Logistic Regression）
引言机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归.逻辑回归.Softmax回归.神经网络和SVM等等.主要学习资料来自Standford Andrew N ...
Python机器学习算法 — 逻辑回归（Logistic Regression）
逻辑回归--简介逻辑回归(Logistic Regression)就是这样的一个过程:面对一个回归或者分类问题,建立代价函数,然后通过优化方法迭代求解出最优的模型参数,然后测试验证我们这个求解的模型 ...
牛顿法python代码_python 牛顿法实现逻辑回归（Logistic Regression）
本文采用的训练方法是牛顿法(Newton Method). 代码 import numpy as np class LogisticRegression(object): ""&q ...

最新文章

热门文章