机器学习第八篇：详解逻辑斯蒂回归算法

01|基本概念：

在介绍逻辑回归模型以前，先介绍一下逻辑斯谛分布。

设X是连续型随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数F(x)和密度函数f(x)：

逻辑斯谛分布的分布函数F(x)的曲线如图所示，其图形是一条S形曲线，曲线在中心附近增长最快，在两端增长速度较慢。当x无穷大时，F(x)接近于1；当x无穷小时，F(x)接近于0。

(逻辑回归分布函数)

02|二项逻辑斯谛回归模型：

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布P(Y|X)表示，形式为参数化的逻辑斯蒂分布？这里随机变量X取值为实数，随机变量Y取值为1或0。

二项逻辑斯谛回归模型是如下的条件概率分布：

这里x属于实数，Y属于{0,1}是输出，w和b是参数，w称为权值向量，b称为偏置，为w和x的内积。

对于给定的输入实例x，按照上述分布函数可以求得P(Y=1|x)和P(Y=0|x)。逻辑斯谛回归是比较两个条件概率值的大小，将实例x分到概率值大的那一类。

有时候为了方便，将权值向量和输入向量加以扩充，仍记作w,x，即

,。这时，逻辑斯蒂回归模型如下：

得到上面的回归模型了，上面的回归模型中有一个未知参数w，在利用上述的模型对数据进行预测之前需要先求取参数w的值，这里采用极大似然估计的方法求取参数w。

设

似然函数为：

对数似然函数为：

这样问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯蒂回归学习中通常采用的方法是梯度下降法以及拟牛顿法。

将利用极大似然估计得到的w值代入上述的模型中，即可用于测试数据集的预测。

03|多项逻辑斯蒂回归：

二项逻辑斯谛回归模型是二项分类模型，用于二分类问题中。可以将其推广到多项逻辑斯谛回归模型，用于多分类问题。假设离散型随机变量Y的可能取值集合是{1,2,...,K}，那么多项逻辑斯谛回归模型是：

机器学习第八篇：详解逻辑斯蒂回归算法相关推荐

逻辑斯蒂回归算法详解
逻辑斯蒂回归算法可用于分类问题,其本质是在线性回归的算法上用sigmoid函数进行模型变换,使得目标值介于0-1之间.本文用于对逻辑斯蒂回归算法(Logistics Regression)进行详细讲述 ...
ML之NBLoR：利用NB(朴素贝叶斯)、LoR(逻辑斯蒂回归)算法(+TfidfVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析—五分类预测
ML之NB&LoR:利用NB(朴素贝叶斯).LoR(逻辑斯蒂回归)算法(+TfidfVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析-五分类预测目录输出结果 ...
ML之NBLoR：利用NB(朴素贝叶斯)、LoR(逻辑斯蒂回归)算法(+CountVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析—五分类预测
ML之NB&LoR:利用NB(朴素贝叶斯).LoR(逻辑斯蒂回归)算法(+CountVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析-五分类预测目录输出结果 ...
NLP之TEA之NB/LoR：利用NB(朴素贝叶斯)、LoR(逻辑斯蒂回归)算法(+TfidfVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析—五分类预测
NLP之TEA之NB/LoR:利用NB(朴素贝叶斯).LoR(逻辑斯蒂回归)算法(+TfidfVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析-五分类预测目录输出结 ...
NLP之TEA之NB/LoR：利用NB(朴素贝叶斯)、LoR(逻辑斯蒂回归)算法(+CountVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析—五分类预测
NLP之TEA之NB/LoR:利用NB(朴素贝叶斯).LoR(逻辑斯蒂回归)算法(+CountVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析-五分类预测目录输出结 ...
机器学习（二）--sklearn之逻辑斯蒂回归和朴素贝叶斯
文章目录 1.逻辑斯蒂回归 2.朴素贝叶斯 3.三种分类算法的比较上回说到,sklearn中的k近邻算法解决多分类问题.k近邻的基本步骤是:收集数据.创建分类器.训练.预测.评估性能.调参(参数就是 ...
瞎聊机器学习——LR（Logistic Regression）逻辑斯蒂回归（一）
逻辑斯蒂回归是我们在学习以及工作中经常用到的一种分类模型,下面通过本文来讲解一下逻辑斯蒂回归(logistic regression,下文简称LR)的概念.数学推导. 一.逻辑斯蒂回归的概念首先希望 ...
一文“妙”解逻辑斯蒂回归（LR）算法
一.前言在感知器算法中,如下图如果我们使用一个f(z)=z函数,作为激励函数,那么该模型即为线性回归.而在逻辑斯蒂回归中,我们将会采用f(z)=sigmoid(z) 函数作为激励函数,所以它被称为 ...
python与机器学习（四）——线性回归和逻辑斯蒂回归
1 线性回归要求:根据data1的二维散点数据,使用最小二乘法(LSM)求解出y关于x线性拟合的最优参数读取数据: import numpy as np import pandas as pd i ...

机器学习第八篇：详解逻辑斯蒂回归算法

机器学习第八篇：详解逻辑斯蒂回归算法相关推荐

最新文章

热门文章