logistic回归分析优点_逻辑回归的简单介绍

一、逻辑回归的概念

逻辑回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。

二.逻辑回归不是回归

从名字来理解逻辑回归.在逻辑回归中,逻辑(logistics ),并不是因为这个算法是突出逻辑的特性.至于回归,我们前一段讲到回归任务是结果为连续型变量的任务,logistics regression是用来做分类任务的,为什么叫回归呢?那我们是不是可以假设,逻辑回归就是用回归的办法来做分类的呢.

三、逻辑回归从本质来说属于二分类问题

二分类问题是指预测的y值只有两个取值（0或1），二分类问题可以扩展到多分类问题。例如：我们要做一个垃圾邮件过滤系统，x是邮件的特征，预测的y值就是邮件的类别，是垃圾邮件还是正常邮件。对于类别我们通常称为正类（positive class）和负类（negative class），垃圾邮件的例子中，正类就是正常邮件，负类就是垃圾邮件。至于回归,我们前一段讲到回归任务是结果为连续型变量的任务,logistics regression是用来做分类任务的,为什么叫回归呢?那我们是不是可以假设,逻辑回归就是用回归的办法来做分类的呢.跟上思路.

之前我们已经介绍了线性回归模型，如下图所示，预测值h(x)和目标值y越接近，表名模型的预测能力越好。

借用图片

四、什么要用逻辑回归

既然已经有了线性回归模型，我们为什么还要使用逻辑回归。如下图所示：在线性回归中使用0.5作为阈值来判断正例和负例的依据，但是在下图中，如果继续使用0.5作为阈值就不合适了，会导致错误的样本分类。二逻辑回归可以将预测范围从实数域压缩到(0,1)范围内，进而提升预测准曲率

五、逻辑回归分类和梯度上升算法

现在我们将y的取值 h(x)通过Logistic函数归一化到(0,1)间，y的取值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为:

得到了逻辑回归的表达式，下一步跟线性回归类似，构建似然函数，然后最大似然估计，最终推导出θ的迭代更新表达式，如下图所示：

转换后的似然函数对参数θ求偏导数，这里我们以只有一个训练样本的情况为例：

这样我们就得到了梯度上升每次迭代的更新方向，那么θ的迭代表达式为：

这个表达式与线性回归算法的表达式相比，看上去完全相同，但是梯度上升与线性回归是两个不同的算法，因为 h(x)表示的是关于θx的一个非线性函数。

六、逻辑回归的优点和缺点

优点:

1. 实现简单，广泛的应用于工业问题上；

2. 容易使用和解释；

3. 便利的观测样本概率分数；

缺点:

1. 当特征空间很大时，逻辑回归的性能不是很好；

2. 容易欠拟合，一般准确度不太高；

3. 不能很好地处理大量多类特征或变量；

logistic回归分析优点_逻辑回归的简单介绍相关推荐

logistic回归分析优点_机器学习实战项目-Logistic回归
Logistic 回归概述 Logistic 回归虽然名字叫回归,但是它是用来做分类的.其主要思想是: 根据现有数据对分类边界线建立回归公式,以此进行分类. 须知概念 Sigmoid 函数回归概 ...
逻辑回归优点_逻辑回归：优点
逻辑回归优点 by Thalles Silva 由Thalles Silva 逻辑回归:优点 (Logistic Regression: The good parts) 您需要了解的所有信息. (Ev ...
机器学习系列(1)_逻辑回归初步
转载自: 机器学习系列(1)_逻辑回归初步 - 寒小阳 - 博客频道 - CSDN.NET http://blog.csdn.net/han_xiaoyang/article/details/4912 ...
利用逻辑回归进行简单的人群分类解决广告推荐问题
利用逻辑回归进行简单的人群分类解决广告推荐问题参考文章: (1)利用逻辑回归进行简单的人群分类解决广告推荐问题 (2)https://www.cnblogs.com/songyifan427/p/1 ...
R以逻辑回归为例介绍制作列线图（nomogram）的过程
R以逻辑回归为例介绍制作列线图(nomogram)的过程目录 R以逻辑回归为例介绍制作列线图(nomogram)的过程列线图
Logistic Regression逻辑回归的简单解释
Logistic Regression也叫Logit Regression,在机器学习中属于参数估计的模型.逻辑回归与普通线性回归(Linear Regression)有很大的关系.在应用上,它们有所 ...
交叉熵损失函数分类_逻辑回归(Logistic Regression)二分类原理，交叉熵损失函数及python numpy实现...
本文目录: 1. sigmoid function (logistic function) 2. 逻辑回归二分类模型 3. 神经网络做二分类问题 4. python实现神经网络做二分类问题 ----- ...
python 逻辑回归复杂抽样_逻辑回归(Logistic Regression) ----转载
概要: 1. 介绍Logistic Regression的数学模型,推导并详细解释求解最优回归系数的过程: 2. Python实现Logistic Regression的基本版: 3. 介绍sklea ...
逻辑回归阈值_逻辑回归算法
(一)逻辑回归原理 1.整体概括逻辑回归假设数据服从伯努利分布(0-1分布),通过极大似然函数的方法,运用梯度下降法来求解参数,来达到将数据二分类的目的. 2.灵感过程(来自B站UP主:文小刀是也) ...

logistic回归分析优点_逻辑回归的简单介绍

logistic回归分析优点_逻辑回归的简单介绍相关推荐

最新文章

热门文章