导读

逻辑回归算法是最经典的几个机器学习算法之一，本文对它的优点，缺点进行总结。

1. 逻辑回归算法

逻辑回归属于判别式模型，同时伴有很多模型正则化的方法(L0， L1，L2，etc)，而且你不必像在用朴素贝叶斯那样担心你的特征是否相关。与决策树、SVM相比，你还会得到一个不错的概率解释，你甚至可以轻松地利用新数据来更新模型(使用在线梯度下降算法-online gradient descent)。如果你需要一个概率架构(比如，简单地调节分类阈值，指明不确定性，或者是要获得置信区间)，或者你希望以后将更多的训练数据快速整合到模型中去，那么使用它吧。

Sigmoid函数：表达式如下:

2. 优点

1. 实现简单，广泛的应用于工业问题上；

2. 分类时计算量非常小，速度很快，存储资源低；

3. 便利的观测样本概率分数；

4. 对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题；

5. 计算代价不高，易于理解和实现。

3. 缺点

1. 当特征空间很大时，逻辑回归的性能不是很好；

2. 容易欠拟合，一般准确度不太高；

3. 不能很好地处理大量多类特征或变量；

4. 只能处理两分类问题(在此基础上衍生出来的softmax可以用于多分类)，且必须线性可分；

5. 对于非线性特征，需要进行转换。

4. logistic回归应用领域：

1. 用于二分类领域，可以得出概率值，适用于根据分类概率排名的领域，如搜索排名等；

2. Logistic回归的扩展softmax可以应用于多分类领域，如手写字识别等；

3. 信用评估；

4. 测量市场营销的成功度；

5. 预测某个产品的收益；

6. 特定的某天是否会发生地震。

5. logistic算法与其它算法比较

线性回归做分类因为考虑了所有样本点到分类决策面的距离，所以在两类数据分布不均匀的时候将导致误差非常大；LR和SVM克服了这个缺点，其中LR将所有数据采用sigmod函数进行了非线性映射，使得远离分类决策面的数据作用减弱；SVM直接去掉了远离分类决策面的数据，只考虑支持向量的影响。

但是对于这两种算法来说，在线性分类情况下，如果异常点较多无法剔除的话，LR中每个样本都是有贡献的，最大似然后会自动压制异常的贡献；SVM+软间隔对异常比较敏感，因为其训练只需要支持向量，有效样本本来就不高，一旦被干扰，预测结果难以预料。

logistic回归分析优点_逻辑回归算法的优缺点相关推荐

logistic回归分析优点_逻辑回归的简单介绍
一.逻辑回归的概念逻辑回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域. 二.逻辑回归不是回归从名字来理解逻辑回归.在逻辑回归中,逻辑( ...
逻辑回归算法c语言_逻辑回归算法背后的数学
逻辑回归算法背后的数学看完深蓝学院的机器学习公开课后,对于逻辑回归部分,打算写篇学习笔记记录总结一下,也和大家共同分享. 1 基本思能逻辑回归(Logistic Regression)和线性回归( ...
logistic回归分析优点_机器学习实战项目-Logistic回归
Logistic 回归概述 Logistic 回归虽然名字叫回归,但是它是用来做分类的.其主要思想是: 根据现有数据对分类边界线建立回归公式,以此进行分类. 须知概念 Sigmoid 函数回归概 ...
orange实现逻辑回归_逻辑回归算法的原理及实现(LR)
Logistic回归虽然名字叫"回归",但却是一种分类学习方法.使用场景大概有两个:第一用来预测,第二寻找因变量的影响因素.逻辑回归(Logistic Regression, LR ...
逻辑回归优点_逻辑回归：优点
逻辑回归优点 by Thalles Silva 由Thalles Silva 逻辑回归:优点 (Logistic Regression: The good parts) 您需要了解的所有信息. (Ev ...
逻辑回归阈值_逻辑回归算法
(一)逻辑回归原理 1.整体概括逻辑回归假设数据服从伯努利分布(0-1分布),通过极大似然函数的方法,运用梯度下降法来求解参数,来达到将数据二分类的目的. 2.灵感过程(来自B站UP主:文小刀是也) ...
python实现逻辑回归算法_逻辑回归算法的实现
前言在之前的学习中,我们已经学习了逻辑回归算法的具体数学原理及其简单的推导过程,现在,我们可以用python实现逻辑回归的算法了. 环境 python3.6 jupyter-notebook 绘制数 ...
spark 逻辑回归算法案例_黄美灵的Spark ML机器学习实战
原标题:黄美灵的Spark ML机器学习实战本课程主要讲解基于Spark 2.x的ML,ML是相比MLlib更高级的机器学习库,相比MLlib更加高效.快捷:ML实现了常用的机器学习,如:聚类.分类 ...
机器学习——逻辑回归算法
文章目录逻辑回归算法逻辑回归概念 Sigmoid函数逻辑回归模型代价函数最终运用梯度下降求解实验总结逻辑回归算法首先明确一个概念,逻辑回归并不是解决回归问题,而是解决分类问题,它是通 ...
机器学习系列(1)_逻辑回归初步
转载自: 机器学习系列(1)_逻辑回归初步 - 寒小阳 - 博客频道 - CSDN.NET http://blog.csdn.net/han_xiaoyang/article/details/4912 ...

logistic回归分析优点_逻辑回归算法的优缺点

导读