先说结论

0、LR给出了后验概率，SVM只有01分类，没有后验概率
1、LR采用logistic损失（误差平方和损失），SVM采用合页（Hinge）损失。（损失函数是二者的本质区别）
2、LR对异常值敏感；SVM对异常值不敏感，泛华能力强，分类效果好。
3、在训练集较小时，SVM较适用，而LR需要较多的样本。
4、LR模型找到的那个超平面，是尽量让所有点都远离他，而SVM寻找的那个超平面，是只让最靠近中间分割线的那些点尽量远离，即只用到那些支持向量的样本。
5、对非线性问题的处理方式不同，LR主要靠特征构造，必须组合交叉特征，特征离散化；SVM也可以这样，还可以通过kernel，kernel很强大。
6、LR相对来说模型更简单，好理解，实现起来，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固，有一套结构化风险最小化的理论基础.

SVM优缺点：

优：泛化错误率低，计算开销不大，结果易解释。

缺：SVM对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。

Logistic优缺点：

优：计算代价不高，易于理解和实现。

缺：容易欠拟合，分类精度可能不高。
由逻辑回归引入SVM

损失函数为：

SVM简化一下逻辑回归的损失函数，如蓝色折现所示：

绿色是
蓝色是

.由于的限制 θ不会太大，若P也不够大，就很难实现
所以促使分类器向下面这样演化：

核函数 kernel

landmark怎么选？

参考链接：
https://www.jianshu.com/p/b9e3fd894770
https://blog.csdn.net/u012052268/article/details/78816779
https://blog.csdn.net/u012313437/article/details/80757118

SVM原理，及和逻辑回归区别相关推荐

python 线性回归与逻辑回归区别（有监督学习【分类、回归】、无监督学习【聚类、强化学习】、损失函数、梯度下降、学习率、过拟合、欠拟合、正则化）
引用文章1 https://blog.csdn.net/viewcode/article/details/8794401 引用文章2:一.线性回归和逻辑回归一.什么是机器学习利用大量的数据样本,使 ...
朴素贝叶斯与逻辑回归区别
朴素贝叶斯与逻辑回归有什么异同 1.上述链接大佬详细的介绍了朴素贝叶斯.逻辑回归的由来. 2.在B站李宏毅老师机器学习课中第4讲Classification中提到了从贝叶斯公式推导出逻辑函数的激活函数 ...
[机器学习-原理与实践]逻辑回归(LogisticRegression)多分类(OvR, OvO, MvM）
这里写目录标题前言 One-VS-Rest One-Vs-One 比较 OvO 和 OvR 多对多 (Many vs Many) 过拟合问题类别不平衡问题 Sklearn实践案例总结前言逻辑 ...
线性回归、逻辑回归及SVM
1,回归(Linear Regression) 回归其实就是对已知公式的未知参数进行估计.可以简单的理解为:在给定训练样本点和已知的公式后,对于一个或多个未知参数,机器会自动枚举参数的所有可能取值(对 ...
【机器学习】逻辑回归(LogisticRegression)原理与实战
文章目录前言一.什么是逻辑回归 1.1 逻辑回归基础概念 1.2 逻辑回归核心概念二.逻辑回归Demo 2.1 数据准备 2.2 创建逻辑回归分类器 2.3 分类器预测三.逻辑回归实战 3.1 ...
算法梳理（二）逻辑回归原理及实现
算法梳理(二)逻辑回归原理及实现逻辑回归原理一.从线性回归到逻辑回归二.二分类的逻辑回归 (一)过程推理 (二)正则化三.scikit-learn中逻辑回归参数详解逻辑回归原理 logist ...
logisticregression参数_通俗地说逻辑回归【Logistic regression】算法（二）sklearn逻辑回归实战...
前情提要: 通俗地说逻辑回归[Logistic regression]算法(一) 逻辑回归模型原理介绍上一篇主要介绍了逻辑回归中,相对理论化的知识,这次主要是对上篇做一点点补充,以及介绍sklear ...
逻辑回归与线性回归算法梳理
逻辑回归算法梳理逻辑回归与线性回归算法 1线性回归 2 逻辑回归 2.1 逻辑回归原理 2.2 逻辑回归损失函数 2.3 简化后的逻辑回归损失函数 3 联系与区别 3.1 联系 3.2 区别 4 正 ...
机器学习算法 03 —— 逻辑回归算法(精确率和召回率、ROC曲线和AUC指标、过采样和欠采样)
文章目录系列文章逻辑回归 1 逻辑回归介绍 1.1 逻辑回归原理输入激活函数 1.2 损失以及优化 2 逻辑回归API介绍 3 案例:肿瘤良性恶性预测 4 分类模型的评估 4.1 分类评估方法 ...
逻辑回归算法梳理-2
机器学习初级算法梳理二任务二:逻辑回归算法梳理 1.逻辑回归与线性回归的联系与区别 1.1 相同点 1.2 不同点 2. 逻辑回归的原理 3.逻辑回归损失函数推导及优化 3.1 推导 3.2 优化 ...

SVM原理，及和逻辑回归区别

先说结论

SVM原理，及和逻辑回归区别相关推荐

最新文章

热门文章