【ML】线性分类器和非线性分类器的区别

2024-05-11 22:49:35

Q：什么是分类器？
A：就是用来把输入的数据进行分类的模型（本质上是函数）。

图1，黑色的曲线就是非线性分类器。以曲线的形式分类了红点和蓝点。
图2，黑色的直线就是线性分类器。以直线的形式分类红点和蓝点。

一、线性分类器

以上图的二分类（红点和蓝点）为例：

线性分类器就是用一个“超平面”将两个样本隔离开，如：

（1）二维平面上的两个样本用一条直线来进行分类；
（2）三维立体空间内的两个样本用一个平面来进行分类(如下图)；
（3）N维空间内的两个样本用一个超平面来进行分类。

常见的线性分类器有：LR，贝叶斯分类，单层感知机、线性回归，SVM（线性核）等等。

优点	缺点
线性分类器速度快、编程方便且便于理解	但是拟合能力低

二、非线性分类器

以上图的二分类（红点和蓝点）为例：

非线性分类器就是用一个“超曲面”或者多个超平（曲）面的组合将两组样本隔离开（不属于线性的分类器），如：

（1）二维平面上的两组样本用一条曲线或折线来进行分类；
（2）三维立体空间内的两组样本用一个曲面或者折面来进行分类；
（3）N维空间内的两组样本用一个超曲面来进行分类。

常见的非线性分类器：决策树、RF、GBDT、多层感知机、SVM（高斯核）等等。

优点	缺点
非线性分类器拟合能力强	但是编程实现较复杂，理解难度大

三、总结

综上，我们可以得出，区分线性分类器与非线性分类器的标准是决策边界（Decision Boundary）的不同

思考：为什么说逻辑回归LR是线性分类器?

我们以二分类（0类、1类）为例：

总结：虽然逻辑回归模型特征经过非线性函数Sigmoid的转换，但是它的决策边界是线性方程，所以逻辑回归LR是非常典型的线性分类器。

决策边界的由来：决策边界上的样本被划分为正负样本的概率相等，即P(y=1|x,w) = P(y=0|x,w)得到，移项相除，两边取对数。

参考

http://tcode.net/article/5

https://www.zhihu.com/question/30633734/answer/1495493437

https://blog.csdn.net/xfwdxt/article/details/102516650

【ML】线性分类器和非线性分类器的区别相关推荐

线性分类器与非线性分类器的区别是什么？有哪些优劣特性？
线性分类器与非线性分类器的区别是什么?有哪些优劣特性? 线性分类器线性分类器就是用一个"超平面"将两个样本隔离开,如: (1)二维平面上的两个样本用一条直线来进行分类: ...
线性分类器与非线性分类器
线性分类器和非线性分类器是我们经常说的词汇,然而我却并不知道他的真正含义,上网搜索了一下,材料也是很少.整理如下: 对于二类的情形: 线性分类:是用一个超平面能将正负样本区分开,表达式为y=wx,这里 ...
线性结构和非线性结构的区别
一.线性结构线性结构最典型的数据关系就是一对一,它是一种有序数据的集合,什么叫有序呢? 比如说一维数组,决定数组块中的数据元素只有一个因素,也就是从左往右或者从右往左的行因素,而不是像二维和多维数组 ...
浅谈线性结构和非线性结构的区别
在讲线性结构和非线性结构之前,我们必须了解数据结构是什么,它包含什么内容,现在我用一个图大概的表示一下. 数据结构就是一种计算机存储的方式,比如说磁盘,磁盘是用链式存储的,这样可以节省内存空间.可以看 ...
线性数据与非线性数据的区别
变量的线性与非线性最常使用的线性是指"变量之间的线性关系",它表示两个变量之间的关系可以展示为一条直线,即可以使用方程y=kx +b来进行拟合. 要探索两个变量之间的关系是否是线 ...
线性可分支持向量机、线性支持向量机、非线性支持向量机的区别
线性可分支持向量机: 线性可分支持向量机处理的是严格线性可分的数据集. 其分类超平面为: 相应的决策函数为:或者其学习的优化问题为: 线性支持向量机: 线性支持向量机处理的是线性不可分的数据集.对于 ...
线性、非线性分类器数据的线性、非线性
线性.非线性分类器&数据的线性.非线性一.线性分类器: 有无数个可划分这两个线性可分类的超平面在二维空间里面,一个线性分类器是一条线.图14.8展示了五个分类例子.这些线有一个函数形式w1 ...
深度学习与计算机视觉（二）线性SVM与Softmax分类器
2.线性SVM与Softmax分类器 2.1 得分函数(score function) 2.1.1 线性分类器 2.1.2 理解线性分类器 2.2 损失函数 2.2.1 多类别支持向量机损失(Mult ...
基于fisher线性判别法的分类器设计
0.引言说明这篇文章实际上是楼主上的模式识别课程的课堂报告,楼主偷懒把东西直接贴出来了.选择fisher判别法的原因主要是想学习一下这个方法,这个方法属于线性判别法,操作起来和lda判别法近乎没啥区 ...
简述线性和非线性电路及其区别
电气设备是在线性和非线性组件的帮助下构建的.要了解这些器件的基本设计,需要对线性电路和非线性电路有基本的了解.在本文中,小编简单介绍什么是线性和非线性电路及其区别,线性和非线性电路的元素,并解释了一些 ...

最新文章

热门文章