【机器学习】线性(linear)与非线性(nonlinear)分类器区别
背景
在机器学习中,主要解决分类任务或回归任务,在这两者中,分类任务更为常见。
分类任务又分为线性(linear)分类和非线性(nonlinear)分类,本文主要介绍线性分类和非线性分类的区别。
区别
先放一张比较直观的图(来源见水印),左侧为非线性分类器,右侧为线性分类器。
即非线性分类器是求出左边这个曲线的表达式,线性分类器是求出右边这个直线的表达式。
线性分类器
线性分类器使用线性的函数表达式对样本进行分类,即划分边界为一个超平面,如:在二维空间中使用一条直线划分样本,在三维空间中使用一个平面来划分样本。线性分类器的常用表达式为:
其中 wjw_jwj 代表权重向量,而 xjx_jxj 代表样本特征向量, wj⋅xjw_j·x_jwj⋅xj即为特征向量的线性组合。
f(⋅)f(·)f(⋅)为一个简单的判别函数,通常是设定一个阈值,当 ∑wj⋅xj\sum w_j·x_j∑wj⋅xj大于该阈值时,判定样本属于某一类,否则判定样本属于另一类。选择不同的权重向量和阈值可以得到不同的分类超平面(如下面第一张图中的不同分类曲线)。
常见的线性分类器有:线性回归分类器,贝叶斯分类,单层感知机,SVM(线性核)等。
非线性分类器
为克服线性函数分类效果不足的问题,非线性分类器中引入了非线性函数来提升分类效果。非线性分类器用一个曲面或者多个超平(曲)面的组合将两组样本隔离开。一个典型的非线性分类器就是决策树,它的主要思想就是用多个线性分类器的组合来将两组样本隔离开。 决策树采用非常直观的方式来对样本进行分类,你只需要针对样本的特征问一系列问题就能将各样本分离开来。例如,当你想建立决策树来判断一个动物的种类时,可以询问以下问题:
其中对于每个问题的回答都相当于一个线性分类器(判定某一特征值是否超过某个阈值),对这一系列的问题的回答就是对线性分类器的组合,最终形成的分界面也是一些超平面的组合。
常见的非线性分类器包括决策树、随机森林、GBDT、SVM(非线性核)、多层感知机等。
很多的情况下样本是线性不可分的,这时可以通过升维的方法来解决。大致思路如下图所示:
非线性分类器由于其更加多样化的表达形式可以有更好的拟合效果,但这也导致他的设计和训练难度加大,而且当特征维度较低时采用非线性分类器可能会产生过拟合的问题。
借鉴
作者:Momodel
链接:https://www.zhihu.com/question/30633734/answer/1495493437
来源:知乎
【机器学习】线性(linear)与非线性(nonlinear)分类器区别相关推荐
- 线性数据与非线性数据的区别
变量的线性与非线性 最常使用的线性是指"变量之间的线性关系",它表示两个变量之间的关系可以展示为一条直线,即可以使用方程y=kx +b来进行拟合. 要探索两个变量之间的关系是否是线 ...
- 线性结构和非线性结构的区别
一.线性结构 线性结构最典型的数据关系就是一对一,它是一种有序数据的集合,什么叫有序呢? 比如说一维数组,决定数组块中的数据元素只有一个因素,也就是从左往右或者从右往左的行因素,而不是像二维和多维数组 ...
- 浅谈线性结构和非线性结构的区别
在讲线性结构和非线性结构之前,我们必须了解数据结构是什么,它包含什么内容,现在我用一个图大概的表示一下. 数据结构就是一种计算机存储的方式,比如说磁盘,磁盘是用链式存储的,这样可以节省内存空间.可以看 ...
- 机器学习中线性函数与非线性函数的区别
直线是线性函数,但一些曲线也是线性函数 线性模型和非线性模型的区别? a. 线性模型可以用曲线拟合样本,线性模型可以是用曲线拟合样本,但是分类的决策边界一定是直线的,例如logistics模型(广义线 ...
- 线性可分支持向量机、线性支持向量机、非线性支持向量机的区别
线性可分支持向量机: 线性可分支持向量机处理的是严格线性可分的数据集. 其分类超平面为: 相应的决策函数为:或者 其学习的优化问题为: 线性支持向量机: 线性支持向量机处理的是线性不可分的数据集.对于 ...
- 机器学习基石12:非线性变换(Nonlinear Transformation)
本文介绍了非线性变换的整体流程:通过非线性变换,将非线性模型映射到另一个空间,转换为线性模型,再来进行线性分类. 之后介绍了非线性变换存在的问题:时间复杂度和空间复杂度的增加. 最后证明了非线性变换的 ...
- 简述线性和非线性电路及其区别
电气设备是在线性和非线性组件的帮助下构建的.要了解这些器件的基本设计,需要对线性电路和非线性电路有基本的了解.在本文中,小编简单介绍什么是线性和非线性电路及其区别,线性和非线性电路的元素,并解释了一些 ...
- 线性回归算法模型与线性分类算法模型联系与区别初探
1. 线性算法模型 0x1:线性回归和线性分类中的"线性"指的是什么 线性(linear),指量与量之间按比例.成直线的关系,在数学上可以理解为一阶导数为常数的函数: 非线性(no ...
- 机器学习 - - - LR和SVM的联系与区别?
解析一 LR和SVM都可以处理分类问题,且一般都用于处理线性二分类问题(在改进的情况下可以处理多分类问题) 区别: 1.LR是参数模型,svm是非参数模型,linear和rbf则是针对数据线性可分和不 ...
最新文章
- 【技术贴】虚拟机 VMware win7 win8网卡驱动下载 解决虚拟机不识别网卡没有本地连接...
- 深入分析 Jdk - 集合容器 Map 与 Set
- Java2WSDL 和 WSDL2Java(Axis)
- java的Access restriction错误
- 【干货】Linux 运维故障排查思路,有这篇文章就够了
- Firewalld防火墙应用
- 使用最新版mysql 8.0.11会出现的一些问题
- 简单工厂抽象工厂工厂方法_让工厂美丽
- 世界之窗浏览器删除文本框信息_文本框——Excel里的便利贴
- java基础—IO流——字节流的操作演示
- js验证手机号码,邮箱,qq号
- LNK2026	module unsafe for SAFESEH image
- Chatbot - NLP
- 阶段3 3.SpringMVC·_03.SpringMVC常用注解_7 ModelAttribute注解
- 计算机接电信光猫无法上网,电信光猫上网设置方法
- 【MapGIS精品教程】002:GDB本地数据库的使用
- SUI Mobile 手机移动端H5框架
- matlab中有非线性模型吗,仿真非线性模型Matlab
- Android WebView白屏解决方案
- mac全选文字的快捷键_mac全选的快捷键是什么?苹果电脑全选的快捷键是什么?...