线性、非线性分类器数据的线性、非线性
线性、非线性分类器&数据的线性、非线性
一、线性分类器:
有无数个可划分这两个线性可分类的超平面
在二维空间里面,一个线性分类器是一条线。图14.8展示了五个分类例子。这些线有一个函数形式w1x1+w2x2=b。线性分类器的分类规则是:如果w1x1+w2x2>b,就把一个文档归类为,如果w1x1+w2x2<=b,就把它归类为。在这里,(x1,x2)T是文档的二维向量表示,(w1,w2)是参数向量,和b一起决定决策边界。此外,在图 15.7中给出了线性分类器的另一种几何解释。
正如我们之前在公式 140中处理的那样,我们可以通过定义一个超平面将一个二维线性分类器映射到更高维空间,这里我重复一下之前的公式,即公式 144:
然后,分类标准更改为:如果WtX>b,就归类为一类,如果WtX<b,就归类为另一类。我们把使用的超平面作为一个线性分类器的决策超平面。
图14.9 线性分类算法
图 14.9展示的是在M维空间中对应的线性分类算法。首先,从给出的这个简化算法表述来看,线性分类似乎是很简单的。然而,困难的是线性分类器的训练,也就是基于数据集来确定参数和b。我们用于评估学习算法性能的标准是通过比较经过学习得到的线性分类器在新数据上的表现效果来确定的,通常会有一些学习算法最后会计算出优于其它算法的参数。
二、非线性分类器:
图14.11 非线性问题
非线性分类器的一个典型例子就是kNN。从图 14.6这个例子可以看出,kNN的非线性是直观清晰的。kNN的决策边界(如14.6的 两条线 )是局部线性划分,但通常有一个复杂的形状,并不等同于二维空间中的一条线或是更高维空间中的一条超平面。图 14.11是另一个非线性问题的例子:在 分布和 分布中没有一条很好的线性分割线,因为在图的左上角还有一个环形包围的“区域”。线性分类器会误分圆形内部的部分,所以在处理这种类型的问题时,如果训练集足够大的话,像kNN这样的非线性分类器反而会表现得更加精确。
如果一个问题是非线性问题并且它的类边界不能够用线性超平面估计得很好,那么非线性分类器通常会比线性分类器表现得更精准。如果一个问题是线性的,那么最好使用简单的线性分类器来处理。或者将需把数据映射到一个更高维的核空间,使数据呈线性分布,实现非线性数据到线性数据的转换,从而对非线性数据进行分类。
三、线性数据和非线性数据
简单讲,线性指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动;而非线性则指不按比例、不成直线的关系,代表不规则的运动和突变。我们说,线性关系是互不相干的独立关系,非线性则是相互作用,而正是这种相互作用,使得整体不再是简单地等于部分之和,而可能出现不同于"线性叠加"的增益或亏损。如问:两个眼睛的视敏度是一个眼睛的几倍?很容易想到的是两倍,可实际是 6-10倍!这就是非线性:1+1不等于2。再比如,激光的生成就是非线性的!当外加电压较小时,激光器犹如普通电灯,光向四面八方散射;而当外加电压达到某 一定值时,会突然出现一种全新现象:受激原子好像听到“向右看齐”的命令,发射出相位和方向都一致的单色光,就是激光。
具体从相互关联的两个角度来看,线性满足了两点,其一:叠加原理成立;其二:物理变量间的函数关系是直线,变量间的变化率是恒量。相应地非线性概念就可以界定为:
其二,作为等价的另—种表述,我们可以从另一个角度来理解非线性:在用于描述—个系统的一套确定的物理变量中,一个系统的—个变量最初的变化所造成的此变量或其它变量的相应变化是不成比例的,换言之,变量间的变化率不是恒量,函数的斜率在其定义域中有不存在或不相等的地方,概括地说,就是物理变量间的一级增量关系在变量的定义域内是不对称的。可以说,这种对称破缺是非线性关系的最基本的体现,也是非线性系统复杂性的根源。对非线性概念的这两种表述实际上是等价的,其叠加原理不成立必将导致其二物理变量关系不对称;反之,如果物理变量关系不对称,那么叠加原理将不成立。之所以采用了两种表述,是因为在不同的场合,对于不同的对象,两种表述有各自的方便之处,如前者对于考察系统中整体与部分的关系、微分方程的性质是方便的,后者对于考察特定的变量间的关系(包括变量的时间行为)将是方便的。
当然,对于线性规划问题,我们已有通用解法,而非线性规划的各种算法大多有自己特定的适用范围,都有一定的局限性,到目前为止还没有适合于各种非线性规划问题的一般算法。这正是需要人们进一步研究的课题。
线性和非线性对于函数:
1. 线性linear,指量与量之间按比例、成直线的关系,在数学上可以理解为一阶导数为常数的函数;
非线性non-linear则指不按比例、不成直线的关系,一阶导数不为常数。
2. 线性的可以认为是1次曲线,比如y=ax+b ,即成一条直线
非线性的可以认为是2次以上的曲线,比如y=ax^2+bx+c,(x^2是x的2次方),即不为直线的即可
3. 两个变量之间的关系是一次函数关系的——图象是直线,这样的两个变量之间的关系就是“线性关系”;
如果不是一次函数关系的——图象不是直线,就是“非线性关系
4. “线性”与“非线性”,常用于区别函数y = f (x)对自变量x的依赖关系。线性函数即一次函数,其图像为一条直线。其它函数则为非线性函数,其图像不是直线。
线性,指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动;而非线性则指不按比例、不成直线的关系,代表不规则的运动和突变。
比如,普通的电阻是线性元件,电阻R两端的电压U,与流过的电流I,呈线性关系,即R=U/I,R是一个定数。二极管的正向特性,就是一个典型的非线性关系,二极管两端的电压u,与流过的电流i不是一个固定的比值,即二极管的正向电阻值,是随不同的工作点(u、i)而不同的。
5. 在数学上,线性关系是指自变量x与因变量yo之间可以表示成y=ax+b ,(a,b为常数),即说x与y之间成线性关系。
不能表示成y=ax+b ,(a,b为常数),即非线性关系,非线性关系可以是二次,三次等函数关系,也可能是没有关系。
线性和非线性对于向量:
线性表示定义:给定向量组A:α1、α2、……、αm和向量β,如果存在一组数λ1、λ2、……、λm使β=λ1α1+λ2α2+……+λmαm,则向量β是向量组A的线性组合,这时称向量β能由向量组A线性表示。
1、向量组B=(β1,β2,……,βm)能由向量组A(α1,α2,……,αm)线性表示的必要条件是矩阵A=(α1,α2,……,αm)的秩等于矩阵B=(α1,α2,……,αm,B)的秩,而非充要条件,因为两个矩阵的秩相同,并不代表它们之间可以互相线性表示。
注意,此处向量组R(B)指的是R(A,B)
2.向量组B能由向量组A线性表示,则向量组B的秩不大于向量A的秩。反之不一定成立。
3.① 一个向量可由向量组中其余向量线性表示,前提是这个向量组线性相关。
②但线性相关的向量组中并不是任一向量都可由其余向量线性表示。
③但当其余向量线性无关时,这个向量必可由其余向量线性表示。
4.零向量可由任一组向量线性表示。
5.向量组α1,α2,α3,……,αm中每个向量都可由向量组本身线性表示。
6.任一n唯向量α=(α1,α2,……,αm)都可由n唯单位向量组线性表示。
7.设α1,α2,α3,……,αm线性无关,而α1,α2,……,αm,β线性相关,则β可由α1,α2,α3,……,αm线性表示,且表示是唯一的。
因此,维数越高的数据越难线性表示。高光谱数据属于高维数据,因此很难线性表示,属于非线性数据,一般的线性分类器不能有效地分类,多用非线性分类器。
线性、非线性分类器数据的线性、非线性相关推荐
- 线性分类器与非线性分类器的区别是什么?有哪些优劣特性?
线性分类器与非线性分类器的区别是什么?有哪些优劣特性? 线性分类器 线性分类器就是用一个"超平面"将两个样本隔离开,如: (1)二维平面上的两个样本用一条直线来进行分类: ...
- 线性分类器与非线性分类器
线性分类器和非线性分类器是我们经常说的词汇,然而我却并不知道他的真正含义,上网搜索了一下,材料也是很少.整理如下: 对于二类的情形: 线性分类:是用一个超平面能将正负样本区分开,表达式为y=wx,这里 ...
- Matlab最小二乘法:线性最小二乘、加权线性最小二乘、稳健最小二乘、非线性最小二乘与剔除异常值效果比较
最近我们被客户要求撰写关于最小二乘法的研究报告,包括一些图形和统计输出.matlab软件在拟合数据时使用最小二乘法.拟合需要一个参数模型,该模型将因变量数据与具有一个或多个系数的预测数据相关联.拟合过 ...
- OpenCV之ml 模块. 机器学习:支持向量机(SVM)介绍 支持向量机对线性不可分数据的处理
支持向量机(SVM)介绍 目标 本文档尝试解答如下问题: 如何使用OpenCV函数 CvSVM::train 训练一个SVM分类器, 以及用 CvSVM::predict 测试训练结果. 什么是支持向 ...
- OpenCV支持向量机SVM用于非线性可分离数据
OpenCV支持向量机SVM用于非线性可分离数据 支持向量机SVM用于非线性可分离数据 目标 动机Motivation 优化问题的扩展 源代码 解释 设置训练数据 设置SVM的参数 训练SVM 显示决 ...
- 为什么梯度下降法对于非线性可分数据有效
前言 晚上逛微博看到的,顺便拿过来翻译一下,做做笔记 国际惯例,来个原文链接: 原文地址:Why is gradient descent robust to non-linearly separabl ...
- [模式识别].(希腊)西奥多里蒂斯第四版笔记4之__非线性分类器
1,Exclusive OR(XOR)Booleanfunction问题 布尔量AND和OR是线性可分的 2,两层感知器 对Figure4.1中A类和B类,首先能想到的是画两条直线.如图Figure4 ...
- OpenCV支持向量机SVM对线性不可分数据的处理
支持向量机对线性不可分数据的处理 目标 本文档尝试解答如下问题: 在训练数据线性不可分时,如何定义此情形下支持向量机的最优化问题. 如何设置 CvSVMParams 中的参数来解决此类问题. 动机 为 ...
- 斯坦福大学公开课机器学习:Neural Networks,representation: non-linear hypotheses(为什么需要做非线性分类器)...
如上图所示,如果用逻辑回归来解决这个问题,首先需要构造一个包含很多非线性项的逻辑回归函数g(x).这里g仍是s型函数(即 ).我们能让函数包含很多像这的多项式,当多项式足够多时,那么你也许能够得到可以 ...
最新文章
- python语言入门n-python语言入门之字符串的一些用法
- 【转载】PHP面向对象(OOP)编程入门教程
- Oracle For 循环添加数据
- mybatisplus报的mysql错误归纳
- PostgreSql之pgsql 条件和顺序控制
- vba宏语言_Excel VBA(1) – VBA 简介及录制宏
- python中iter方法_Python中的迭代器(iter())函数。
- Window下完全卸载MySQL教程
- 最大功率跟踪mppt
- 【巧用百度地图】—百度地图生成器(直接获取代码)
- pixi.js 5.0_使用Pixi.js进行高级绘图
- 用计算机房的英语造句简单,用英语造句子elder.doc
- [buuctf][Zer0pts2020]easy strcmp
- Modular Arithmetic
- 【示例源码】还在为毒奶粉忧桑?轻松一下,玩玩猩球保卫战吧(html5游戏)
- 二叉树的遍历 中序线索二叉树
- 计算机学院刘岗,刘岗-中国科学院大学-UCAS
- i5 13490f参数 怎么样 i5 13490f功耗 酷睿i513490f什么水平级别
- 面相对象模型(OOM)——用例图(The Use Case Diagram)
- 打破学位和学术的迷信
热门文章
- android 系统 os,安卓系统中公认的5款手机系统,氢OS、EMUI、Flyme你用过几款?
- 取消Parallels Desktop与mac共享应用程序
- android忘记密码找回,安卓手机手势密码忘记怎么办 安卓手机手势密码找回技巧...
- MySQL修改字段命令
- tensorflow学习笔记——过拟合
- 从硬盘安装ubuntu
- WordPress文章海报分享WP-Poster插件源码
- 腾讯云GPU云服务器、CVM云服务器、轻量应用服务器配置价格表
- python sdklive2d_用Cubism 2制作自己的Live2D(尝试向)——android sdk样本的下载与Android studio编译!...
- SAP中锁定事务代码