一.线性特征与非线性特征

“线性”与“非线性”是数学上的叫法。线性，指的就是两个变量之间成正比例的关系，在平面直角坐标系中表现出来，就是一条直线；而非线性指的就是两个变量之间不成正比，在直角坐标系中是曲线而非直线，例如一元二次方程的抛物线、对数函数等等关系。一切不是一次函数的关系，都是非线性的。
线性特征：次数为1的特征。这些特征对结果的影响是满足加法原则的，即整体等于部分之和
非线性特征：次数不是1的特征，如一些高维特征。这些特征不满足加法原则，例如在寒夜中一支火把给你体表温度的提升是1℃，但两支火把对你体表温度的提升或许不是2℃，而是1.5℃，此时，“火把数量”这个特征就不满足加法原则

二.线性模型与非线性模型

这是个见仁见智的问题，也就是说，它似乎没有一个确定的答案，因而我们不纠结于到底把这个模型称作“线性model”or“非线性model”，从这么僵化的论战里跳脱出来，好好掰扯一下这个问题：

首先，我认为model终归是要解决实际问题的一种方法，而到底是选择线性还是非线性的model，最初还是要取决于我们的数据是线性可分还是线性不可分的，也就是说，在model是不是线性的之前，还有“问题(样本)是不是线性的”这样一个问题；
- 样本是否为线性可分这个问题就很简单了，线性可分，指的就是我们能够找到一条直线（或高维的超平面），将大多数样本完成分离，比如线性可分SVM；若样本线性不可分，则需要使用SVM的核函数对特征进行映射，将特征空间映射到高维空间中去，这时候就是线性不可分SVM了(我这个叫法似乎不太专业...)
若我们的样本是线性可分的，那么我们直接使用线性model就可以解决分类问题，如LR。下图是LR的决策边界示意图：

那么LR就是标准的线性模型咯？我觉得最好不要这样武断的去决断，因为若将特征映射到高维，LR也可以在二维平面绘制出曲线的决策边界，完成对在二维空间中线性不可分的样本的分类，如下图，LR的判别函数以及决策边界：

所以我觉得，线性的model不一定非得是线性的，它可以通过一些方式将自己变成“非线性”model，例如非线性SVM使用核技巧对原始特征空间的映射、例如LR中引入高维的特征等等，我们毕竟很难说，加了核函数的SVM就不是SVM了吧？

最后，我想简单聊一下如何增强已有模型的“非线性”能力，或者如何让自己的模型更具有分类非线性样本的能力（以下仅仅是个人理解，欢迎拍砖！）

我们可以向LR学习，将输出的线性结果进行一次非线性函数的转换，将线性结果变成非线性的。例如sigmoid函数。
我们可以向SVM的核函数学习，将特征空间向高维映射，在更高的维度上寻找分隔超平面，在原始特征维度上自然就是非线性的了。
第二条中的SVM核函数，尤其是rbf核，向高维的映射方式我们不清楚，理论上是可以将特征映射到无限维度上去。我们在处理实际问题时也可以自造高维特征，例如组合特征、单纯使用某个特征的二次方或高次方等等，这其实也是和核函数将原始特征空间向更高维映射的方法几乎是一个意思。sklean中的一些专门用于生成组合特征的方法，就在做类似的事情。总之，一切利用已有的特征，进行特征组合、one-hot编码等方式产生新组合的方式，都可以被看做是将特征向高维去映射的一个方法，导致的结果就是使样本更“线性可分”，从增加数据优良性质这个角度进行提升分类结果。

线性特征与非线性特征、线性模型与非线性模型相关推荐

线性稀疏自编码机_特征工程之特征缩放amp;特征编码
机器学习入门系列(2)--如何构建一个完整的机器学习项目,第五篇! 本篇文章会继续介绍特征工程的内容,这次会介绍特征缩放和特征编码,前者主要是归一化和正则化,用于消除量纲关系的影响,后者包括了序号编码 ...
《精通特征工程》学习笔记（6）：非线性特征化与k-均值模型堆叠
1.非线性特征当数据位于一个薄饼状的线性子空间时,PCA 是非常有用的.但如果数据形成了一个更加复杂的形状,情况又将如何呢? 如果线性子空间是一张平展的纸,那么非线性流形的一个简单例子就是卷起来的纸 ...
线性函数与非线性函数的区别，线性模型与非线性模型的区别
一.线性函数与非线性函数的区别线性Line,是指量与量之间按照比例成直线关系,在数学上可理解为一阶导数是个常数: 非线性non-line则指不按照比例不成直线关系,一阶导数不为常数. 参考链接: 机 ...
线性模型和非线性模型的区别
在机器学习的回归问题中,线性模型和非线性模型都可以去对曲线进行建模,那么线性模型和非线性模型有什么区别呢? 其实,线性模型和非线性模型的区别并不在于能不能去拟合曲线.下面我们来详细介绍一下它们两个的区 ...
线性数据与非线性数据的区别
变量的线性与非线性最常使用的线性是指"变量之间的线性关系",它表示两个变量之间的关系可以展示为一条直线,即可以使用方程y=kx +b来进行拟合. 要探索两个变量之间的关系是否是线 ...
特征工程——categorical特征和 continuous特征
看到有些介绍,"特征分为categorical特征和 continuous特征"不解,查资料得单个原始特征(或称为变量)通常属于以下几类之一: 连续(continuous)特征 ...
特征工程之特征缩放特征编码
机器学习入门系列(2)–如何构建一个完整的机器学习项目,第五篇! 该系列的前四篇文章: 机器学习入门系列(2)–如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法特征工程之 ...
多取值离散型特征工程_特征工程(完）
机器学习入门系列(2)--如何构建一个完整的机器学习项目,第六篇! 这也是特征工程系列最后一篇文章,介绍特征提取.特征选择.特征构建三个工作,通常特征工程被认为分为这三方面的内容,只是我将前面的数据& ...
机器学习笔记七——特征工程之特征处理
特征处理 1.类别型特征的处理-特征编码 1.1 处理少量特征 1.2处理大量的类别特征 2.文本特征的处理--文本形式转换为向量形式 2.1 词集模型 2.2 词袋(Bag-of-Words,Bow ...

线性特征与非线性特征、线性模型与非线性模型

一.线性特征与非线性特征

二.线性模型与非线性模型

线性特征与非线性特征、线性模型与非线性模型相关推荐

最新文章

热门文章