SVM与feature

从SVM核函数特点看特征选择：SVM的核函数本质上是通过拆解当前特征（变成更多的特征），使一个非线性的问题转换为线性问题（SVM本身只能解决线性问题，现在有了核函数它就能够解决非线性问题了）。

所以，无论是不是线性函数，SVM都没有对不同的feature进行交叉计算:

比如一个vector (a, b, c), SVM只会扩展出 (a1, a2, a3, b1, b2, c1, c2)，但绝不会扩展出类似( a/b, b/c, logb(a^2) )。

所以在进行SVM特征选择时，必须给出理性的，直觉上有贡献的feature，而不是把所有原始信息丢给SVM，寄希望于其后期的核函数能搞定这一点。换句话说，经过计算的derived feature 包含信息可能不比原始feature更多，但如果是有效的derive feature会大大提高SVM的分类效果。

感觉对于事先提取有用的特征是很必要，对于图像区域信息提取，尽管可以有颜色、形状、纹理等信息，但区域之间的关系虽然也可以得到，但具体在SVM里如何得到体现我还真不知道，这个就是label之间的权值？

如果提取的特征相关性太大，那么做PCA还是很有必要的。这样就避免了冗余特征的存在，比较SVM不是万能公式，虽然它号称现今powerest的分类器。

SVM与feature相关推荐

svm学习之线性部分总结
svm是非常适合小数据集或中等规模的数据集的一个分类器: svm对feature scales是非常敏感的:如图所示: 如果训练数据不进行缩放,支持向量机就会倾向于忽略值较小的特征对于线性分类器,有 ...
机器学习-LR推导及与SVM的区别
之前整理过一篇关于逻辑回归的帖子,但是只是简单介绍了一下了LR的基本思想,面试的时候基本用不上,那么这篇帖子就深入理解一下LR的一些知识,希望能够对面试有一定的帮助. 1.逻辑斯谛分布介绍逻辑斯谛回 ...
机器学习算法总结--SVM
简介 SVM是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,即支持向量机的学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解.或者简单的可以理解为就是在高维空间中寻找一 ...
机器学习之支持向量机（SVM）小结
1. 分类支持向量机包含三种: 线性可分支持向量机:当训练数据线性可分时,可通过硬间隔最大化,学习一个线性的分类器,叫线性可分支持向量机,也称硬间隔支持向量机线性支持向量机:当训练数据近似线性可分 ...
LR推导及其与SVM的区别
之前整理过一篇关于逻辑回归的帖子,但是只是简单介绍了一下了LR的基本思想,面试的时候基本用不上,那么这篇帖子就深入理解一下LR的一些知识,希望能够对面试有一定的帮助. 1.逻辑斯谛分布介绍逻辑斯谛回 ...
What are Kernels in Machine Learning and SVM?
一个关于kernel的很好的解析: https://www.quora.com/What-are-Kernels-in-Machine-Learning-and-SVM 将它摘录过来了. What a ...
机器学习之支持向量机（SVM）学习笔记-Datawhale Task05
Author Bryce230 e-mail 2540892461@qq.com Software win10,Pycharm2019.3.3,Python3.7.7 SVM笔记-Datawhale ...
机器学习| 面试题：01、机器学习中LR（Logistic Regression）和SVM（Support Vector Machine）有什么区别与联系？
问题机器学习中LR(Logistic Regression)和SVM(Support Vector Machine)有什么区别与联系? 背景 LR和SVM的概念大家都有了解甚至很熟悉了,不过在面试中 ...
特征选择综述阅读：A survey on feature selection methods
目录 1.介绍 2.过滤方法(Filter methods) 2.1相关性标准 2.2 互信息 2.2.1 基于条件互信息的二值数据特性排名标准 2.3 小结 3.包裹式方法(Wrapper meth ...

SVM与feature

SVM与feature相关推荐

最新文章

热门文章