支持向量机递归特征消除(下文简称SVM-RFE)是由Guyon等人在对癌症分类时提出来的，最初只能对两类数据进行特征提取。它是一种基于Embedded方法。

支持向量机

支持向量机广泛用于模式识别，机器学习等领域，SVM采用结构风险最小化原则，同时最小化经验误差，以此提高学习的性能。详细的SVM介绍请看我的另一篇博文《线性支持向量机》

在这简单介绍一下SVM。
设训练集 ${(x_i,y_i)\}_{i=1}^N$ ，其中 $xi∈RD,yi∈{+1,−1}x_i\in R^D, y_i \in \{+1,-1\}$ ， $x_i为第i$ 个样本，N为样本量，D为样本特征数。SVM寻找最优的分类超平面 $ω⋅x+b=0\omega\cdot x+b=0$ 。
SVM需要求解的优化问题为：
$\quad \frac{1}{2}||\omega||^2+C\Sigma_{i=1}^N\xi_i\\ s.t.\quad y_i(\omega\cdot x_i+b)\ge 1-\xi_i,i=1,2,...,N\\ \xi_i\ge0,i=1,2,...,N$

而原始问题可以转化为对偶问题：
$min12Σi=1NΣj=1Nαiαjyiyj(xi⋅xj)−Σi=1Nαis.t.Σi=1Nyiαi=00≤αi≤C,i=1,2,...,Nmin\quad \frac{1}{2}\Sigma_{i=1}^N\Sigma_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\Sigma_{i=1}^N\alpha_i\\ s.t.\quad \Sigma_{i=1}^Ny_i\alpha_i=0\\ 0\le \alpha_i\le C,i=1,2,...,N$
其中， $αi\alpha_i$ 为拉格朗日乘子。
最后 $ω\omega$ 的解为：
$ω=Σi=1Nαiyixi\omega=\Sigma_{i=1}^N\alpha_iy_ix_i$

两分类的SVM-RFE算法

SVM-RFE是一个基于SVM的最大间隔原理的序列后向选择算法。它通过模型训练样本，然后对每个特征进行得分进行排序，去掉最小特征得分的特征，然后用剩余的特征再次训练模型，进行下一次迭代，最后选出需要的特征数。而特征 $i$ 的排序准则得分定义为：
$c_i=w_i^2$
两分类SVM-RFE算法：
输入：训练样本 ${(xi,yi)}i=1N,yi∈{+1,−1}\{(x_i,y_i)\}_{i=1}^N, y_i \in \{+1,-1\}$
输出：特征排序集R
1)初始化原始特征集合S={1，2，…,D}，特征排序集R=[]
2)循环以下过程直至S=[]
$\quad$ 获取带候选特征集合的训练样本；
$\quad$ 用式 $min12Σi=1NΣj=1Nαiαjyiyj(xi⋅xj)−Σi=1Nαimin\quad \frac{1}{2}\Sigma_{i=1}^N\Sigma_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\Sigma_{i=1}^N\alpha_i$ 训练SVM分类器，得到 $ω\omega$ ；
$\quad$ 用式 $c_i=w_i^2,k=1,2,...,|S|$ 计算排序准则得分;
$\quad$ 找出排序得分最小的特征 $p=argminkckp=arg\quad min_kc_k$ ;
$\quad$ 更新特征集R=[p,R]；
$\quad$ 在S中去除此特征：S=S/p。
#多分类的SVM-RFE算法
多分类的SVM-RFE算法其实和两分类的SVM-RFE算法类似，只不过在处理多分类时，把类别进行两两配对，其中一类为正类，另一类为负类，这样需训练 $N(N−1)2\frac{N(N-1)}{2}$ 个分类器，这就是一对一（One vs. One,简称OvO）的多分类拆分策略（详细请看周志华的《机器学习》的第三章线性模型的多分类学习），这样就变成了多个两分类问题（当然，也可以使用一对其余（OvR）），每个两类问题用一个SVM-RFE进行特征选择，利用多个SVM-RFE获得多个排序准则得分，然后把多个排序准则得分相加后得到排序准则总分，以此作为特征剔除的依据，每次迭代消去最小特征，直到所有特征都被删除。
多分类SVM-RFE算法：
输入：训练样本集 ${(xi,vi)}i=1N,vi∈{1,2,...,l},l为类别数\{(x_i,v_i)\}_{i=1}^N, v_i \in \{1,2,...,l\},l为类别数$
输出：特征排序集R
1）初始化原始特征集合S={1，2，…,D}，特征排序集R=[]
2）生成 $l(l−1)2\frac{l(l-1)}{2}$ 个训练样本:
$\quad$ 在训练样本 ${(x_i,v_i)\}_{i=1}^N$ 中找出不同类别的两两组合得到最后的训练样本：
$\quad$ $X_j=$
$\qquad$ ${\{(x_i,y_i)\}_{i=1}^{N_1+N_{j+1}},j=1,2,...,l;当v_i=1时,y_i=1,当v_i=j+1,y_i=-1}$
$\qquad$ ${\{(x_i,y_i)\}_{i=1}^{N_2+N_{j-l+3}},j=l,...,2l-3;当v_i=2时,y_i=1,当v_i=j-l+3,y_i=-1}$
$⋯⋯⋯⋯⋯⋯⋯⋯\qquad\cdots \qquad\cdots\qquad\cdots\qquad\cdots\qquad\cdots\qquad\cdots\qquad\cdots\qquad\cdots$
$\quad$ ${(xi,yi)}i=1Nl−1+Nl,j=l(l−1)2−1,...,l(l−1)2;当vi=l−1时,yi=1,当vi=l,yi=−1{\{(x_i,y_i)\}_{i=1}^{N_l-1+N_{l}},j=\frac{l(l-1)}{2}-1,...,\frac{l(l-1)}{2};当v_i=l-1时,y_i=1,当v_i=l,y_i=-1}$
3）循环一下过程直至S=[]:
$\quad$ 获取用l个训练子样本 $X_j(j=1,2,...,l(l-1)/2)$ ；
$\quad$ 分别用 $X_j$ 训练SVM，分别得到 $ωj(j=1,2,...,l)\omega_j(j=1,2,...,l)$ ；
$\quad$ 计算排序准则得分 $ck=Σjωjk2(k=1,2,...,∣S∣)c_k=\Sigma_j\omega_{jk}^2(k=1,2,...,|S|)$ ；
$\quad$ 找出排序准则得分最小的特征 $p=argminkckp=arg\quad min_kc_k$ ；
$\quad$ 更新特征集R=[p,R]；
$\quad$ 在S中去除此特征S=S/p.

参考
【Isabelle Guyon, Jason Weston et.al】Gene Selection for Cancer Classification using Support Vector Machines
【黄晓娟，张莉】改进的多类支持向量机递归特征消除在癌症多分类中的应用
【周志华】机器学习

特征选择之支持向量机递归特征消除（SVM-RFE）相关推荐

使用特征_R语言-使用caret包实现特征选择：递归特征消除(RFE)算法
在caret(short for classification and regression training)包中有多个函数可以实现特征选择,总的分为封装法和过滤法.封装法,将特征选择过程与训练过程 ...
python卡方检验筛选特征原理_基于Python的遥感特征筛选—递归特征消除(RFE)与极限树(Extra-Trees)...
引言基于前几篇文章关于筛选方法的介绍,本篇同样给大家介绍两种python封装的经典特征降维方法,递归特征消除(RFE)与极限树(Extra-Trees, ET).其中,RFE整合了两种不同的超参数, ...
R语言基于递归特征消除RFE（Recursive Feature Elimination）进行特征筛选（feature selection）
R语言基于递归特征消除RFE(Recursive Feature Elimination)进行特征筛选(feature selection) 对一个学习任务来说,给定属性集,有些属性很有用,另一些则可 ...
利用多项式特征生成与递归特征消除解决特征组合与特征选择问题
目录项目背景技术栈实现数据代码总结项目背景无论是对于什么数据都存在两个非常经典的问题:问题一是,数据与标签之间,数据与数据之间的一些实际关系很难搞清楚.有些时候特征A,特征B可能都与标 ...
使用RFECV、递归特征消除 (Recursive Feature Elimination)进行特征筛选详解及实战
使用RFECV.递归特征消除 (Recursive Feature Elimination)进行特征筛选详解及实战包装法,根据目标函数(通常是预测效果评分),每次选择若干特征,或者排除若干特征. 所 ...
递归特征消除和K折交叉验证(以决策树回归为例)
与特征选择不同的是递归特征消除后不会输出权值导入相应模块 import matplotlib.pyplot as plt import numpy as np import pandas as pd ...
基于wrapper的特征选择——递归特征消除RFE的python实现
class sklearn.feature_selection.RFE(estimator, *, n_features_to_select=None, step=1, verbose=0) http ...
随机森林模型进行递归特征消除的python实现
核心代码: import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.metrics im ...
RFE递归式特征消除
RFE递归式特征消除 1 声明本文的数据来自网络,部分代码也有所参照,这里做了注释和延伸,旨在技术交流,如有冒犯之处请联系博主及时处理. 2 RFE递归式特征消除简介 RFE(Recursive F ...

特征选择之支持向量机递归特征消除（SVM-RFE）

支持向量机

两分类的SVM-RFE算法

特征选择之支持向量机递归特征消除（SVM-RFE）相关推荐

最新文章

热门文章