LVW特征选择算法简单介绍

LVW（Las Vegas Wrapper）是一种典型的包裹式特征选择方法，它在拉斯维加斯方法框架下使用随机策略来进行子集搜索，并以最终分类器的误差为特征子集评价准则。

与过滤式特征选择不考虑后续学习器不同，包裹式特征选择直接把最终要使用的学习器的性能作为特征子集的评价准则，换言之，包裹式特征选择的目的就是为了给定学习器选择最有利于其性能，量身定做的特征子集。

算法描述：

红色箭头：交叉验证学习器之间的误差。

红色框框：判断条件，是不是该保留这个子集。

LVW 基于拉斯维加斯方法的框架，假设数据集为 D，特征集为 A，则 LVW 每次从特征集 A 中随机产生一个特征子集 A′，然后使用交叉验证的方法（伪代码的第 8 步），在这里也就确定了学习器，估计学习器在特征子集 A′ 上的误差，若该误差小于之前获得的最小误差，或者与之前的最小误差相当但 A′中包含的特征数更少，则将 A′保留下来。

由于 LVW 算法每次评价子集 A′时，都需要重新训练学习器，计算开销很大，因此设置了参数 T 来控制停止条件。但当特征数很多（即 |A|很大）并且 T设置得很大时，可能算法运行很长时间都不能停止。

【参考文献】
《机器学习》周志华著.–北京：清华大学出版社

LVW特征选择算法简单介绍相关推荐

【转载】Relief 特征选择算法简单介绍
Relief 特征选择算法简单介绍原创 2017年03月11日 16:56:11 标签: 机器学习 4279 相关文章特征选择 LVW(Las Vegas Wrapper)特征选择算法简单介绍 ...
Karplus-Strong 算法简单介绍和实现
Karplus-Strong 算法简单介绍和实现本文为Coursera数字信号处理课程第一周内容,对相关课程刚兴趣的同学,请参看这里为了有更好的交互性,本文所有代码均上传至Microsoft Az ...
LRU(Least Recently Used)算法简单介绍
文章目录 LRU算法简介使用场景简单实现简单介绍 LRU算法简介 LRU英文翻译过来就是least recently used,字面意思就是最近最少使用,说白了就是一种淘汰算法,当有新的元素插入 ...
RSYNC及其算法简单介绍
现在的存储系统,本身都具备很强的迁移以及备份策略,虽然还是基于网络传输,有相对延迟,但是方便了不少.另外,现在使用的存储系统,读写瓶颈的问题,也大都改为对象存储. 而我们那时候做文件存储,最头疼的就是 ...
文本分析算法简单介绍-1
以下内容是基于李博<机器学习实践应用>,邹博小象学院<机器学习课程>以及李航书籍<统计学习方法>加上自己的理解提炼而成文本分析算法大致可以分成3种方法:机械分词, ...
垃圾回收算法简单介绍——JVM读书笔记lt;二gt;
垃圾回收的过程主要包含两部分:找出已死去的对象.移除已死去的对象. 确定哪些对象存活有两种方式:引用计数算法.可达性分析算法. 方案一:引用计数算法给对象中加入一个引用计数器.每当有一个地方引用它时 ...
神经网络之感知器算法简单介绍和MATLAB简单实现
Perceptron Learning Algorithm 感知机学习算法,在1943年被生物学家MeCulloch和数学家Pitts提出以后,面临一个问题:参数需要依靠人工经验选定,十分麻烦.因此人 ...
Annoy算法简单介绍
Annoy算法与Faiss相比,Annoy搜索,速度更快一点,主要目的是建立一个数据结构快速找到任何查询点的最近点.通过牺牲查询准确率来换取查询速度,这个速度比faiss速度还要快. 是什么 Ann ...
Dijkstra算法简单介绍
一.概念 Dijkstra算法解决的是带权重的有向图上单源最短路径问题,该算法要求所有边的权重都为非负值. 二.伪代码实现三.算法说明及例题图解算法重复从结点集V-S中选择最短路径估 ...
神经网络中的BPTT算法简单介绍
首先来看下RNN的一个循环网络结构图: RNN(Recurrent Neural Network) 在时间维度上,我们将RNN进行展开,以便能够更好地来观察: 主要的参数就是三部分:在RNN中每一个时 ...

LVW特征选择算法简单介绍

LVW特征选择算法简单介绍相关推荐

最新文章

热门文章