特征选择的基本方法概述

特征选择主要有三种方法：

1、Filter方法
其主要思想是：对每一维的特征“打分”，即给每一维的特征赋予权重，这样的权重就代表着该维特征的重要性，然后依据权重排序。
主要的方法有：
Chi-squared test(卡方检验)
information gain(信息增益)，详细可见“简单易学的机器学习算法——决策树之ID3算法”
correlation coefficient scores(相关系数)

2、Wrapper方法
其主要思想是：将子集的选择看作是一个搜索寻优问题，生成不同的组合，对组合进行评价，再与其他的组合进行比较。这样就将子集的选择看作是一个是一个优化问题，这里有很多的优化算法可以解决，尤其是一些启发式的优化算法，如GA，PSO，DE，ABC等，详见“优化算法——人工蜂群算法(ABC)”，“优化算法——粒子群算法(PSO)”。
主要方法有：recursive feature elimination algorithm(递归特征消除算法)

3、Embedded方法
其主要思想是：在模型既定的情况下学习出对提高模型准确性最好的属性。这句话并不是很好理解，其实是讲在确定模型的过程中，挑选出那些对模型的训练有重要意义的属性。
主要方法：正则化，可以见“简单易学的机器学习算法——岭回归(Ridge Regression)”，岭回归就是在基本线性回归的过程中加入了正则项。
更多内容请访问我的网站omegaxyz.com

特征选择的基本方法概述相关推荐

机器学习中，有哪些特征选择的工程方法？
机器学习中,有哪些特征选择的工程方法? 数据和特征决定了机器学习的上限,而模型和算法调参只是逼近这个上限而已. 0,特征本身是否具有基础的表征能力或者判别性,例如方差筛选法.方差是衡量一个变量的离散程 ...
PHP采集商家信息及采集方法概述（上）
最近电子商务市场上面,有很多商家的导航,里面收集了大量的商家信息,如果从事电子商务的这些信息还是有用的.我最近在做的一个项目就要用到这些信息,但是你总不能给别人要吧,这样别人是不给滴.所以只有自己爬了 ...
Java05-day05【方法(概述、调用过程图解)、带参方法、带返回值方法、重载、方法参数传递(基本类型、引用类型)】
java零基础入门到精通(2019版)[黑马程序员] 视频+资料:[链接:https://pan.baidu.com/s/1MdFNUADVSFf-lVw3SJRvtg 提取码:zjxs] &qu ...
使用Spring Security3的四种方法概述
使用Spring Security3的四种方法概述那么在Spring Security3的使用中,有4种方法: 一种是全部利用配置文件,将用户.权限.资源(url)硬编码在xml文件中,已经实现过, ...
sklearn自学指南(part46)--新颖性和离群值检测方法概述
学习笔记,仅供参考,有错必纠文章目录新颖性和离群值检测离群点检测方法概述新颖性检验离群值检测拟合椭圆包络孤立森林局部离群因子基于局部离群因子的新颖性检测新颖性和离群值检测离群点检 ...
文本检测-EAST方法概述
<EAST: An Efficient and Accurate Scene Text Detector> 特点概述:在这篇文章中,提出了一个快速且精确的场景文本检测方法,该方法取消了一些 ...
Android方法的概括,Android_Android中startService基本使用方法概述，Android中有两种主要方式使用Ser - phpStudy...
Android中startService基本使用方法概述 Android中有两种主要方式使用Service,通过调用Context的startService方法或调用Context的bindServi ...
DBA_Oracle性能优化的基本方法概述（方法论）
2014-12-18 Created By BaoXinjian 一.摘要 Oracle 性能优化的基本方法概述 1)设立合理的性能优化目标. 2)测量并记录当前性能. 3)确定当前Oracle性能瓶 ...
基于机器学习的车辆检测算法研究方法概述
基于机器学习的车辆检测算法研究方法概述 1 背景.意义.分类和应用 1.1 问题的背景与意义 1.2 目标检测分类 1.3 应用 2 基本算法 2.1 帧间差分法 2.2 背景减除法 2.2.1 中值 ...
# 经典目标检测识别方法概述RCNN/FAST/FASTER RCNN/MASK RCNN/SSD/DSSD/YOLO V1/YOLO V2等
经典目标检测识别方法概述@陈子逸经典目标检测识别方法概述由于水硕期间自学了一些目标探测的方法,这里做一个概述,肯定有不完美的地方,还请指正一起进步. 综述 1.分别简单描述一下RCNN系列: 在我 ...

特征选择的基本方法概述

特征选择的基本方法概述相关推荐

最新文章

热门文章