文章目录

1. 特征工程思维导图
2. 特征提取
- 2.1 探索性数据分析
- 2.2 数值特征
- 2.3 类别特征
- 2.4 时间特征
- 2.5 空间特征
- 2.6 文本特征
3. 特征选择
- 3.1 过滤方法
- 3.2 封装方法
- 3.3 嵌入方法
参考

1. 特征工程思维导图

在机器学习应用中，特征工程扮演重要的角色，可以说特征工程时机器学习应用的基础。我们都知道，数据和特征决定了机器学习算法的上限，而模型和算法只是不断逼近这个上限而已。

2. 特征提取

特征提取是对原数据进行变换的过程，我们首先将原始数据转化为实向量。原始数据有很多类型，比如数值类型、离散类型、文本、图像以及视频等等。将原始数据转化为实向量后，对应的特征空间不一定是最佳的特征空间。为了让模型更好地学习到数据中隐藏的规律，可能还需要对特征进行变换。
对于特征提取，我们一般可以先进行探索性数据分析，然后针对不同类型的特征，采取不同的提取方法。

2.1 探索性数据分析

探索性数据分析（Exploratory Data Analysis,EDA)是采用各种技术在尽量少的先验假设条件下，探索数据内部结构和规律的一种数据分析方法或理念。
EDA技术通常分为两类。一类是可视化技术，如箱形图、直方图、多变量图、链图、帕累托图、散点图、茎叶图、平行坐标、让步比、多为尺度分析、目标投影追踪、主成分分析、多线性主成分分析、降维、非线性降维等。另一类是定量技术，如样本均值、方差、分位数、峰度、偏度等。

2.2 数值特征

数值特征的数据具有实际测量意义，可分为离散型和连续型。数值特征常用的处理方法有：

截断：保留重要信息的前提下对特征进行截断、截断后的特征也可看做是类别特征。
二值化
分桶：常用的分桶方法有均匀分桶、分位数分桶。
缩放：常用的缩放方法又标准化缩放（均值为0，方差为1）、最大最小值缩放、范数归一化。
缺失值处理：处理方法常见的有补均值、补中位数或者直接丢弃
特征交叉：对两个数值变量进行加减乘除等操作。也可以通过FM、FFM等模型进行自动的特征交叉组合。
非线性编码：多项式核、高斯核或者使用树模型的叶结点进行非线性编码。
行统计量：均值、方差、最大值、最小值、偏度、峰度等。

2.3 类别特征

类别特征也就是我们常说的离散变量，常见的处理方法有：

自然数编码：给每一个类别分配一个编号。
独热编码：这是我们最常用的处理方法，即转换为one-hot。
分层编码：对于邮政编码或者身份证号等类别特征，可以取不同位数进行分层，然后按层次进行自然数编码。
散列编码：对于取值特别多的类别特征，可以先使用散列函数进行散列操作，避免特别系数。
计数编码：将类别特征用其对应的计数来代替。
计数排名编码：利用计数的排名对类别特征进行编码
目标编码：基于目标变量对类别特征进行编码
类别特征之间交叉组合
类别特征和数值特征之间交叉组合

2.4 时间特征

常用的时间特征有：年、月、日、时、分、秒、星期几、年的第几天、一天过了多少分钟、季度、是否闰年、是否季度初、是否季度末、是否周末、是否月度末、是否营业时间、是否节假日。
还有一种时间特征是基于滑动窗口的统计特征。

2.5 空间特征

经纬度、行政区ID、街道、城市、距离等等。

2.6 文本特征

对文本特征进行预处理，我们常用的流程有：将字符转换为小写、分词、去除无用字符、词性标注、提取词根、拼写纠错、词干提取、标点符号编码、文档特征、实体插入和提取、Word2Vec、文本相似性、去除停止词、去除稀有词、TF-IDF、LDA、LSA等。

3. 特征选择

特征选择是从我们提取的特征集合中选出一个子集。特征选择的目的有三个：

简化模型，使模型更易于研究人员和用户理解
改善性能
改善通用型、降低过拟合风险。

常用的特征选择方法有三类：过滤方法、封装方法和嵌入方法。

3.1 过滤方法

使用过滤方法进行特征选择不需要依赖于机器学习算法。主要分为单变量过滤方法和多变量过滤方法。常见的过滤方法有：

覆盖率计算每个特征的覆盖率。
皮尔逊相关系数：计算两个特征之间的相关性。
Fisher得分：用于分类问题，好的特征应该在同一类别中取值比较相似，不同类别中差异较大。
假设检验
互信息：在概率论或者信息论中，互信息用来度量两个变量之间的相关性。互信息越大表明两个变量相关性越高。
最小冗余最大相关性：对根已选择特征的相关性较高的冗余特征进行惩罚。
相关特征选择CFS：好的特征集合包含与目标变量非常相关的特征，但这些特征之间彼此不相关。

3.2 封装方法

封装方法直接使用机器学习算法评估特征子集的效果。

常用的封装方法有：

完全搜索
启发式搜索：序列前向选择和序列后向选择
随机搜索

3.3 嵌入方法

嵌入方法将特征选择过程嵌入到模型的构建过程中。

常用的方法有LASSO回归、岭回归、树方法。

对于特征选择方法，总结如下：

参考

https://www.jianshu.com/p/6133dc3bf190

机器学习之特征工程（二）相关推荐

【机器学习】特征工程概述
特征工程 "数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已." 1.概念维基百科:特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过 ...
面向机器学习的特征工程翻译版
前些日子推荐了一个仓库,是知名开源apachecn组织翻译的<面向机器学习的特征工程>英文版,可以说是特征工程的宝典,值得推荐. 仓库说明知名开源apachecn组织翻译了<面向机 ...
面向机器学习的特征工程八、自动化特征提取器：图像特征提取和深度学习
来源:ApacheCN<面向机器学习的特征工程>翻译项目译者:friedhelm739 校对:(虚位以待) 视觉和声音是人类固有的感觉输入.我们的大脑是可以迅速进化我们的能力来处理视觉和 ...
面向机器学习的特征工程七、非线性特征提取和模型堆叠
七.非线性特征提取和模型堆叠来源:ApacheCN<面向机器学习的特征工程>翻译项目译者:friedhelm739 校对:(虚位以待) 当在数据一个线性子空间像扁平饼时 PCA 是非常 ...
机器学习之特征工程
之前相关文章目录: 机器学习之线性回归机器学习之逻辑回归及python实现机器学习项目实战交易数据异常检测机器学习之决策树(Decision Tree) 机器学习之决策树(Decisi ...
【AlgorithmStar机器学习】AS机器学习库特征工程使用说明文档
目录 Algorithm Star介绍概述 AS库的一般处理流程数据采集与清洗向量生成与特征提取选择机器学习后续处理 Algorithm Star使用数据类型-操作数浮点类型操作数整数 ...
【CS224W】(task2)传统图机器学习和特征工程
note 和CS224W课程对应,将图的基本表示写在task1笔记中了:传统图特征工程:将节点.边.图转为d维emb,将emb送入ML模型训练 Traditional ML Pipeline Hand ...
面向机器学习的特征工程六、降维：用 PCA 压缩数据集
来源:ApacheCN<面向机器学习的特征工程>翻译项目译者:@cn-Wziv 校对:@HeYun 通过自动数据收集和特征生成技术,可以快速获得大量特征,但并非所有这些都有用.在第 3 ...
面向机器学习的特征工程三、文本数据: 展开、过滤和分块
来源:ApacheCN<面向机器学习的特征工程>翻译项目译者:@kkejili 校对:@HeYun 如果让你来设计一个算法来分析以下段落,你会怎么做? Emma knocked on t ...
面向机器学习的特征工程一、引言
来源:ApacheCN<面向机器学习的特征工程>翻译项目译者:@ZhipengYe 校对:(虚位以待) 机器学习将数据拟合到数学模型中来获得结论或者做出预测.这些模型吸纳特征作为输入.特 ...

机器学习之特征工程（二）