[特征工程系列三]显性特征的衍生

前一文讲的是一些特征的基础处理方式，包括怎么降维、怎么处理脏数据等等。其实特征工程真正的难点是如何结合业务需求衍生出新的特征。结合业务需求讲的是利用专家经验来提取出数据里对结果影响更大的特征，往往是原有数据字段通过加减乘除等操作生成新的字段，这些字段在结合一些线性算法做训练的时候往往能起到提升模型效果的作用，接下来就简单介绍下特征衍生。

因为衍生特征这个方法是需要结合业务特点的，范围太广，所以本文就用一个例子来介绍。今天就用一份NBA比赛数据做例子吧，因为读者大部分是男同学，对于篮球应该比较熟悉，如果是妹子读者的话可以咨询下你的男朋友~

球员	投篮数	命中数	比赛场次	全明星
科比	800	400	500	否
乔丹	500	300	200	是

上面这份数据我就随便写两个球员哈（非黑），然后随便写了三个特征数据分别是投篮数、命中数、比赛场次，目标列就是是否是明星球员。现在要思考这样的问题，如果只用原始的这三个输入特征去做训练，信息量可能略显单薄。先拿“命中率”来讲，我们都知道在投篮比赛中命中投篮越多表示这个球员越厉害，原始数据中科比的命中数多于乔丹，而只有乔丹是明星，如果这样的数据带入很有可能学出来的效果是“命中球数越多，越不可能成为全明星”，这个理论与我们熟悉的客观事实不符。

真正熟悉篮球的同学肯定会了解，影响一个球员能否成为明星的关键，不是他浪投进了多少，而是更关键的是这个球员的命中率。如果我们衍生一个字段叫命中率，它的计算方式是“命中数/投篮数”，那这个特征对于数据的刻画可能更深刻。于是数据变成了：

球员	投篮数	命中数	命中率	比赛场次	全明星
科比	800	400	0.5	500	否
乔丹	500	300	0.6	200	是

在真实业务场景中，特征衍生往往要覆盖业务的各个方面，可能要衍生出成百上千的新特征才能更好的描述训练数据集的意义。

[特征工程系列三]显性特征的衍生相关推荐

[特征工程系列二]显性特征的基本处理方法
今天接着前一篇文章讲,主要分享基于显性特征工程的一些最基本的处理方法.关于显性特征是什么,大家可以去看系列文章一.关于显性特征的处理方法可以做这样的类比:不知道大家平时会不会自己做菜,我个人的话基本每 ...
特征工程系列：自动化特征构造
特征工程系列:自动化特征构造原创: JunLiang 木东居士今天 0x00 前言数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已.由此可见,特征工程在机器学习中占有相当重要的 ...
[特征工程系列一] 论特征的重要性
满打满算,还有十天左右就要过年了,这些天大家或多或少都有点浮躁.反过来想,趁大家都懈怠的时候,正是学习的最佳时机.趁着这几天,也给自己加点码,去认真的再看一下特征工程.我给自己列了下面的这一份学习清单 ...
特征工程系列：数据清洗
文章系列: 特征工程系列:数据清洗特征工程系列:特征筛选的原理与实现特征工程系列:特征预处理特征工程系列:特征构造特征工程系列:时间特征构造以及时间序列特征构造前言数据和特征决定了机器学习 ...
特征工程系列：特征筛选的原理与实现（下）
0x00 前言我们在<特征工程系列:特征筛选的原理与实现(上)>中介绍了特征选择的分类,并详细介绍了过滤式特征筛选的原理与实现.本篇继续介绍封装式和嵌入式特征筛选的原理与实现. 0x01 ...
[特征工程系列五]基于蒙特卡洛搜索树的半自动特征工程方案
不知道有多少同学坚持看完了特征工程系列1~4,今天我们迎来最后一篇.前面的四篇其实都是一些基于特征工程理论的干货的分享,今天我们来点虚的,讲讲我YY的一种蒙特卡洛搜索树的半自动化的特征工程方案.其实为 ...
特征工程系列：特征预处理（上）
特征工程系列:特征预处理(上) 关于作者:JunLiang,一个热爱挖掘的数据从业者,勤学好问.动手达人,期待与大家一起交流探讨机器学习相关内容~ 0x00 前言数据和特征决定了机器学习的上限,而模 ...
特征工程系列：特征预处理（下）
特征工程系列:特征预处理(下) 本文为数据茶水间群友原创,经授权在本公众号发表. 关于作者:JunLiang,一个热爱挖掘的数据从业者,勤学好问.动手达人,期待与大家一起交流探讨机器学习相关内容~ 0 ...
《scikit-learn》数据预处理与特征工程（三）特征选择
特征工程包括三个部分: 1.特征提取:从文字,图像,声音等其他非结构化数据中提取信息作为特征,建立最原始特征信息采集. 2.特征创造:把现有的一些特征进行组合胡总和相互计算,得到新的特征. 3:特征选 ...

[特征工程系列三]显性特征的衍生

[特征工程系列三]显性特征的衍生相关推荐

最新文章

热门文章