特征工程系列学习（零）引言
本文首发于微信公众号“计算机视觉cv”
特征工程
机器学习将数据拟合到数学模型中来获得结论或者做出预测。这些模型吸纳特征作为输入。特征就是原始数据某方面的数学表现。在机器学习流水线中特征位于数据和模型之间。特征工程是一项从数据中提取特征，然后转换成适合机器学习模型的格式的艺术。这是机器学习流水线关键的一步，因为正确的特征可以减轻建模的难度，并因此使流水线能输出更高质量的结果。从业者们认为构建机器学习流水线的绝大多数时间都花在特征工程和数据清洗上。然后，尽管它很重要，这个话题却很少单独讨论。也许是因为正确的特征只能在模型和数据的背景中定义。由于数据和模型如此多样化，所以很难概括项目中特征工程的实践。
尽管如此，特征工程不仅仅是一种临时实践。工作中有更深层的原则，最好就地进行说明。本书的每一章都针对一个数据问题：如何表示文本数据或图像数据，如何降低自动生成的特征的维度，何时以及如何规范化等等。把它看作是一个相互联系的短篇小说集，而不是一本长篇小说。每章都提供了大量现有特征工程技术的插图。它们一起阐明了总体原则。
由于深度学习的发展，构建的神经网络可以自动提取数据的特征，所以有人就认为现在不再需要特征工程了，只要用神经网络就可以。其实不是的，实际上，目前的DL（深度学习）中，构建网络结构这个过程就是特征工程方法。特征工程是需要掌握的，毕竟不是每个项目都可以用深度学习来做，用机器学习做有些效果会比深度学习好，所以要两手都要抓。
目录
第 1 章：从数字数据的基本特征工程开始：过滤，合并，缩放，日志转换和能量转换以及交互功能。
第 2 章和第 3 章：深入探讨了自然文本的特征工程：bag-of-words，n-gram 和短语检测。
第 4 章：将 tf-idf 作为特征缩放的例子，并讨论它的工作原理。
第 5 章：讨论分类变量的高效编码技术，包括特征哈希和 bin-counting，步伐开始加速。
第 6 章：进行主成分分析时，深入机器学习的领域。
第 7 章：将 k-means 看作一种特征化技术，它说明了模型堆叠的有效理论。
第 8 章：都是关于图像的，在特征提取方面比文本数据更具挑战性。在得出深度学习是最新图像特征提取技术的解释之前，我们着眼于两种手动特征提取技术 SIFT 和 HOG。
第 9 章：完成了一个端到端示例中的几种不同技术，为学术论文数据集创建了一个推荐器。
参考文献
[1]Feature Engineering for Machine Learning Models. Alice Zheng[美]
特征工程系列学习（零）引言相关推荐
- Task 3 特征工程 Datawhale零基础入门数据挖掘- 二手车交易价格预测
Task 3 特征工程 Datawhale零基础入门数据挖掘- 二手车交易价格预测 Tips:此部分为零基础入门数据挖掘的Task3特征工程部分,主要包含各种特征工程以及分析方法 赛题:零基础入没人能 ...
- 面向机器学习的特征工程 一、引言
来源:ApacheCN<面向机器学习的特征工程>翻译项目 译者:@ZhipengYe 校对:(虚位以待) 机器学习将数据拟合到数学模型中来获得结论或者做出预测.这些模型吸纳特征作为输入.特 ...
- 特征工程系列学习（一）简单数字的奇淫技巧（下）
对数转换实战 让我们看看在监督学习中对数转换如何执行.我们将使用上面的两个数据集.对于 Yelp 评论数据集, 我们将使用评论的数量来预测商户的平均评级.对于 Mashable 的新闻文章, 我们 ...
- 特征工程系列学习（一）简单数字的奇淫技巧
标量.向量.空间 单个数字特征也称为标量.标量的有序列表称为向量.向量位于向量空间中.在绝大多数机器学习应用中, 对模型的输入通常表示为数字向量.向量可以被可视化为空间中的一个点.(有时人们从原点 ...
- 「特征工程」之零基础入门数据挖掘
Datawhale 作者:吴忠强,Datawhale优秀学习者 摘要:对于数据挖掘项目,本文将学习应该从哪些角度做特征工程?从哪些角度做数据清洗,如何对特征进行增删,如何使用PCA降维技术等. 特征工 ...
- 【零基础入门数据挖掘】-特征工程
Datawhale 作者:吴忠强,Datawhale优秀学习者 摘要:对于数据挖掘项目,本文将学习应该从哪些角度做特征工程?从哪些角度做数据清洗,如何对特征进行增删,如何使用PCA降维技术等. 特征工 ...
- Datawhale 零基础入门数据挖掘-Task3 特征工程
特征工程的主要目的还是在于将数据转换为能更好地表示潜在问题的特征,从而提高机器学习的性能.比如,异常值处理是为了去除噪声,填补缺失值可以加入先验知识等.特征构造也属于特征工程的一部分,其目的是为了增强 ...
- 零基础入门数据挖掘-Task3 特征工程
Datawhale 零基础入门数据挖掘-Task3 特征工程 前言 内容介绍 数据清洗 缺失值 异常值 箱型图 3∂原则 Box-Cox 变换 特征缩放 特征编码 特征工程 特征提取 特征选择 特征构 ...
- 零基础数据挖掘入门系列(四) - 特征工程
思维导图:零基础入门数据挖掘的学习路径 1. 写在前面 零基础入门数据挖掘是记录自己在Datawhale举办的数据挖掘专题学习中的所学和所想, 该系列笔记使用理论结合实践的方式,整理数据挖掘相关知识, ...
最新文章
- 深度学习必备数学知识之线性代数篇（附代码实现）
- C语言 将文件内容转换成Dump文件数据格式
- 错误 2 error C2059: 语法错误:“::”
- 二叉树的前序，中序，后序，层序遍历的递归和非递归实现
- [恢]hdu 1860
- maven与eclipse连接的配置
- vhdl变量赋初值_5.5 C++自动变量
- argv python 提示输入_Python解释器
- 浙江大学2009年数学分析考研试题第7题参考解答
- 乐山计算机学校新歌王,星歌王第二季乐山市计算机学校专场赛决赛完美落幕！...
- python while循环详解
- PCB、SCH转化为AD工程
- block使用时的一些情况以及防止循环引用
- linux下刻录光盘读取不了_如何在Linux下刻录数据光盘
- 升级鸿蒙系统好不好用,昨天随手发了一个有关升级鸿蒙系统后的使用体会，没料到引发这么大的讨论。看来大家对这个话题关注度很高。作为一个普通消费者，... - 雪球...
- 如何优雅的将代码粘贴到报告上（高亮+格式化+行号）
- import torch ModuleNotFoundError: No module named ‘torch‘
- 相位差和相移理论知识概括
- 中国SaaS的机遇、战术和野心
- 从开源小白到 Apache Member，阿里技术小哥的成长之路