数据类型有很多，在机器学习中，这些类型基本特征大致分为两类：

一是如浮点数组成的连续特征
二是通常并不是数值的分类特征，或者叫做离散特征

通常无论你的数据包含那种类型的特征，数据表示方式都会对机器学习模型的性能产生巨大影响，这就要求我们要对数据进行处理，如数据放缩、特征扩充等等。

对于某个特定应用来说，如何找到最佳数据表示，这个问题被称为特征工程（feature engineering）
它是数据科学家和机器学习从业者在尝试解决现实世界问题时的主要任务之一。用正确的方式表示数据，对监督模型性能的影响比所选择的精确参数还要大。

1. 分类变量

如图，这是美国成年人收入的数据图。
最后的输出的income是一个分类任务（>50和<=50），当然很多时候会让你预测具体收入值，这就更困难了。
这个数据集中，age（年龄）和 hours-per-week（每周工作时长）是连续特征。但 workclass（工作类型）、education（教育程度）、gender（性别）、occupation（职业）都是分类特征。它们都来自一系列固定的可能取值（而不是一个范围），表示的是定性属性（而不是数量）。
若都是数值我们可以用Logistic回归来做

但现在不是数值，用这个就没有意义了，所以我们要将其数字化。

1.1 One-Hot编码（虚拟变量）

one-Hot编码也称为N取一编码，也叫虚拟变量。
虚拟变量背后的思想是将一个分类变量替换为一个或多个新特征，新特征取值为 0 和 1。
如有workclass有三个特征“State-gov”，“Self-emp-not-inc”，“Private“。“State-gov”可以取为[1,0,0]，“Self-emp-not-inc”可以为[0,1,0]，“Private“可以是[0,0,1]。
这个表可能更直观一些

剩下还有很多内容，md格式实在不太方便，还望移步到我的GitHub
https://github.com/lizheng-1/cnn1/blob/master/Untitled.ipynb

github慢的话码云也可以
https://gitee.com/lizheng0219/cnn1/blob/master/Untitled.ipynb

写给小白的机器学习之数据表示与特征工程详解（附实战代码）相关推荐

机器学习中的特征工程详解
转载请注明出处:http://blog.csdn.net/linxdcn/article/details/80866745 最近看完一本写特征工程的书,概念清晰,内容全面,所以总结如下读书笔记,书名: ...
【小白学PyTorch】10.pytorch常见运算详解
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 <<小白学PyTorch>> 参考目录: ...
使用pickle保存机器学习模型详解及实战（pickle、joblib）
使用pickle保存机器学习模型详解及实战 pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议. "Pickling"是将Python对象层次结构转换为字节 ...
【小白入门】超详细的OCRnet详解（含代码分析）
[小白入门]超详细的OCRnet详解(含代码分析) OCRnet 简介网络结构具体实现(含代码分析) 实验结果本文仅梳理总结自己在学习过程中的一些理解和思路,不保证绝对正确,请酌情参考.如果各位 ...
机器学习最易懂之EM算法详解与python实现
文章目录 0.前言 1.EM算法引入 2.具体的EM算法 3.EM算法推导 3.1 Jensen不等式 3.2 EM推导 3.3 EM算法的收敛性 4.EM算法在高斯混合模型中的应用 4.1 高斯混合 ...
机器学习丨AI产品经理应该懂哪些技术（附实战代码）
前言本期目的:回顾之前敲代码的日常,利用生活场景帮助小白认识机器学习及学习过程中算法原理和评价指标. 适用读者:AI/数据产品经理. 阅读重点:品,细品,结合班级故事再品. 最近看了很多关于机器学习 ...
【机器学习入门】(10) 特征工程：特征抽取，字典特征抽取、文本特征抽取，附完整python代码
各位同学好,今天和大家介绍一下python机器学习中的特征工程.在将数据放入模型之前,需要对数据的一些特征进行特征抽取,方法有: (1) 字典特征抽取 DictVectorizer(),(2) 文本特 ...
【机器学习】集成学习及算法详解
集成学习及算法详解前言一.随机森林算法原理二.随机森林的优势与特征重要性指标 1.随机森林的优势 2.特征重要性指标三.提升算法概述四.堆叠模型简述五.硬投票和软投票 1.概念介绍 2.硬 ...
机器学习系列(5)_特征工程02特征提取
文章目录一.Filter过滤法 1.方差过滤 (1)使用KNN进行考察 (2)使用随机森林(RFC)进行考察 2.相关性过滤 (1)卡方过滤 (2) 用随机森林进行比较特征选择 (3)选取超参数 ( ...

写给小白的机器学习之数据表示与特征工程详解（附实战代码）

1. 分类变量

1.1 One-Hot编码（虚拟变量）

写给小白的机器学习之数据表示与特征工程详解（附实战代码）相关推荐

最新文章

热门文章