机器学习—特征工程—OneHotEncoder独热编码
独热编码
一、为什么要独热编码?
独热编码(是因为大部分算法是基于向量空间中的度量来进行计算的,为了使非偏序关系的变量取值不具有偏序性,并且到原点是等距的。使用one-hot编码,将离散特征的取值扩展到了欧式空间,离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码,会让特征之间的距离计算更加合理。离散特征进行one-hot编码后,编码后的特征,其实每一维度的特征都可以看做是连续的特征。就可以跟对连续型特征的归一化方法一样,对每一维特征进行归一化。比如归一化到[-1,1]或归一化到均值为0,方差为1。
为什么特征向量要映射到欧式空间?
将离散特征通过one-hot编码映射到欧式空间,是因为,在回归,分类,聚类等机器学习算法中,特征之间距离的计算或相似度的计算是非常重要的,而我们常用的距离或相似度的计算都是在欧式空间的相似度计算,计算余弦相似性,基于的就是欧式空间。
二、独热编码的优缺点
优点:独热编码解决了分类器不好处理属性数据的问题,在一定程度上也起到了扩充特征的作用。它的值只有0和1,不同的类型存储在垂直的空间。
缺点:当类别的数量很多时,特征空间会变得非常大,成为一个高维稀疏矩阵。在这种情况下,一般可以用PCA来减少维度。而且one hot encoding+PCA这种组合在实际中也非常有用。
三、什么情况下(不)用独热编码?
用:独热编码用来解决类别型数据的离散值问题,
不用:将离散型特征进行one-hot编码的作用,是为了让距离计算更合理,但如果特征是离散的,并且不用one-hot编码就可以很合理的计算出距离,那么就没必要进行one-hot编码。 有些基于树的算法在处理变量时,并不是基于向量空间度量,数值只是个类别符号,即没有偏序关系,所以不用进行独热编码。 Tree Model不太需要one-hot编码: 对于决策树来说,one-hot的本质是增加树的深度。
总的来说,要是one hot encoding的类别数目不太多,建议优先考虑。
OneHotEncoder()内部参数
OneHotEncoder(n_values=’auto’, categorical_features=’all’, dtype=<class ‘numpy.float64’>, sparse=True, handle_unknown=’error’)
n_values=’auto’,表示每个特征使用几维的数值由数据集自动推断,即几种类别就使用几位来表示。
categorical_features = ‘all’,这个参数指定了对哪些特征进行编码,默认对所有类别都进行编码。
sparse=True 表示编码的格式,默认为 True,即为稀疏的格式,指定 False 则就不用 toarray() 了
handle_unknown=’error’,其值可以指定为 “error” 或者 “ignore”,即如果碰到未知的类别,是返回一个错误还是忽略它。
官方解析
举例:
import pandas as pd
a = pd.DataFrame([[1,2,3],[4,5,6],[10,8,9]],columns = ["feature_1", "feature_2", "label"])from sklearn.preprocessing import OneHotEncoder#sparse表示编码的格式,默认为 True,即为稀疏的格式,指定 False 则就不用 toarray() 了
#handle_unknown其值可以指定为 "error" 或者 "ignore",即如果碰到未知的类别,是返回一个错误还是忽略它。hotCoder=OneHotEncoder(sparse = False, handle_unknown = "ignore")hot = hotCoder.fit_transform(a)
print(hot)
print(pd.DataFrame(hot))
结果展示
[[1. 0. 0. 1. 0. 0. 1. 0. 0.][0. 1. 0. 0. 1. 0. 0. 1. 0.][0. 0. 1. 0. 0. 1. 0. 0. 1.]]0 1 2 3 4 5 6 7 8
0 1.0 0.0 0.0 1.0 0.0 0.0 1.0 0.0 0.0
1 0.0 1.0 0.0 0.0 1.0 0.0 0.0 1.0 0.0
2 0.0 0.0 1.0 0.0 0.0 1.0 0.0 0.0 1.0
机器学习—特征工程—OneHotEncoder独热编码相关推荐
- ML之xgboost:利用xgboost算法对Boston(波士顿房价)数据集【特征列分段→独热编码】进行回归预测(房价预测)+预测新数据得分
ML之xgboost:利用xgboost算法对Boston(波士顿房价)数据集[特征列分段→独热编码]进行回归预测(房价预测)+预测新数据得分 导读 对Boston(波士顿房价)数据集进行特征工程,分 ...
- R语言构建xgboost模型:基于叶子索引衍生出新的特征并进行独热编码(one-hot encoding)之后构建新的模型、比较加入叶子索引特征的模型的分类性能提升
R语言构建xgboost模型:基于叶子索引衍生出新的特征并进行独热编码(one-hot encoding)之后构建新的模型.比较加入叶子索引特征的模型的分类性能提升 目录
- OneHotEncoder独热编码和 LabelEncoder标签编码——机器学习
学习sklearn和kagggle时遇到的问题,什么是独热编码?为什么要用独热编码?什么情况下可以用独热编码?以及和其他几种编码方式的区别. 首先了解机器学习中的特征类别:连续型特征和离散型特征 拿到 ...
- OneHotEncoder独热编码
首先了解机器学习中的特征类别:连续型特征和离散型特征. 拿到获取的原始特征,必须对每一特征分别进行归一化,比如,特征A的取值范围是[-1000,1000],特征B的取值范围是[-1,1].如果使用lo ...
- 机器学习中使用的独热编码
什么是独热编码? 独热编码(One-Hot Encoding)是一种常用的特征编码方法,主要用于将离散特征转换为连续特征,以便机器学习算法能够更好地处理.独热编码将每个离散特征的取值映射为一个二进制向 ...
- 数据处理与特征工程:One-Hot Encoder独热编码、Label Encoder标签编码、Binary Encoder二进制编码
目录 一 OneHotEncoder独热编码 1.1 OneHotEncoder独热编码原理 2.1. 为什么要独热编码OneHotEncoder? 2.3 独热编码优缺点 2.4 什么情况下(不) ...
- 美团机器学习——特征工程
和几位同学交流了一下,也结合我这半个月学习机器学习原理的体会,我感觉我确实学不了机器学习,真的是太TM难!!!!痛定思痛,我决定舍弃机器学习了,转做开发去了.所以这应该是kaggle系列最后一篇博文了 ...
- 为什么独热编码会引起维度诅咒,以及避免他的几个办法
特征工程是数据科学模型开发的重要组成部分之一.数据科学家把大部分时间花在数据处理和特征工程上,以便训练一个鲁棒模型.数据集由各种类型的特征组成,包括类别.数字.文本.日期时间等. 由于大多数机器学习模 ...
- 学习笔记 | 独热编码(One-Hot Encoding)
最近学习机器学习,接触到独热编码相关内容,参考了一些资料,加上自己的思考,做出了如下总结. 一.什么是独热编码 独热编码,即 One-Hot 编码,又称一位有效编码,其方法是使用N位状态寄存器来对N个 ...
最新文章
- Linq To Entity 的增删改查(技术储备,怕忘了)
- 需要某个字体包才能正确显示此页面_如何做设计,才能做好设计
- linux week3
- CuteEditor—Html在线编辑器的领航者,超强的asp.net编辑器控件
- ad20如何导入库_脱水防锈油如何使用才正确?
- 红警 1 游戏开源,代码非常规范,网友:秀色可餐
- 另类的JS常见函数应用
- 阿里巴巴java方向笔试题 带详细答案
- 大疆新品:机甲大师RoboMaster S1介绍(AI 学习小伙伴)
- ffmpeg实现视频切割合并
- fastlane php,fastlane安装与初体验
- pytorch geometric GraphSAGE代码样例reddit和ogbn_products_sage,为何subgraph_loader将sizes设成[-1]
- php大转盘程序,jQuery幸运大转盘_jQuery+PHP抽奖程序(下)
- 计算机能用到的英语积累(持续更新)
- Msfvenom的简单用法
- node14 升级 node16 后 vue2 项目中 sass 报错问题
- 腾讯云申请免费SSL证书
- 陈远:兴趣是永远的老师
- Perl-字符串与排序2
- FF新闻、头条新闻等开机弹出的广告删除办法
热门文章
- GL音乐播放器1.0.0版-- 总结帖
- 纹理打包器 TexturePacker
- [35期] 神奇的rgb
- 小谈 - web模仿手机打电话与正则表达式
- 基于keras的1D CNN时间序列分析
- html隐藏visibility,CSS Visibility(可见性)
- HDU2550 百步穿杨【打印图案】
- JS 获取url参数以及中文乱码问题
- Postgresql中,计算两个日期月份差值或年月日,实现Oracle中months_between、add_months的效果
- Keyboard Demo