写在前边：查看编码前的原始数据，可以用inverse_transform()方法

sklearn.preprocessing.OneHotEncoder

方法

fit(self, X[, y])	Fit OneHotEncoder to X.
fit_transform(self, X[, y])	Fit OneHotEncoder to X, then transform X.
get_feature_names(self[, input_features])	Return feature names for output features.
get_params(self[, deep])	Get parameters for this estimator.
inverse_transform(self, X)	Convert the back data to the original representation.
set_params(self, **params)	Set the parameters of this estimator.
transform(self, X)	Transform X using one-hot encoding.

例子

from sklearn.preprocessing import OneHotEncoder
enc = OneHotEncoder(handle_unknown='ignore')
X = [['Male', 1], ['Female', 3], ['Female', 2]]
enc.fit(X)
enc.categories_
enc.transform([['Female', 1], ['Male', 4]]).toarray()
array([[1., 0., 1., 0., 0.],[0., 1., 0., 0., 0.]])#第一位对性别进行编码，后四位对1或4进行编码
enc.inverse_transform([[0, 1, 1, 0, 0], [0, 0, 0, 1, 0]])
array([['Male', 1],[None, 2]], dtype=object)
enc.get_feature_names()
drop_enc = OneHotEncoder(drop='first').fit(X)
drop_enc.categories_
drop_enc.transform([['Female', 1], ['Male', 2]]).toarray()
array([[0., 0., 0.],[1., 1., 0.]])

作者：JeremyL
链接：https://www.jianshu.com/p/cf7f4efa1382
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

==============================================

踩坑系列-字符编码OneHotEncoder

OneHotEncoder
pandas.get_dummies构造哑变量

OneHotEncoder

今天想起来，之前应用OneHotEncoder存在的问题，这里和大家分享一下。
OneHotEncoder又被称为独热编码，什么意思呢，就是
1、每一列特征需要构建的状态寄存器的位数等于该列特征独立取值的个数；

2、使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。

到底在说什么呢？请看下面的代码演示就明白了(以下代码在jupyter notebook里执行)

import numpy as np
import pandas as pd
from sklearn import preprocessingenc = preprocessing.OneHotEncoder()
X=np.array([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])
print(X)
enc.fit_transform(X).toarray()
#第一列有两个状态：0、1，需要2位状态寄存器来进行编码，[1,0]表示0,[0,1]表示1
#第二列有三个状态：0、1、2，需要3位状态寄存器来进行编码，[1,0,0]表示0，[0,1,0]表示1，[0,0,1]表示2
#第三列有四个状态：0、1、2、3，需要4位状态寄存器来进行编码，[1,0,0,0]表示0，[0,1,0,0]表示1，[0,0,1,0]表示2，[0,0,0,1]表示3

如果这时候来一个数据：

大家对着编码一下也可以得出这个结果；

但是如果来个（4是训练时没出现的数据）：

会报错，因为4在训练时不曾出现，现在也不知道怎么编码它

解决办法：

enc = preprocessing.OneHotEncoder( handle_unknown='ignore')
#默认的是 handle_unknown='error'，即不认识的数据报错，改成ignore代表忽略enc.fit_transform(X)
enc.transform([[0, 1, 4]]).toarray()

可以看到，这时候4，被编码成[0,0,0,0]，这样虽然不会报错，但是会造成一定的信息损失，因此，如果需要构建模型，
OneHotEncoder编码慎用。

之前踩坑场景：GBDT+LR复合模型，对数据落在GBDT中每颗树的叶子结点下标进行独热编码，再放入LR中构建模型；

测试数据中，也是存在编码时没见过的数值，出现报错。

pandas.get_dummies构造哑变量

这个方法其实和OneHotEncoder差不多，但是不能训练数据，因此无法入模使用，只能用于数据分析。

pandas.get_dummies(data, prefix=None, prefixsep=’’, dummy_na=False, columns=None, sparse=False, drop_first=False)

注意：Quantity列为数值型，并没有编码，编码的都是字符串型。

字符编码OneHotEncoder相关推荐

java ascii 编码方式_JAVA 的ASCII字符编码一览表
JAVA 的ASCII字符编码一览表二进制十进制十六进制缩写可以显示的表示法名称/意义 0000 0000 0 00 NUL ␀ 空字符(Null) 0000 0001 1 01 SOH ...
python3 转码的函数_python基础3之文件操作、字符编码解码、函数介绍
内容概要: 一.文件操作二.字符编码解码三.函数介绍一.文件操作文件操作流程: 打开文件,得到文件句柄并赋值给一个变量通过句柄对文件进行操作关闭文件基本操作: 1 #/usr/bin/e ...
Qt字符编码，创建中文文件
1.代码文件本身编码: 2.Qt中用于控制读入和写出文件系统时的字符编码由QTextCodec::setCodecForLocale()所决定.一般不用设置,Qt跟系统交互时会根据系统的Locale来 ...
Java学习总结：45(字符编码)
字符编码在实际工作中最常见的4种编码如下: GBK.GB2312:中文的国标编码,其中GBK包含简体中文与繁体中文两种,而GB2312只包含简体中文: ISO8859-1:是国际编码,可以描述任何文 ...
python 字符编码问题
字符编码一.字符编码的演进 ASCII GB2312 GBK1.0 GB18030 Unicode编码:国际标准字符集,它将世界各种语言的每个字符定义一个唯一的编码,以满足跨语言.跨平台 ...
字符编码简介 ANSI Unicode Unicode big endian UTF-8
1. ASCII码我们知道,在计算机内部,所有的信息最终都表示为一个二进制的字符串.每一个二进制位(bit)有0和 1两种状态,因此八个二进制位就可以组合出256种状态,这被称为一个字节(byte) ...
Java工具类-转换字符编码
package common; /***字符串处理公用类 */ public class DealString {/*** 转换字符编码由"iso-8859-1"西文转换为简体中 ...
java中文乱码解决之道（二）—–字符编码详解：基础知识 + ASCII + GB**
原文出处:http://cmsblogs.com/?p=1412 在上篇博文(java中文乱码解决之道(一)-–认识字符集)中,LZ简单介绍了主流的字符编码,对各种编码都是点到为止,以下LZ将详细阐述 ...
Python字符编码详解
Python字符编码详解转自http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html Python字符编码详解本文简单介绍了各种常用的 ...

字符编码OneHotEncoder

写在前边：查看编码前的原始数据，可以用inverse_transform()方法

sklearn.preprocessing.OneHotEncoder

==============================================

踩坑系列-字符编码OneHotEncoder

OneHotEncoder

pandas.get_dummies构造哑变量

字符编码OneHotEncoder相关推荐

最新文章

热门文章