ML之FE:基于BigMartSales数据集利用Featuretools工具实现自动特征工程之详细攻略daiding
ML之FE:基于BigMartSales数据集利用Featuretools工具实现自动特征工程之详细攻略daiding
目录
基于BigMartSales数据集利用Featuretools工具实现自动特征工程
设计思路
输出结果
核心代码
基于BigMartSales数据集利用Featuretools工具实现自动特征工程
设计思路
更新……
输出结果
train.shape: (500, 12)
test.shape: (200, 11)
after drop, train.shape: (500, 11)
data_all.shape: (700, 11)
-------------------data_all_CountNull: Item_Identifier 0
Item_Weight 136
Item_Fat_Content 0
Item_Visibility 0
Item_Type 0
Item_MRP 0
Outlet_Identifier 0
Outlet_Establishment_Year 0
Outlet_Size 202
Outlet_Location_Type 0
Outlet_Type 0
dtype: int64
-------------------after fillna,data_all_CountNull: Item_Identifier 0
Item_Weight 0
Item_Fat_Content 0
Item_Visibility 0
Item_Type 0
Item_MRP 0
Outlet_Identifier 0
Outlet_Establishment_Year 0
Outlet_Size 0
Outlet_Location_Type 0
Outlet_Type 0
dtype: int64
-------------------Item_Fat_Content feature value_count: Low Fat 436
Regular 221
LF 23
low fat 12
reg 8
Name: Item_Fat_Content, dtype: int64
----------data_all.shape: (700, 11)
Entityset: salesEntities:bigmart [Rows: 700, Columns: 7]outlet [Rows: 10, Columns: 5]Relationships:bigmart.Outlet_Identifier -> outlet.Outlet_Identifier
核心代码
#2、利用Featuretools工具实现自动特征工程
#(1)、创建一个实体集EntitySet:实体集是一种包含多个数据帧及其之间关系的结构。
es = ft.EntitySet(id = 'sales')
es.entity_from_dataframe(entity_id = 'bigmart', dataframe = data_all, index = 'id') # adding a dataframe #(2)、规范化实体集:数据中包含两个级别的信息,即 item商品级别和 outlet门店级别。
#Featuretools能把一个数据集拆分成多个表格。我们根据outlet ID Outlet_Identifier从BigMart表中创建一个新表“outlet”。
es.normalize_entity(base_entity_id='bigmart', new_entity_id='outlet', index = 'Outlet_Identifier', additional_variables = ['Outlet_Establishment_Year', 'Outlet_Size', 'Outlet_Location_Type', 'Outlet_Type'])
print(es)
'''
输出实体集EntitySet的组成
它包含两个实体,为bigmart和outlet。这两个表之间也形成了一种关系,用Outlet_Identifier连接。
这种关系将在生成新特征中发挥关键作用。
'''#(3)、使用DFS来自动创建新特征:DFS使用特征基元和实体集中给出的多个表来创建特征。
'''
target_entity只是创建新特征的实体ID,这种情况下为实体“bigmart”。
参数max_depth控制着通过堆叠基元生成的要素复杂性。
参数n_jobs通过使用多个内核来辅助并行特征计算。
这就是使用Featuretools的过程,它已经产生了许多新特征。
'''
feature_matrix, feature_names = ft.dfs(entityset=es,target_entity = 'bigmart', max_depth = 2,verbose = 1, n_jobs = -1)
print(feature_matrix.columns)
print(feature_matrix.head())
ML之FE:基于BigMartSales数据集利用Featuretools工具实现自动特征工程之详细攻略daiding相关推荐
- ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略 目录 基于BigMartSales数 ...
- ML之FE:基于load_mock_customer数据集(模拟客户,单个DataFrame)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于load_mock_customer数据集(模拟客户,单个DataFrame)利用featuretools工具实现自动特征生成/特征衍生 推荐文章 ML之FE:基于load_mock_ ...
- ML之FE:基于load_mock_customer数据集(模拟客户)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于load_mock_customer数据集(模拟客户)利用featuretools工具实现自动特征生成/特征衍生 目录 基于load_mock_customer数据集(模拟客户)利用f ...
- ML之FE:基于自定义数据集(银行客户信息贷款和赔偿)对比实现特征衍生(手动设计新特征、利用featuretools工具实现自动特征生成)
ML之FE:基于自定义数据集(银行客户信息贷款和赔偿)对比实现特征衍生(手动设计新特征.利用featuretools工具实现自动特征生成) 目录 基于自定义数据集(银行客户信息贷款和赔偿)对比实现特征 ...
- ML之FE:基于自定义数据集(银行客户信息贷款和赔偿)对比实现特征衍生(手动设计新特征、利用featuretools工具实现自动构造特征/特征衍生)
ML之FE:基于自定义数据集(银行客户信息贷款和赔偿)对比实现特征衍生(手动设计新特征.利用featuretools工具实现自动构造特征/特征衍生) 目录 基于自定义数据集(银行客户信息贷款和赔偿)对 ...
- Dataset之RentListingInquries:RentListingInquries(Kaggle竞赛)数据集的简介、下载、案例应用之详细攻略
Dataset之RentListingInquries:RentListingInquries(Kaggle竞赛)数据集的简介.下载.案例应用之详细攻略 目录 RentListingInquries比 ...
- Dataset之HiggsBoson:Higgs Boson(Kaggle竞赛)数据集的简介、下载、案例应用之详细攻略
Dataset之HiggsBoson:Higgs Boson(Kaggle竞赛)数据集的简介.下载.案例应用之详细攻略 目录 Higgs Boson比赛简介 Higgs Boson数据集的下载 Hig ...
- Dataset:White Wine Quality白葡萄酒品质数据集的简介、下载、使用方法之详细攻略
Dataset:White Wine Quality白葡萄酒品质数据集的简介.下载.使用方法之详细攻略 目录 White Wine Quality白葡萄酒品质数据集的简介 1.输入变量(基于物理化学测 ...
- Dataset之GermanCreditData:GermanCreditData数据集的简介、下载、使用方法之详细攻略
Dataset之GermanCreditData:GermanCreditData数据集的简介.下载.使用方法之详细攻略 目录 GermanCreditData数据集的简介 1.数据集描述 Germa ...
最新文章
- jQuery原理系列-css选择器实现
- DNA repair - HDU 2457(自动机+dp)
- SonarQube 8.3.x中的Maven项目的测试覆盖率报告
- 思想已经高过行动好多了
- java基础----数据类型转化
- OpenShift Security (2) - 安装 Red Hat Advanced Cluster Security(RHACS)
- 【白皮书下载】2020年数字营销与商业增长白皮书.pdf
- linux [CTRL]+c与[CTRL]+d
- SSIS数据转换器及字符转换器使用
- strcmp()函数
- python 机器翻译免费接口调用
- 秒杀各大网盘的不限速大文件传输工具
- Tilera多线程网络编程总结
- 配置ST-GCN体会
- 三国群英传服务器维护是几点,20191112维护公告
- Java poi生成Excel加密文件
- 后氧传感器正常数据_怎么看氧传感器数据流
- 主题: 逆向英语学习方法
- Python画美国盾牌
- (附源码)计算机毕业设计SSM基于ETC用户的自驾游推荐系统
热门文章
- Ubuntu 16.04下Caffe-SSD的应用(三)——训练VOC2007数据生成模型
- VMware虚拟机中VMnet0上的网桥当前未运行
- java主键后四位顺序号_JAVA中取顺序号 (转)
- python所有插件框架_Python中实现简单的插件框架
- string 中的offset_Kafka+Spark Streaming管理offset的两种方法
- 一个具有20位地址和32位字长的存储器_存储器层次结构(三):高速缓存
- python迷宫小游戏大全_C课程设计迷宫小游戏
- 邮件服务 交换空间(虚拟内存) 配置链路聚合 配置IPv6地址
- 两万字深度介绍分布式系统原理,一文入魂
- 干货,springboot自定义注解实现分布式锁详解