ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
目录
基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
设计思路
输出结果
1、结果输出
2、FE后的字段
3、衍生字段案例具体实现过程
T1、选择的基字段(1个)
(1)、生成的所有衍生字段
(2)、父衍生字段—outlet.COUNT(bigmart)
(3)、子衍生字段的具体字段分析
T2、选择的基字段(2个)
核心代码
相关文章
ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略实现
基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
设计思路
输出结果
1、结果输出
2、FE后的字段
|
Item_Identifier |
Item_Weight |
Item_Fat_Content |
Item_Visibility |
Item_Type |
Item_MRP |
|
Outlet_Identifier |
Outlet_Establishment_Year |
Outlet_Size |
Outlet_Location_Type |
Outlet_Type |
id |
3、衍生字段案例具体实现过程
T1、选择的基字段(1个)
['id','Item_Identifier','Item_Weight','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']
(1)、生成的所有衍生字段
|
id |
Item_Identifier |
Item_Weight |
|
|
Outlet_Identifier |
outlet.Outlet_Establishment_Year |
outlet.Outlet_Size |
|
| outlet.COUNT(bigmart) |
outlet.MODE(bigmart.Item_Identifier) |
outlet.NUM_UNIQUE(bigmart.Item_Identifier) |
|
|
outlet.MAX(bigmart.Item_Weight) |
outlet.MEAN(bigmart.Item_Weight) |
outlet.MIN(bigmart.Item_Weight) |
|
|
outlet.SKEW(bigmart.Item_Weight) |
outlet.STD(bigmart.Item_Weight) |
outlet.SUM(bigmart.Item_Weight) |
(2)、父衍生字段—outlet.COUNT(bigmart)
outlet.COUNT(bigmart)字段意义：是根据Outlet_Identifier字段内10个子类别的整体个数，分别进行填充设计。
outlet.COUNT(bigmart)字段内容：根据该字段的下拉列表可知，标记为1550的个数有4650个，是因为在Outlet_Identifier字段内，OUT035、OUT046、OUT049三个子类别均有1550个，所以，以上结果比较巧。
(3)、子衍生字段的具体字段分析
outlet.MODE(bigmart.Item_Identifier) 字段的分析过程
T2、选择的基字段(2个)
['Item_Identifier','Item_Weight','Item_Fat_Content','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']
|
id |
Item_Identifier |
Item_Weight |
Item_Fat_Content |
||
|
Outlet_Identifier |
outlet.Outlet_Establishment_Year |
outlet.Outlet_Size |
|||
| outlet.COUNT(bigmart) |
outlet.MODE(bigmart.Item_Identifier) |
outlet.NUM_UNIQUE(bigmart.Item_Identifier) |
|||
|
outlet.MAX(bigmart.Item_Fat_Content) |
outlet.MEAN(bigmart.Item_Fat_Content) |
outlet.MIN(bigmart.Item_Fat_Content) |
outlet.SKEW(bigmart.Item_Fat_Content) |
outlet.STD(bigmart.Item_Fat_Content) |
outlet.SUM(bigmart.Item_Fat_Content) |
| outlet.MAX(bigmart.Item_Weight) | outlet.MEAN(bigmart.Item_Weight) | outlet.MIN(bigmart.Item_Weight) | outlet.SKEW(bigmart.Item_Weight) | outlet.STD(bigmart.Item_Weight) | outlet.SUM(bigmart.Item_Weight) |
核心代码
#2.2、特征衍生
#(1)、创建一个实体集EntitySet：实体集是一种包含多个数据帧及其之间关系的结构。
ftES = ft.EntitySet(id = 'sales') #(2)、规范化实体集：
ftES.normalize_entity(base_entity_id='bigmart', new_entity_id='outlet', index = 'Outlet_Identifier', additional_variables = ['Outlet_Establishment_Year', 'Outlet_Size',
# 'Outlet_Location_Type', 'Outlet_Type',])#(3)、利用dfs函数自动创建新特征并输出
feature_matrix, feature_names = ft.dfs(entityset=ftES,target_entity = 'bigmart', max_depth = 2,
# verbose = 1, n_jobs = -1,)
print('feature_names: \n',len(feature_names),feature_names)
print('feature_matrix:',feature_matrix.shape,type(feature_matrix),'\n',feature_matrix.iloc[:,:10].head())
feature_matrix.to_csv('%sfeature_matrix.csv'%date)feature_matrix = feature_matrix.reindex(index=data_all['id']) # reindex()函数，重新把列/行根据columns/index参数指定字段顺序整理一遍
feature_matrix = feature_matrix.reset_index() # reset_index()函数，重新设置dataframe的index，范围为0~len（df）
feature_matrix.to_csv('%sfeature_matrix2reset_index01.csv'%date)ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略相关推荐
- ML之FE：基于BigMartSales数据集利用Featuretools工具实现自动特征工程之详细攻略daiding
ML之FE:基于BigMartSales数据集利用Featuretools工具实现自动特征工程之详细攻略daiding 目录 基于BigMartSales数据集利用Featuretools工具实现自动 ...
- ML之FE：pandas库中数据分析利器之groupby分组函数、agg聚合函数、同时使用groupby与agg函数组合案例之详细攻略
ML之FE:pandas库中数据分析利器之groupby分组函数.agg聚合函数.同时使用groupby与agg函数组合案例之详细攻略 目录 pandas库中数据分析利器之groupby分组函数.ag ...
- ML之FE：数据处理—特征工程之数据集划分成训练集、验证集、测试集三部分简介、代码实现、案例应用之详细攻略
ML之FE:数据处理-特征工程之数据集划分成训练集.验证集.测试集三部分简介.代码实现.案例应用之详细攻略 目录 数据集划分成训练.验证.测试三种数据的简介 1.训练集.验证集的作用 2.验证数据集 ...
- Matlab：基于Matlab实现人工智能算法应用的简介(SVM支撑向量机GA遗传算法PSO粒子群优化算法)、案例应用之详细攻略
Matlab:基于Matlab实现人工智能算法应用的简介(SVM支撑向量机&GA遗传算法&PSO粒子群优化算法).案例应用之详细攻略 目录 1.SVM算法使用案例 1.1.Libsvm ...
- DL：基于神经网络的深度学习模型的总概览简介(DNN/CNN/RNN等)、各种网络结构对比、案例应用对比之详细攻略
DL:基于神经网络的深度学习模型的总概览简介(DNN/CNN/RNN等).各种网络结构对比.案例应用对比之详细攻略 目录 神经网络所有模型的简介(概览) DNN.CNN.RNN结构对比 相关文章 DL ...
- NLP：自然语言处理领域常见的文本特征表示/文本特征抽取(本质都是“数字化”)的简介、四大类方法(基于规则/基于统计，离散式【one-hot、BOW、TF-IDF】/分布式)之详细攻略
NLP:自然语言处理领域常见的文本特征表示/文本特征抽取(本质都是"数字化")的简介.四大类方法(基于规则/基于统计,离散式[one-hot.BOW.TF-IDF]/分布式[CO- ...
- ML之FE：基于load_mock_customer数据集(模拟客户,单个DataFrame)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于load_mock_customer数据集(模拟客户,单个DataFrame)利用featuretools工具实现自动特征生成/特征衍生 推荐文章 ML之FE:基于load_mock_ ...
- ML之FE：基于load_mock_customer数据集(模拟客户)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于load_mock_customer数据集(模拟客户)利用featuretools工具实现自动特征生成/特征衍生 目录 基于load_mock_customer数据集(模拟客户)利用f ...
- ML之FE：基于自定义数据集(银行客户信息贷款和赔偿)对比实现特征衍生(手动设计新特征、利用featuretools工具实现自动特征生成)
ML之FE:基于自定义数据集(银行客户信息贷款和赔偿)对比实现特征衍生(手动设计新特征.利用featuretools工具实现自动特征生成) 目录 基于自定义数据集(银行客户信息贷款和赔偿)对比实现特征 ...
最新文章
- 【深度学习入门到精通系列】对抗样本和对抗网络
- ZooKeeper私人学习笔记
- 王道408数据结构——第六章 图
- django-rest-swagger显示接口备注内容
- Spark源码分析之MemoryManager
- python与冒泡排序
- Android开发学习之快速实现圆角ListView
- [计算机网络] P2P 协议
- dellemc服务器的显示器连接,通过显示器实现合作-DellEMC.PDF
- 08.音频系统:第004课_Android音频系统详解:第002节_以例子说明几个重要概念
- php.ini在哪？找不到php.ini,已解决
- storm风暴英雄 tempo_《绝地求生》Tempo Storm北美黑马，掌控战场
- 程序员到底是吃青春饭还要奋斗？那么行业前景又如何？
- 弹力弹珠java_Java趣味小程序：打弹珠
- JAVA标准系列（JSRnbsp;208:nbsp;Javanbsp;Busi…
- 职场002：什么是可迁移能力
- 【记】Java 类属性首字母大写Response其结果为小写
- esxi服务器下虚拟机Ubuntu系统搭建PPPoE拨号服务
- mysql中的coalesce用法
- 秋招笔试算法题——电容充电