数据挖掘技术-主键合并数据准备数据

主键合并数据准备数据

准备数据

准备数据meal_order_detail1.csv，并将数据文件meal_order_detail1.csv放到Linux本地的/course/DataAnalyze/data目录下。
准备数据meal_order_detail2.csv，并将数据文件meal_order_detail2.csv放到Linux本地的/course/DataAnalyze/data目录。
准备数据meal_order_detail3.csv” ，并将数据文件meal_order_detail3.csv放到Linux本地的/course/DataAnalyze/data目录。
准备数据meal_order_info.csv” ，并将数据文件meal_order_info.csv放到Linux本地的/course/DataAnalyze/data目录。
准备数据users_info.xlsx” ，并将数据文件users_info.xlsx放到Linux本地的/course/DataAnalyze/data目录。

主键合并数据

pandas库中的merge函数和join方法都可以实现主键合并，但两者的实现方式并不相同。使用merge函数合并订单详情表和订单信息表，如代码 45所示。

代码 45 使用merge函数合并数据

In[4]:

import os

os.chdir('/course/DataAnalyze/data')

detail1= pd.read_csv ('meal_order_detail1.csv')

order = pd.read_csv('./meal_order_info.csv',sep=',',encoding='gb18030', engine='python') ##读取订单信息表

order['info_id'] = order['info_id'].astype(int) ##info_id转换为字符串格式，为合并做准备

## 订单详情表和订单信息表都有订单编号

##在订单详情表中为order_id，在订单信息表中为info_id

order_detail = pd.merge(detail1,order,left_on='order_id',right_on = 'info_id')

print('detail1订单详情表的原始形状为：',detail1.shape)

print('order订单信息表的原始形状为：',order.shape)

print('订单详情表和订单信息表主键合并后的形状为：',order_detail.shape)

Out[4]:

detail1订单详情表的原始形状为： (2779, 19)

order订单信息表的原始形状为： (945, 21)

订单详情表和订单信息表主键合并后的形状为： (2779, 40)

订单详情表、订单信息表和客户信息表两两之间存在相同意义的字段，因此需通过主键合并的方式将三张表合并为一张宽表，如代码 47所示。

代码 47 订单详情表，订单信息表，客户信息表主键合并

In[8]:

order = pd.read_csv('./meal_order_info.csv',sep=',',encoding='gb18030', engine='python') ##读取订单信息表

user = pd.read_excel('./users_info.xlsx') ##读取用户信息表

## 数据类型转换，存储部分数据

order['info_id'] = order['info_id'].astype(int)

order['emp_id'] = order['emp_id'].astype(int)

user['USER_ID'] = user['USER_ID'].astype(int)

data = pd.merge(detail,order,left_on=['order_id','emp_id'],right_on = ['info_id','emp_id'])

data = pd.merge(data,user,left_on='emp_id',right_on = 'USER_ID',how = 'inner')

print('三张表数据主键合并后的大小为：',data.shape)

Out[8]:

三张表数据主键合并后的大小为： (14713, 76)

数据挖掘技术-主键合并数据准备数据相关推荐

数据挖掘技术具有哪些特点？
数据挖掘源自<从数据库中发现知识>(缩写为KDD).它首次出现在1989年8月在底特律举行的第十一届国际联合人工智能会议上.为了统一理解,Fayyad,Piatetsky-Shapiro和 ...
电子商务中的数据挖掘技术
电子商务中的数据挖掘技术利群集团--孙士昆 ...
最系统的大数据挖掘技术及其应用详解！
1.引言从人类文明诞生的那一刻起,数据就伴随我们而生--人类交流信息所用的文字和语言,计量距离或数量使用的记号和图案,观察自然所积累和传承的经验等,都是数据构成的.这些数据在百万年历史长河里,为人类 ...
大数据挖掘技术在企业创新中的应用
摘要: 随着互联网时代的大发展,数据记录逐步脱离了纸笔的限制,人类发明了廉价的硅晶半导体所蕴藏的秘密,大量的数据可以按0或1的二进制方式存储半导体材料内,它们的存储能力如此巨大,成本如此低廉,以至于以 ...
7 种常用的数据挖掘技术分享
有人说:一个人从1岁活到80岁很平凡,但如果从80岁倒着活,那么一半以上的人都可能不凡. 生活没有捷径,我们踩过的坑都成为了生活的经验,这些经验越早知道,你要走的弯路就会越少. 摘要: 随着信息领域的 ...
数据挖掘技术功能有哪些
与传统数据分析不同的是,数据挖掘技术在对信息进行挖掘和发现知识的过程中,没有明确的假设.它通过分析历史数据,建立数据模型,以预测未来的趋势和行为,并对此作出预测性判断.从庞大的数据库中发现隐藏的.有价 ...
大数据中数据挖掘技术的挑战
2019独角兽企业重金招聘Python工程师标准>>> 首先,数据挖掘简单的来说就是从一堆数据里面找有价值的东西.现在数据也是资产,将来会有一个经营数据的公司.所以数据是新的石油,我 ...
如何用python分析大数据_Twitter数据挖掘：如何使用Python分析大数据
,拥有16年的程序员培训经验,上市公司品牌,口碑极好,一线名师授课,强大的教研团队研制开发最新的课程,与中关村软件园战略合作保障人才输出,与学员签订就业协议保障就业问题!真正的靠谱品牌! 大数据无处不 ...
【技术分享】新核心业务系统数据架构规划与数据治理
本文整理自DTCC2016主题演讲内容,录音整理及文字编辑IT168@田晓旭@老鱼.如需转载,请先联系本公众号获取授权! 演讲嘉宾种磊农银人寿新核心数据架构组组长经济师,农银人寿IT部资深专员. ...

数据挖掘技术-主键合并数据准备数据

数据挖掘技术-主键合并数据准备数据相关推荐

最新文章

热门文章