python dataframe 合并乱序列表_Python数据处理--删除重复项、数值替换和表合并

导入需要的包：numpy、pandas

import numpy as py

import pandas as pd

创建一个表：

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],
"date":pd.date_range('20130102', periods=6),
"city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'Beijing '],
"age":[23,44,54,32,34,32],
"category":['100-A','100-B','110-A','110-C','210-A','130-F'],
"price":[1200,np.nan,2133,5433,np.nan,4432]},
columns =['id','date','city','category','age','price'])
得到如下表：

Python处理重复数据

drop_duplicates函数删除重复值。以city列为例，city字段中存在重复值。默认情况下drop_duplicates()将删除后出现的重复值。增加keep=‘last’参数后将删除最先出现的重复值，保留最后的值。下面是具体的代码和比较结果。

df["city"].drop_duplicates()

保留先出现的重复值

保留后面出现的重复值

数据的替换和修改

Python中使用replace函数实现数据替换。数据表中city字段上海存在两种写法，分别为shanghai和SH。我们使用replace函数对SH进行替换。

替换值

数据表合并

首先是对不同的数据表进行合并，我们这里创建一个新的数据表df1，并将df和df1两个数据表进行合并。python中通过merge函数一次性实现。下面建立df1数据表，用于和df数据表进行合并。

df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008],
"gender":['male','female','male','female','male','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})

使用merge函数对两个数据表进行合并:

用inner方式合并

除了inner方式以外，合并的方式还有left，right和outer方式。只要在how=“left/right/outer”

python dataframe 合并乱序列表_Python数据处理--删除重复项、数值替换和表合并相关推荐

python删除两个excel表中的相同元素_Python数据处理--删除重复项、数值替换和表合并...
导入需要的包:numpy.pandas import numpy as py import pandas as pd 创建一个表:df = pd.DataFrame({"id":[ ...
python集合如何去除重复数据_Python 迭代删除重复项，集合删除重复项
1. 迭代删除重复项:先排序列表项,然后通过新迭代(not in)去除重复项,分片打印 def sanitize(time_string): if '-' in time_string: splitt ...
python 字典添加元素乱序了_Python有序字典的两个小“惊喜”
从 Python 3.6 开始,常规的字典会记住其插入的顺序:就是说,当遍历字典时,你获得字典中元素的顺序跟它们插入时的顺序相同. 在 3.6 之前,字典是无序的:遍历顺序是随机的. 关于有序字典,这 ...
如何在保留订单的同时从列表中删除重复项？
是否有内置的程序在保留顺序的同时从Python列表中删除重复项? 我知道我可以使用集合来删除重复项,但这会破坏原始顺序. 我也知道我可以这样滚动自己: def uniq(input):output = ...
python列表去重并删除重复那个_Python实现去除列表中重复元素的方法总结【7种方法】...
如何用python实现剔除列表中相同的元素 >>> a = [1, 2, 3, 1, 2, 3] >>> list(set(a)) [1, 2, 3] 先转成 se ...
python从后面删除重复项_如何从Python列表中删除重复项
如何从Python列表中删除重复项了解如何从Python中的List中删除重复项技巧. 实例从列表中删除任何重复项: mylist = ["a", "b", ...
python dataframe删除重复行_2.3.10 DataFrame 查看删除重复项
1.查看重复项 df.duplicated() df.duplicated(subset=['python','java','C'],keep='first') 参数:subset 特定列有重复项才会 ...
python去掉字典重复项_从字典列表中删除重复项python
我正在尝试从下面的列表中删除重复项distinct_cur = [{'rtc': 0, 'vf': 0, 'mtc': 0, 'doc': 'good job', 'foc': 195, 'st': ...
6种在 Python 中从 List 中删除重复项的方法
来源 | https://medium.com/@cookbug/six-ways-to-remove-duplicates-from-list-in-python-970d998b1384 翻译 | ...

python dataframe 合并乱序列表_Python数据处理--删除重复项、数值替换和表合并

数据的替换和修改

数据表合并

python dataframe 合并乱序列表_Python数据处理--删除重复项、数值替换和表合并相关推荐

最新文章

热门文章