python去重语句_python常用的去重方式

一、对列表去重

1.用循环查找的方式

li = [1,2,3,3,4,2,3,4,5,6,1]

news_li=[]for i inli:if i not innews_li:

news_li.append(i)print (news_li)

2.用集合的特性set()

li1 = [1,4,3,3,4,2,3,4,5,6,1]

new_li1= list(set(li1))

3.使用itertools模块的grouby方法

importitertools

li2= [1,4,3,3,4,2,3,4,5,6,1]

li2.sort()#排序

it =itertools.groupby(li2)for k, g init:print (k)

4.运用while循环遍历的方式

defquchong(lb):for x inlb:while lb.count(x)>1:dellb[lb.index(x)]returnlb

li3= [1,4,3,3,4,2,3,4,5,6,1]

quchong(li3)

5.使用keys()方式

li4 = [1,0,3,7,7,5]

formatli=list({}.fromkeys(li4).keys())print (formatli)

二、对数据框去重

1.用unique()对单属性列去重

importpandas as pd

data= {'id':['A','B','C','C','C','A','B','C','A'],'age':[18,20,14,10,50,14,65,14,98]}

data=pd.DataFrame(data)

data.id.unique()#或者

importnumpy as np

np.unique(data.id)

2.用frame.drop_duplicates()对单属性列去重

data.drop_duplicates(['id'])

3.用frame.drop_duplicates()对多属性列去重

data.drop_duplicates(['id','age'])

4.用frame.duplicated()对多属性列去重

isduplicated = data.duplicated(['id','age'],keep='first')

data.loc[~isduplicated,:]

python去重语句_python常用的去重方式相关推荐

python去重语句_Python对列表去重的多种方法(四种方法)
无聊统计了下列表去重到底有多少种方法.下面小编给大家总结一下,具体内容详情如下: 开发中对数组.列表去重是非常常见的需求,对一个list中的id进行去重,有下面几种方法,前面两种方法不能保证顺序, 后 ...
python去重语句_Python Dataframe 指定多列去重、求差集的方法
1)去重指定多列去重,这是在dataframe没有独一无二的字段作为PK(主键)时,需要指定多个字段一起作为该行的PK,在这种情况下对整体数据进行去重. Attention:主要用到了drop_du ...
python清空语句_python有趣语句
python 赋值语句 python中的语句: 赋值语句 if语句,当条件成立时运行语句块.经常与else, elif(相当于else if)配合使用. for语句,遍列列表.字符串.字典.集合等迭代 ...
python入门语句_Python 快速入门笔记（5）：语句
本系列随笔是本人的学习笔记,初学阶段难免会有理解不当之处,错误之处恳请指正.转载请注明出处: https://www.cnblogs.com/itwhite/p/12297769.html. 简介 p ...
python pp模块_python常用模块
1.re模块 re模块用于对python的正则表达式的操作 1.1 什么是正则正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法.或者说:正则就是用来描述一类事物 ...
python打印语句_Python 打印语句
Python 打印语句首先申明下,本文为笔者学习<Python学习手册>的笔记,并加入笔者自己的理解和归纳总结. 1.print语句用来打印,并在行的末尾添加一个换行.>>& ...
python数组去重函数_Python常用功能函数系列总结（一）
本节目录常用函数一:获取指定文件夹内所有文件常用函数二:文件合并常用函数三:将文件按时间划分常用函数四:数据去重写在前面写代码也有很长时间了,总觉得应该做点什么有价值的事情,写代码初始阶段 ...
python函数几个return语句_Python常用函数--return 语句-阿里云开发者社区
在Python教程中return 语句是函数中常用的一个语句. return 语句用于从函数中返回,也就是中断函数.我们也可以选择在中断函数时从函数中返回一个值. 案例(保存为 function_re ...
python的常用语句_python常用语句
python常用语句一:判断语句: 所谓判断语句,就是指满足某些条件之后,才允许做的事情,而不满足条件,是不允许做的.例如在现实生活中,我们过马路时要看红绿灯,只有出现红灯的时候,我们才能过马路,否 ...

python去重语句_python常用的去重方式

python去重语句_python常用的去重方式相关推荐

最新文章

热门文章