python 数据去重_python 对数据常用的几种去重方式

一、对列表去重

1.用循环查找的方式

li = [1,2,3,3,4,2,3,4,5,6,1]

news_li = []

for i in li:

if i not in news_li:

news_li.append(i)

print (news_li)

2.用集合的特性set()

li1 = [1,4,3,3,4,2,3,4,5,6,1]

new_li1 = list(set(li1))

3.使用itertools模块的grouby方法

import itertools

li2 = [1,4,3,3,4,2,3,4,5,6,1]

li2.sort() # 排序

it = itertools.groupby(li2)

for k, g in it:

print (k)

4.运用while循环遍历的方式

def quchong(lb):

for x in lb:

while lb.count(x)>1:

del lb[lb.index(x)]

return lb

li3 = [1,4,3,3,4,2,3,4,5,6,1]

quchong(li3)

5.使用keys()方式

li4 = [1,0,3,7,7,5]

formatli = list({}.fromkeys(li4).keys())

print (formatli)

二、对数据框去重

1.用unique()对单属性列去重

import pandas as pd

data = {'id':['A','B','C','C','C','A','B','C','A'],'age':[18,20,14,10,50,14,65,14,98]}

data = pd.DataFrame(data)

data.id.unique()

# 或者

import numpy as np

np.unique(data.id)

2.用frame.drop_duplicates()对单属性列去重

data.drop_duplicates(['id'])

3.用frame.drop_duplicates()对多属性列去重

data.drop_duplicates(['id','age'])

4.用frame.duplicated()对多属性列去重

isduplicated = data.duplicated(['id','age'],keep='first')

data.loc[~isduplicated,:]

人生苦短，我用python！

python 数据去重_python 对数据常用的几种去重方式相关推荐

Elasticsearch学习第二篇--常用的几种搜索方式
Elasticsearch学习第二篇--常用的几种搜索方式一.Query String Search 查询全部条件查询二.Query DSL 查询全部条件查询三.Query Filter 四 ...
spring入门之Spring 常用的三种注入方式
Spring 常用的三种注入方式 Spring 通过 DI(依赖注入)实现 IOC(控制反转),常用的注入方式主要有三种:构造方法注入,set 方法注入,基于注解的注入. 一.通过构造方法注入先简单 ...
pcb 理论阻值、过孔_超实用！PCB设计中过孔常用的6种处理方式
原标题:超实用!PCB设计中过孔常用的6种处理方式小伙伴们我们又见面啦! 上一次的" 神仙过孔 ",还没过瘾吧? <整齐的过孔固然符合审美,但是却...> 今天的小课 ...
【温故知新】——原生js中常用的四种循环方式
一.引言本文主要是利用一个例子,讲一下原生js中常用的四种循环方式的使用与区别: 实现效果: 在网页中弹出框输入0 网页输出"欢迎下次光临" 在网页中弹出框输入1 网页输 ...
Python selenium —— 一定要会用selenium的等待，三种等待方式解
转自 http://lib.csdn.net/article/48/50937?knId=1313 Python selenium -- 一定要会用selenium的等待,三种等待方式解发现太多人 ...
常用的几种布局方式---Flex 布局(垂直居中展示）
常用的几种布局方式---Flex 布局(垂直居中展示) 前言一.默认使用静态布局二.flex布局 1.父元素container 1.1.display:flex 1.2.flex-directio ...
vpwm的控制变频_变频器常用的几种控制方式
变频器常用的几种控制方式变频器常用的几种控制方式变频调速技术就是现代电力传动技术的重要发展方向 , 而作为变频调速系统的核心-变频器的性能也越来越成为调速性能优劣的决定因素 , 除了变频器本身 ...
三相llc 华为_华为电源常用的3种输入输出方式
UPS不间断电源应用领域越来越广泛,UPS不间断电源产品也不断的更新,UPS不间断电源应用领域不同,地区不同,我们的市电输入也不同,UPS不间断电源根据不同的使用领域环境,设计出应对不同领域市电输入, ...
分享一下目前市场上常用的八种推广方式，希望对你有帮助。
游戏推广的核心本质是什么?就是新增玩家,我来给大家分享一下目前市场上常用的八种推广方式,希望对你有帮助. 一呢,做工会,作为一个工会的老大来说呢,它是有领导效应,而且公会都有公会群,将来号召大家一起换 ...
Map接口常用的几种遍历方式与小练习
Map接口常用的几种遍历方式与小练习 keyset:获取所有的键,我们可以通过键获取值 entryset:获取所有的键值对 values:获取所有的值:此方法只能获取到value,无法获取key pa ...

python 数据去重_python 对数据常用的几种去重方式

python 数据去重_python 对数据常用的几种去重方式相关推荐

最新文章

热门文章