Python去重操作及相关函数

栗子1：利用 set

L1 = (1, 1, 2, 2, 3, 3)
print(set(L1))

结果为： {1, 2, 3}

知识点拓展：集合元素的访问

集合元素可以通过转化为列表来进行访问，对于集合，存在交集、并集、差集等等很多操作。

L1 = {1, 2, 5}
L2 = list(L1)[1]
print(L2)

栗子2：利用 np.unique

import numpy as np
L1 = (1, 1, 2, 2, 3, 3)
print(np.unique(L1))

结果为： [1 2 3]

栗子3：利用循环

import numpy as np
L1 = (1, 1, 2, 2, 3, 3)
L2 = list(L1)
L3 = []for i in L2:if i not in L3:L3.append(i)
print(L3)

结果为： [1, 2, 3]

以下来自博客：Python 二维数组元素去重 np.unique()函数的使用

import numpy as np# 4.2.1 一维数组去重
a = np.array([1, 2, 3, 4, 5, 5, 7, 3, 2, 2, 8, 8])
print('去重前：', a)  # 去重前： [1 2 3 4 5 5 7 3 2 2 8 8]
b = np.unique(a)
print('去重后：', b)  # 去重后： [1 2 3 4 5 7 8]# 4.2.2 二维数组去重
c = np.array(((1, 2), (3, 4), (5, 6), (1, 3), (3, 4), (7, 6)))
print('去重前：', c)
# 方法一：利用set,set是无序不重复集合(推荐)
s = set() #创建空集合
for t in c:s.add(tuple(t)) #将数组转为元祖tuple，保证不被修改；再把元祖加入到集合中，完成去重
g = np.array(list(s)) # 将集合转换为列表，最后转为二维数组
print('去重后：', g)
# 合起来写
print('方法一去重后：', np.array(list(set(tuple(t) for t in c))))
# 方法二：转换为虚数
r, i = np.split(c, (1, ), axis=1)
print(r)
print(i)
x = r + i * 1j
# x = c[:, 0] + c[:, 1] * 1j
print('转换成虚数：', x)  # 变成一维数组，可使用np.unique()
print('虚数去重后：', np.unique(x))
print(np.unique(x, return_index=True, return_counts=True))
# return_index=True表示返回另一个参数，这个参数也是一个数组，
# array([0, 3, 1, 2, 5]表示去重后的每个元素在去重前的数组中的位置/下标
# return_counts=True表示返回各元素出现的频次
idx = np.unique(x, return_index=True)[1]
# 第[1]列的数组正是return_index=True返回的内容：在c中的位置/下标
print('二维数组去重：\n', c[idx]) #提取这些下标所在的元素

字符串去重： python中join函数

Python去重操作及相关函数相关推荐

不是python文件操作的相关函数_从零开始学Python(七):文件存储I/O流和异常捕捉
这两天在搞小程序开发,耽搁了一下更新的进度,今天补上.一个完整的前端程序肯定离不开数据存储和网络两个模块,今天我们就先来讲讲python中的一种常见数据存储:文件存储!~! 文件存储(I/O操作) 何 ...
不是python文件操作的相关函数_python-9-文件相关操作_相关函数_扩展模式
文件操作 fp = open("文件名",mode="模式",encoding="utf-8") fp - > 文件的io对象 (文件 ...
python对文件操作的相关函数_python文件操作的相关函数深入理解Django中内置的用户认证...
前言本文主要给大家介绍了关于Django中内置用户认证的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 认证登陆在进行用户登陆验证的时候,如果是自己写代码,就必须要先查 ...
Python使用matplotlib绘制数据去重前后的柱状图对比图（在同一个图中显示去重操作之后同一数据集的变化情况）
Python使用matplotlib绘制数据去重前后的柱状图对比图(在同一个图中显示去重操作之后同一数据集的变化情况) #仿真数据 import pandas as pd import numpy a ...
[原创]使用python对视频/音频文件进行详细信息采集,并进行去重操作
[原创]使用python对视频/音频文件进行详细信息采集,并进行去重操作转载请注明出处一.关于为什么用pymediainfo以及pymediainfo的安装使用python对视频/音频文件进行详 ...
实验七：掌握基本的MapReduce编程方法 (JAVA+Python实现)(编程实现文件合并和去重操作,编写程序实现对输入文件的排序,对给定的表格进行信息挖掘)
一.实验目的: 1. 理解MapReduce的工作机制: 2. 掌握基本的MapReduce编程方法 3. 重点理解map过程,shuffle过程和reduce过程二.实验环境: Hadoop+Ec ...
python对文件操作的相关函数_第六章、Python文件操作
第六章.Python文件操作 Python可以对文件进行查看.创建等功能,可以对文件内容进行添加.修改.删除,且所使用到的函数在Python3.5.x为open,在Python2.7.x同时支持fil ...
大数据分析必须要会的python函数操作！！！
数学建模美赛大数据分析题必须要会的python函数操作!!! 这里以2020年美赛C题为例,用实战进行数据处理的学习. 其数据已经上传到了这里,可以自行下载:数学建模美赛2020C题数据以及优秀o奖论 ...
Python精通-Python集合操作详解
导语在前面的分享中说完了基本的数据类型,基本的数据类型有六种分别是数字.字符串.列表.元组.列表.以及布尔值.接下来说的就是在Python中比基本数据类型变量等知识更加深入的数据类型叫做集合文 ...
如何将 MySQL 去重操作优化到极致？| CSDN 博文精选
作者 | wzy0623 责编 | 屠敏出品 | CSDN 博客前言问题提出源表t_source结构如下:item_id int,created_time datetime,modified_tim ...

Python去重操作及相关函数

Python去重操作及相关函数相关推荐

最新文章

热门文章