Pandas数据处理4、DataFrame记录重复值出现的次数(是总数不是每个值的数量)
Pandas数据处理4、DataFrame记录重复值出现的次数(是总数不是每个值的数量)
目录
Pandas数据处理4、DataFrame记录重复值出现的次数(是总数不是每个值的数量)
前言
环境
基础函数的使用
DataFrame记录每个值出现的次数
重复值的数量
重复值
打印重复的值
总结
前言
这个女娃娃是否有一种初恋的感觉呢,但是她很明显不是一个真正意义存在的图片,我们需要很复杂的推算以及各种炼丹模型生成的AI图片,我自己认为难度系数很高,我仅仅用了64个文字形容词就生成了她,很有初恋的感觉,符合审美观,对于计算机来说她是一组数字,可是这个数字是怎么推断出来的就是很复杂了,我们在模型训练中可以看到基本上到处都存在着Pandas处理,在最基础的OpenCV中也会有很多的Pandas处理,所以我OpenCV写到一般就开始写这个专栏了,因为我发现没有Pandas处理基本上想好好的操作图片数组真的是相当的麻烦,可以在很多AI大佬的文章中发现都有这个Pandas文章,每个人的写法都不同,但是都是适合自己理解的方案,我是用于教学的,故而我相信我的文章更适合新晋的程序员们学习,期望能节约大家的事件从而更好的将精力放到真正去实现某种功能上去。本专栏会更很多,只要我测试出新的用法就会添加,持续更新迭代,可以当做【Pandas字典】来使用,期待您的三连支持与帮助。
环境
系统环境:win11
Python版本:python3.9
编译工具:PyCharm Community Edition 2022.3.1
Numpy版本:1.19.5
Pandas版本:1.4.4
基础函数的使用
Pandas数据处理——渐进式学习1、Pandas入门基础
Pandas数据处理——渐进式学习、DataFrame(函数检索-请使用Ctrl+F搜索)
DataFrame记录每个值出现的次数
语法
DataFrame.duplicated(subset=None,keep='first')
参数
subset:判断是否是重复数据时考虑的列
keep:保留第一次出现的重复数据还是保留最后一次出现的
重复值的数量
import pandas as pd
import numpy as npdf = pd.DataFrame({'name': ['张丽华', '李诗诗', '王语嫣', '李诗诗', '李诗诗', '李诗诗', '李诗诗'],'sex': ['girl', 'woman', np.nan, 'girl', 'woman', 'woman', 'woman'],'age': [22, np.nan, 16, np.nan, 27, 27, 27]}
)
print(df)
print("----duplicated----")
# duplicated
count = df.duplicated(subset=['name']).sum()
print("重复值数量:", count)
我们看了共计有5个李诗诗,因为第一个没有计数,从第二个开始计数故而输出结果是:4
重复值
import pandas as pd
import numpy as npdf = pd.DataFrame({'name': ['张丽华', '李诗诗', '王语嫣', '李诗诗', '李诗诗', '李诗诗', '李诗诗'],'sex': ['girl', 'woman', np.nan, 'girl', 'woman', 'woman', 'woman'],'age': [22, np.nan, 16, np.nan, 27, 27, 27]}
)
print(df)
print("----duplicated----")
# duplicated
pr = df.duplicated(subset=['name'])
print("重复值:")
print(pr)
可以看到的数值匹配。
打印重复的值
import pandas as pd
import numpy as npdf = pd.DataFrame({'name': ['张丽华', '李诗诗', '王语嫣', '李诗诗', '李诗诗', '李诗诗', '李诗诗', '王语嫣', '王语嫣', '王语嫣'],'sex': ['girl', 'woman', np.nan, 'girl', 'woman', 'woman', 'woman', 'girl', 'girl', 'girl'],'age': [22, np.nan, 16, np.nan, 27, 27, 27, 16, 16, 16]}
)
print(df)
print("----duplicated----")
# duplicated
print("打印重复的值:")
print(df[df.duplicated(subset=['name']) == True])
实际输出
总结
这个函数不是很好用,没有Counter函数好用呢,谁用谁知道。
这里我留一个Counter函数的例子。
我们创建一个测试数据:
from collections import Counternums = [1, 1, 1, 6, 6, 6, 7, 8]
count = Counter(nums) # 统计词频
print(count)
测试数据输出可以看到依然是Counter类型,我们需要进行具体的遍历:
遍历:
from collections import Counternums = [1, 1, 1, 6, 6, 6, 7, 8]
count = Counter(nums) # 统计词频
for k, v in count.items():print(k, v)
遍历效果:
到这里就能看到用法了,我们可以根据这个数据进行排序,例如一个冒泡排序:
from collections import Counternums = [1, 1, 1, 6, 6, 6, 7, 8]
count = Counter(nums) # 统计词频
temp = []
for i, j in count.items():result = ["", ""]result[0] = iresult[1] = jtemp.append(result)
# 倒序排列一下
for i in range(0, len(temp) - 1):for j in range(0, len(temp) - i - 1):if temp[j][1] < temp[j + 1][1]:temps = temp[j]temp[j] = temp[j + 1]temp[j + 1] = temps
for i in temp:print("值", i[0], "数量", i[1])
倒序效果:
希望能给大家带来一些帮助。
Pandas数据处理4、DataFrame记录重复值出现的次数(是总数不是每个值的数量)相关推荐
- pandas中关于DataFrame去掉重复行和NaN行
1.去掉重复行 使用pandas自带的drop_duplicates方法: norepeat_df = df.drop_duplicates(subset=['A_ID', 'B_ID'], keep ...
- Pandas数据处理1、DataFrame删除NaN空值(dropna各种属性值控制超全)
Pandas数据处理--渐进式学习 目录 Pandas数据处理--渐进式学习 前言 环境 DataFrame删除NaN空值 dropna函数参数 测试数据 删除所有有空的行 axis属性值 how属性 ...
- python-数据分析-(12)pandas数据清洗、缺失值、重复值、异常值处理常见方法
一.导入模块 import pandas as pd from scipy.interpolate import interp1d 二.读取excel文件 data=pd.read_excel(r'E ...
- python dataframe删除重复行_详解pandas使用drop_duplicates去除DataFrame重复项参数
Pandas之drop_duplicates:去除重复项 方法 DataFrame.drop_duplicates(subset=None, keep='first', inplace=False) ...
- pandas数据处理实践三(DataFrame.apply、merge、rename,数据预处理、DataFrame.drop_duplicates去重)
通过apply.rename进行数据的预处理: DataFrame.apply(func,axis = 0,broadcast = None,raw = False,reduce = None,res ...
- pandas使用duplicated函数删除dataframe中重复列名称的数据列、默认保留重复数据列中的第一个数据列(removing duplicate columns in dataframe)
pandas使用duplicated函数删除dataframe中重复列名称的数据列.默认保留重复数据列中的第一个数据列(removing duplicate columns in dataframe) ...
- pandas.core.frame.DataFrame是什么数据结构,为什么要如此取值 [ ]中嵌套[ ]
pandas.core.frame.DataFrame是什么数据结构,为什么要如此取值 [ ]中嵌套[ ] bmi_life_model.fit(bmi_life_data[['BMI']], bm ...
- 根据列值删除Pandas中的DataFrame行
本文翻译自:Deleting DataFrame row in Pandas based on column value I have the following DataFrame: 我有以下Dat ...
- 【pandas】dataframe中重复数据比较、筛选、去除等
当需要的是DataFrame那些重复数据,尤其是要比较重复数据的异同时,就需要将重复数据提取出来时,再关联原数据,并做排序,进行比较. 方法一.主要思路: 1. 采用drop_duplicates对数 ...
最新文章
- 替代方法_ASD干预:替代行为的正确使用方法和注意事项
- .a 文件 和 so 文件
- 塔式服务器、机架式服务器、刀片服务器区别小结
- Table城市代码翻译
- Java——设计模式(简单工厂模式)
- 面试百度、阿里、腾讯,这134道Java面试题你会多少?
- dedecms注入漏洞 5.3 5.5
- farm ugly chicken kick(fuck)这个计算机词汇的由来
- Cannot load php5apache2_4.dll into server解决办法;
- javaweb,springboot项目生成路径
- 窃钩者诛,“窃脸”者___?
- Android自定义View 实现窗帘控件
- java8 joda_Java基础之如何取舍Joda与 Java8 日期库
- python培训+价格上海
- Kotlin可能带来的一个深坑,系列篇
- 钉钉入局在线文档市场,阿里和腾讯再次对决?
- 计算机网络——HTTP
- 可扩展性类毕业论文文献都有哪些?
- Oracle SQL 单引号与双引号区别
- php随机缩略图,实现随机缩略图的简单思路和phpcms随机缩略图两种方法
热门文章
- 大家小心~~财付通故意留下bug给骗子留下后门
- python中locals函数_python中locals函数的作用是什么?
- hive load data inpath ‘‘ overwrite into 坑
- 插曲:我的大学时期二三事
- Activity快速转换为Diglog,美团点评APP在移动网络性能优化的实践
- 辐射度量学(Radiometry)的基础知识
- 校园民谣二十年年祭(上)
- hive on spark执行insert overwrite非常慢
- c语言button用法,C# Button:按钮控件
- C# 使用BitBlt进行窗口抓图的示例