数据清洗（一）-----------重复数据处理

数据处理

（一）重复数据的处理

（1）函数法：COUNTIF（range,criterial）

range：要计数的单元格范围

criterial:计算条件

eg:A列：员工编号；B列：每个员工编号出现的次数；C列：查找出现两次及其以上的重复项，以C9为例，即表示A466074从A1到A9是第3次重复出现。

（2）高级筛选法：

a.选择数据单元格区域A1：:11

b.开始---筛选---高级筛选---选择“将筛选结果复制到其他位置”---在复制到文本框输入另一个存放的区域---勾选“选择不重复记录”复选框---单击确定按钮

（3）条件格式法

选择单元格区域---开始---条件格式---突出显示单元格规则---重复值---将重复值和所在单元格标为不同颜色

（4）数据透视表法

用数据透视表统计各数据出现的频次，出现两次及以上就说明该数据属于重复项，若统计结果为1这说明该数据没有重复出现。

a.单击“插入”选项卡---单击“数据透视表”按钮---在弹出的是“数据透视表”对话框“选择一个表或区域”中，选择数据源单元格范围

b.将“编号”字段拖至行标签---再将“编号”字段拖至数值汇总区域

由以上可知，高级筛选法和数据透视表最便捷。

（二）删除重复数据

（1）通过菜单操作删除重复项

a.选择A1：:11区域---数据选项卡---单击删除重复项---在“列”区域下选择要删除的列---单击确定

（2）排序删除重复项

利用前面的COUNTIF系列的第二次重复标记，先排序，然后删掉大于1的行就行

（3）筛选删除重复项

数据清洗（一）-----------重复数据处理相关推荐

机器学习数据清洗之异常数据处理、标准差法、MAD法、箱图法、图像对比法、异常值处理准则
机器学习数据清洗之异常数据处理.标准差法.MAD法.箱图法.图像对比法.异常值处理准则目录
数据库，唯一索引，重复数据处理
为什么80%的码农都做不了架构师?>>> //唯一索引,重复数据处理 1.为母表建立唯一主键(主键为自增,此字段在后面删除记录时会用到),同时建立和母表一样的临时表(此表要建 ...
Python 数据分析三剑客之 Pandas（八）：数据重塑、重复数据处理与数据替换
CSDN 课程推荐:<迈向数据科学家:带你玩转Python数据分析>,讲师齐伟,苏州研途教育科技有限公司CTO,苏州大学应用统计专业硕士生指导委员会委员:已出版<跟老齐学Python ...
Flink 去除重复数据重复数据处理
Flink 去除重复数据重复数据处理方式一:流转表 // 计算iopvSingleOutputStreamOperator<FundIopvIndicators> streamOper ...
数据清洗:相似重复记录检测算法SNM及其Python实现
1. 相似重复记录删除相似重复记录是指数据库中存在这样的两条记录R1R_{1}R1和R2R_{2}R2,他们的内容相同或者相似,且都对应着同一个现实实体,则记录对<R1,R2>& ...
python实现数据清洗（重复值+缺失值+异常值处理）
实现功能: python实现数据清洗,对重复记录.缺失值.异常值进行检测,并对其进行处理. 实现代码: # 导入需要的库 import numpy as np import pandas as pdd ...
python去重复的数据_python - 常用数据清洗方法-重复项处理
在数据的处理过程中,一般都需要进行数据清洗工作,如数据集是否存在重复,是否存在缺失,数据是否具有完整性和一致性,数据中是否存在异常值等.发现诸如此类的问题都需要针对性地处理,下面我们一起学习常用的数据 ...
Pandas 重复数据处理大全
作者 | 东哥起飞来源 | Python数据科学本次来介绍重复值处理的常用方法. 重复值处理主要涉及两个部分,一个是找出重复值,第二个是删除重复值,也就是根据自己设定的条件进行删除操作. 定位重复 ...
【Python】pandas 重复数据处理大全（附代码）
所有数据和代码可在GitHub获取: https://github.com/xiaoyusmd/PythonDataScience 本次来介绍重复值处理的常用方法. 重复值处理主要涉及两个部分,一个是 ...

数据清洗（一）-----------重复数据处理

数据清洗（一）-----------重复数据处理相关推荐

最新文章

热门文章