使用R语言筛选数据中的重复行

在进行数据的预处理时，我们常常关注有无重复数据，如果两行数据完全一致，则可能存在数据的重复录入等情况，此时就要对这两行数据进行核实。但这个过程如何用R语言实现？笔者近期对这个问题进行了探索。

我们首先虚拟一个数据，并将这个数据保存为CSV文件，命名为"a.csv“，数据如下图：

我们首先读入数据，并查看数据读入是否正确：

a<-read.csv("a.csv")
head(a)

R语言里有一个判断重复值的函数duplicated，可以分别运行如下三行程序，分别输出每一行数据和前面是否是重复的，重复数据，重复数据所在的行：

duplicated(a)
a[duplicated(a),]
which(duplicated(a))

但上面这段代码存在的问题是，只能找到第二次及以后出现的数据，我们并不能找到这行数据第一次出现的位置。

对重复数据的理解状态是输出所有的重复数据及所在的行，再进行判断，这就需要写出来相应的代码去实现。具体的思路是先找出重复的行，赋值到数据框b中，然后判断b的每一行和a是否重复，经过尝试，代码如下：

b<-a[duplicated(a[duplicated(a),]),]for (i in c(1:nrow(b))){for (j in c(1:nrow(a))){if (sum(b[i,] == a[j,]) == ncol(a)){print(a[j,])print(paste( "In the row", j))}}
}

输出的结果如下：

使用R语言筛选数据中的重复行相关推荐

R语言筛选dataframe中某一日期之后的数据集、特定日期之后的数据行
R语言筛选dataframe中某一日期之后的数据集.特定日期之后的数据行目录 R语言筛选dataframe中某一日期之后的数据集.特定日期之后的数据行
R语言筛选dataframe中两个日期之外的数据行，介于两个日期（包括两个日期）之间的数据行
R语言筛选dataframe中两个日期之外的数据行,介于两个日期(包括两个日期)之间的数据行目录
R语言读取CSV，删除重复行，进行数据分析
R语言读取CSV,将csv数据中的重复值进行统计,统计之后删除重复内容,只保留第一次出现的值. rm(list = ls()) library(ggplot2) library(dplyr)Rstar ...
R语言提取数据中的任意子集
# 生成数据 data <- data.frame(name = c('bob', 'tomas', 'jack'),year = c(17, 18, 19),score1 = c(78, 85 ...
excel表格多列数据中查找重复行数据
1.做透视表统计 2.设置显示格式 3.取消分类汇总 4.拷贝到原数据后面 5.排序
R语言进行数据聚合统计（Aggregating transforms）实战：使用R原生方法、data.table、dplyr等方案、计算分组均值并添加到可视化结果中
R语言进行数据聚合统计(Aggregating transforms)实战:使用R原生方法.data.table.dplyr等方案.计算分组均值并添加到可视化结果中目录
R语言dataframe数据列中的缺失值NA的个数统计实战：特定数据列的NA值统计、所有特征的NA值统计
R语言dataframe数据列中的缺失值NA的个数统计实战:特定数据列的NA值统计.所有特征的NA值统计目录
R语言将数据列中的多种日期格式统一变化为一种固定格式实战：使用lubridate包中的parse_date_time函数
R语言将数据列中的多种日期格式统一变化为一种固定格式实战:使用lubridate包中的parse_date_time函数目录
R语言导入数据文件（数据导入、加载、读取）、使用readr包中的read_csv函数导入逗号分割文件CSV（Comma Delimited Text File）
R语言导入数据文件(数据导入.加载.读取).使用readr包中的read_csv函数导入逗号分割文件CSV(Comma Delimited Text File) 目录

使用R语言筛选数据中的重复行

使用R语言筛选数据中的重复行相关推荐

最新文章

热门文章