去除 csv 文件中的重复行

2024-05-27 10:15:51

【问题】

I have a csv file. columns in csv file - "SNo. StateName CityName AreaName PinCode NonServ.Area MessangerService Remark". The column CityName has repeated values.

Ex: In many records, it has unique value (Delhi). Is there any approach in java to read that csv file and get the distinct values from that column of the csv file.

【回答】

去除重复行是简单的结构化计算，但JAVA缺乏相关的类库，实现过程复杂，代码可读性差。这种情况下可以用SPL辅助实现，代码更直观易懂：

	A
1	=file("E:\\yourfile.csv").import@tc()
2	=A1.group@1(CityName)

A1: @c表示以逗号为分隔符读入文件。@t表示将第一行读为列名。

A2:按CityName分组，取各组第1条记录。该问题的规则没写清楚，这里假设是：如果多条记录里的CityName重复，则保留第1条记录。

关于JAVA集成，参考Java 如何调用 SPL 脚本。

去除 csv 文件中的重复行相关推荐

如何去除 EXCEL 文件中的重复行
在EXCEL数据文件中,如果按某几个列值比较,值都相等的几行称为重复行,那么怎么删除多余的重复行,只留下一行? 如果数据少,只有几十行数据,那么手工删除也是可以的.而如果数据量很大,手工处理就会是很麻 ...
如何读取csv文件中第n行数据python-python数据处理之如何选取csv文件中某几行的数据...
前言有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom, ...
查找并删除EXCEL文件中的重复行（整行重复）
''' 用Python写代码:查找并删除EXCEL文件中的重复行(整行重复) --GhatGPT方案 ''' #-------------------------------------------- ...
Linux 指令：怎样从文件中找到重复行？
Linux 指令:怎样从文件中找到重复行? 1.例如有文件test1.txt,内容如下: Hello world. 122 122 343434 222222 执行uniq -d 可以找到重复行: 1 ...
Python标识EXCEL文件中的重复行
本代码分别对指定目录(路径='G:\\Xct\\python')下的EXCEL文件:文件01.xlsx和文件02.xls进行重复行标记,这样便于在EXCEL中用"自动筛选"的功能将 ...
python如何处理数据_python数据处理之如何选取csv文件中某几行的数据
前言有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom, ...
去除csv文件中空行
import pandas as pd data = pd.read_csv("原文件.csv") res = data.dropna(how="all") r ...
去除源文件中的重复行的程序流程及其C代码实现
(本人正在参加2015博客之星评选,诚邀你来投票,谢谢:http://vote.blog.csdn.net/blogstar2015/candidate?username=zhouzxi) 一.需求描 ...
linux去除内容重复行,Linux删除文本中的重复行 - 米扑博客
在进行文本处理的时候,我们经常遇到要删除重复行的情况.那怎么解决呢? 下面就是三种常见方法? 第一,用sort+uniq,注意,单纯uniq是不行的,uniq对于重复行不上下连续时不起作用因此,先对 ...

最新文章

热门文章