linux过滤重复字符串,linux – 从制表符分隔文件中删除重复的单词/字符串

我想使用Linux命令从大的制表符分隔文件中删除重复的单词/字符串.

names john, cnn, mac, tommy, mac, patrick, ngc, discovery, john, cnn, adam, patrick

cities san jose, santa clara, san franscisco, new york, san jose, santa clara

以上是文件格式,我想删除重复的单词后保留标签和逗号.

names john, cnn, mac, tommy, patrick, ngc, discovery, adam

cities san jose, santa clara, san franscisco, new york

任何帮助,将不胜感激.

解决方法:

awk 'BEGIN {

FS = ", |\t"

}

{

printf "%s\t", $1

delim = ""

for (i = 2; i <= NF; i++) {

if (! ($i in seen)) {

printf "%s%s", delim, $i

delim = ", "

}

seen[$i]

}

printf "\n"

delete seen

}' inputfile

如果您没有使用GNU AWK(gawk),那么您无法删除数组,而是使用split(“”,array).

标签：linux,awk,sed

来源： https://codeday.me/bug/20190902/1788376.html

linux过滤重复字符串,linux – 从制表符分隔文件中删除重复的单词/字符串相关推荐

mysql scrapy 重复数据_MySQL大数据量表中删除重复记录
MySQL大数据量表中删除重复记录最近工作中需要抓取大量新闻,抓取的数据中由于一些原因存在一些重复数据,而整个数据表的记录数接近10万条,大小接近1个G,又在我自己的渣渣本本上,查询速度十分不理想, ...
python从后面删除重复项_如何从Python列表中删除重复项
如何从Python列表中删除重复项了解如何从Python中的List中删除重复项技巧. 实例从列表中删除任何重复项: mylist = ["a", "b", ...
php去除两个重复,php – 如何从两个数组中删除重复对？
我有两个这样的数组: $arr = Array (1, 2, 3 ,4 ,5, 6 ,7 ,8 ) ; 还有这个: $arr2 = Array (7, 6, 5,8 ,3 ,2 ,1, 4 ) 这些数 ...
python删除列表中的重复值_如何从 Python 列表中删除重复项
例子解释创建一个以 List 作为参数的函数. 创建函数 def my_function(x): return list(dict.fromkeys(x)) mylist = my_function ...
过滤Linux下不同大小的文件，linux查找当前目录下 M/G 大小的文件，删除Linux下指定大小的文件
过滤Linux下不同大小的文件,linux查找当前目录下 M/G 大小的文件,删除Linux下指定大小的文件 find ./ -type f -size +1G| xargs rm 在清理系统日志文件 ...
Linux 指令：怎样从文件中找到重复行？
Linux 指令:怎样从文件中找到重复行? 1.例如有文件test1.txt,内容如下: Hello world. 122 122 343434 222222 执行uniq -d 可以找到重复行: 1 ...
C语言字符串中删除重复的字符的算法(附完整源码)
C语言字符串中删除重复的字符的算法 C语言字符串中删除重复的字符的算法完整源码(定义,实现,main函数测试) C语言字符串中删除重复的字符的算法完整源码(定义,实现,main函数测试) #inclu ...
Linux，grep命令，在大日志文件中搜索关键字最后/最开始出现位置
Linux,grep命令,在大日志文件中搜索关键字最后/最开始出现位置 grep [选项]... PATTERN [FILE]... grep -C N,(N代表一个整数)是搜索关键字出现位置,并且 ...
在记事本++中删除重复的行
本文翻译自:Removing duplicate rows in Notepad++ 是否可以在Notepad ++中删除重复的行,而只留下一行? #1楼参考:https://stackoom.co ...

linux过滤重复字符串,linux – 从制表符分隔文件中删除重复的单词/字符串

linux过滤重复字符串,linux – 从制表符分隔文件中删除重复的单词/字符串相关推荐

最新文章

热门文章