文本去除重复行（sublime Text3 ,正则表达式）

去除重复行的方法很多，这里通过正则表达式实现；

农林牧渔子类
农林牧渔子类
农林牧渔子类
农林牧渔子类
卫生和社会工作子类
卫生和社会工作子类
卫生和社会工作子类
卫生和社会工作子类
交通运输、仓储和邮政业子类
交通运输、仓储和邮政业子类
交通运输、仓储和邮政业子类
交通运输、仓储和邮政业子类
交通运输、仓储和邮政业子类
交通运输、仓储和邮政业子类
交通运输、仓储和邮政业子类
交通运输、仓储和邮政业子类
建筑业子类
建筑业子类
建筑业子类
建筑业子类
信息传输、软件和信息服务业子类
信息传输、软件和信息服务业子类
信息传输、软件和信息服务业子类
信息传输、软件和信息服务业子类
住宿和餐饮业子类
住宿和餐饮业子类
住宿和餐饮业子类
住宿和餐饮业子类
卫生和社会工作子类
卫生和社会工作子类
卫生和社会工作子类
卫生和社会工作子类
文化、体育和娱乐业子类
文化、体育和娱乐业子类
文化、体育和娱乐业子类
文化、体育和娱乐业子类
制造业子类
制造业子类
制造业子类
制造业子类
制造业子类
制造业子类
制造业子类
制造业子类
制造业子类
制造业子类
制造业子类
制造业子类
农林牧渔子类
农林牧渔子类
农林牧渔子类
农林牧渔子类
渔船船员子类
渔船船员子类
渔船船员子类
渔船船员子类
渔船船员子类
渔船船员子类
渔船船员子类
渔船船员子类
制造业子类
制造业子类
制造业子类
制造业子类

正则表达式

(.*)(?=.*\n\1)

或

(^.*\n)(?=\1)

(.*) 任意字符并捕获在第一组
(?=.*\n\1) 这是断言, 表示后面内容将是任意个字符加上第一组所捕获的内容

替换为空

结果

农林牧渔子类
卫生和社会工作子类
交通运输、仓储和邮政业子类
建筑业子类
信息传输、软件和信息服务业子类
住宿和餐饮业子类
卫生和社会工作子类
文化、体育和娱乐业子类
制造业子类
农林牧子类
渔船船员子类
制造业子类

再去除空行(安装插件DeleteBlankLines或者录制执行正则表达式的宏)，排序F9都可以使用sublime Text3

文本去除重复行（sublime Text3 ,正则表达式）相关推荐

如何高效地做到大文本去除重复行
如果只是去重,用sort的效率很低(指的是上千万行的量级),因为做了额外操作,因为你只是要去重,而不是排序用awk数组来实现很简单很快,利用了awk数组是hashtable实现的特性.内存占用和去重 ...
menisa mysql_实例详细说明linux下去除重复行命令uniq
一,uniq干什么用的文本中的重复行,基本上不是我们所要的,所以就要去除掉.linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个.使用uniq的时候要注意以下二点 1,对文本操 ...
linux排列去重复的命令,实例详细说明linux下去除重复行命令uniq
一,uniq干什么用的文本中的重复行,基本上不是我们所要的,所以就要去除掉.linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个.使用uniq的时候要注意以下二点 1,对文本操 ...
python3 文本文件内容去除重复行
环境:python3.8 import shutil# 文件去除重复行 def remove_duplicates(path):lines_seen = set()outfile = open(f&q ...
python excel处理重复行并统计个数_python统计一个文本中重复行数的方法
python统计一个文本中重复行数的方法这篇文章主要介绍了python统计一个文本中重复行数的方法,涉及针对Python中dict对象的使用及相关本文的操作,具有一定的借鉴价值,需要的朋友可以参考下 ...
python统计重复的数_python统计一个文本中重复行数的方法
本文实例讲述了python统计一个文本中重复行数的方法.分享给大家供大家参考.具体实现方法如下: 比如有下面一个文件 2 3 1 2 我们期望得到 2,2 3,1 1,1 解决问题的思路: 出现的文本 ...
shell脚本--awk数组实现去除重复行
去除重复行的方法有很多,这里介绍三种. 测试文本: [root@172-0-10-222 myscripts]# cat testfile andy 123456 hanna 123456 hello ...
Pandas 模块-操纵数据(8)-去除重复行 .drop_duplicates()
目录 8. 去除重复行 .drop_duplicates() 8.1 .drop_duplicates() 语法 8.1.1 .drop_duplicates() 语法结构 8.1.2 .drop_d ...
linux shell 文件去除重复行
原始文本文件 $ cat test jason jason jason fffff jason 方法一:sort -u 去除重复后 sort -u test fffff jason 注意顺序被打乱方 ...

文本去除重复行（sublime Text3 ,正则表达式）

文本去除重复行（sublime Text3 ,正则表达式）

文本去除重复行（sublime Text3 ,正则表达式）相关推荐

最新文章

热门文章

文本 去除重复行（sublime Text3 ,正则表达式）

文本 去除重复行（sublime Text3 ,正则表达式）

文本 去除重复行（sublime Text3 ,正则表达式）相关推荐

最新文章

热门文章

文本去除重复行（sublime Text3 ,正则表达式）

文本去除重复行（sublime Text3 ,正则表达式）

文本去除重复行（sublime Text3 ,正则表达式）相关推荐