【linux】使用sed删除大文件中的指定行

引言： 最近在清洗数据时遇到一个超大的文件，需要删除其中不符合数据要求的指定行。使用之前写好的python脚本清洗速度太慢，于是检索了许多linux文件处理的命令，了解到sed这个命令工具。

sed命令的使用比较复杂，但是对于我的这个需求来说，使用其他还是比较简单的。最关键的，它支持正则表达式。

使用规则： sed '/正则表达式/d' 文件名 > 新文件名

比如删除vocab.txt文件中，字符串"while"开头的所有行：sed '/^while/d' vocab.txt > vocab_new.txt.

解释： "d"表示删除的意思，后面不接任何东西，正则表达式用两个“/”分隔开。最后一定要重定向到一个新的文件，因为sed命令是将删除后的结果在控制台上输出，如果不加重定向，则源文件中的内容是没有任何删除的。

【linux】使用sed删除大文件中的指定行相关推荐

查找并删除EXCEL文件中的重复行（整行重复）
''' 用Python写代码:查找并删除EXCEL文件中的重复行(整行重复) --GhatGPT方案 ''' #-------------------------------------------- ...
Linux 指令：怎样从文件中找到重复行？
Linux 指令:怎样从文件中找到重复行? 1.例如有文件test1.txt,内容如下: Hello world. 122 122 343434 222222 执行uniq -d 可以找到重复行: 1 ...
Python3实现从txt文件中读取指定行的方法
Python3实现从txt文件中读取指定行的方法本文实例讲述了Python3实现从文件中读取指定行的方法.分享给大家供大家参考.具体实现方法如下: def getline(the_file_path ...
python中删除某一行_python 删除大文件中的某一行(最有效率的方法)
用 python 处理一个文本时,想要删除其中中某一行,常规的思路是先把文件读入内存,在内存中修改后再写入源文件. 但如果要处理一个很大的文本,比如GB级别的文本时,这种方法不仅需要占用很大内存,而且 ...
python读文件一次读特定行_Python3实现从文件中读取指定行的方法 python读取文本内每行指定内容...
如何用python读取文本中指定行的内容在这个世界上说不出口的话太多了,你能不能陪小编去,你能不能留下来,你能不能帮帮小编,你对小编很重要,所以你可不可以不要走,到最后哽咽出口的却是,没关系,小编可以 ...
MATLAB中批量从txt文件中读取指定行的数据保存为txt文件
经常遇到,我们想要读取的数据,不是从头开始读取的,我们往往要求从固定的行开始读取,MATLAB代码如下: function readData() %从指定行开始读取数据 readFilePath='C ...
linux带字符的行,linux小计，统计文件中包含指定字符串的行数
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 Linux, the kernel developed and distributed by Linus Torvalds et al, contains ...
linux统计一个文本文件包含多少行,linux小计，统计文件中包含指定字符串的行数...
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 Linux, the kernel developed and distributed by Linus Torvalds et al, contains ...
linux rm 不释放_Linux解决rm 删除大文件后磁盘空间无法释放的问题
Linux解决rm 删除大文件后磁盘空间无法释放的问题在Linux中,当我们使用rm在linux上删除了大文件,但是如果有进程打开了这个大文件,却没有关闭这个文件的句柄,那么linux内核还是不会 ...

【linux】使用sed删除大文件中的指定行

【linux】使用sed删除大文件中的指定行

【linux】使用sed删除大文件中的指定行相关推荐

最新文章

热门文章