在Linux中将制表符分隔的文件转换为CSV的最快方法

我有一个制表符分隔的文件，其中包含超过2亿行。 在Linux中将其转换为CSV文件的最快方法是什么？ 该文件的确包含多行标题信息，我需要将其删除，但是标题行数是已知的。 我已经看到有关sed和gawk的建议，但是我想知道是否存在“首选”选择。

为了澄清起见，此文件中没有嵌入的选项卡。

andrewj asked 2020-06-23T04:03:36Z

10个解决方案

73 votes

如果您担心嵌入式逗号，则需要使用稍微更智能的方法。 这是一个Python脚本，该脚本从stdin提取TSV行并将CSV行写入stdout：

import sys

import csv

tabin = csv.reader(sys.stdin, dialect=csv.excel_tab)

commaout = csv.writer(sys.stdout, dialect=csv.excel)

for row in tabin:

commaout.writerow(row)

从外壳运行它，如下所示：

python script.py < input.tsv > output.csv

Ignacio Vazquez-Abrams answered 2020-06-23T04:04:27Z

50 votes

如果您需要做的就是将所有制表符转换为逗号，则可能需要tr。

此处的空白是文字标签：

$ echo "hello world" | tr "\\t" ","

hello,world

当然，如果您在文件的字符串文字中嵌入了制表符，那么这也会错误地翻译它们。 但是嵌入的文字标签很少见。

Mark Rushakoff answered 2020-06-23T04:04:03Z

20 votes

perl -lpe 's/"/""/g; s/^|$/"/g; s/\t/","/g' < input.tab > output.csv

在这种情况下，Perl通常比sed，awk和Python更快。

pabs answered 2020-06-23T04:04:47Z

8 votes

如果要将整个tsv文件转换为csv文件，请执行以下操作：

$ cat data.tsv | cut -f1,2,3 | tr "\\t" "," > data.csv

如果要省略一些字段：

$ cat data.tsv | cut -f1,2,3 | tr "\\t" "," > data.csv

上面的命令会将data.tsv文件转换为仅包含前三个字段的data.csv文件。

Gopal Kumar answered 2020-06-23T04:05:25Z

6 votes

sed -e 's/"/\\"/g' -e 's//","/g' -e 's/^/"/' -e 's/$/"/' infile > outfile

该死的批评家，引用一切，CSV不在乎。

是实际的制表符。 \ t对我没用。 在bash中，使用^ V进行输入。

Will Hartung answered 2020-06-23T04:05:49Z

5 votes

@ ignacio-vazquez-abrams的python解决方案很棒！ 对于希望解析定界符其他标签的用户，该库实际上允许您设置任意定界符。 这是我处理管道分隔文件的修改版本：

import sys

import csv

pipein = csv.reader(sys.stdin, delimiter='|')

commaout = csv.writer(sys.stdout, dialect=csv.excel)

for row in pipein:

commaout.writerow(row)

jtlai answered 2020-06-23T04:06:10Z

3 votes

假设您不想更改标题并且假设您没有嵌入式选项卡

# cat file

header header header

one two three

$ awk 'NR>1{$1=$1}1' OFS="," file

header header header

one,two,three

NR> 1跳过第一个标头。 您提到您知道标题的行数，因此请根据您的情况使用正确的数字。 这样，您也无需调用任何其他外部命令。 只有一个awk命令可以完成这项工作。

如果您有空白列并且您对此很在意，则可以采用另一种方法。

awk 'NR>1{gsub("\t",",")}1' file

使用sed

sed '2,$y/\t/,/' file #skip 1 line header and translate (same as tr)

ghostdog74 answered 2020-06-23T04:06:43Z

1 votes

您也可以为此使用xsv

xsv input -d '\t' input.tsv > output.csv

在我对300MB tsv文件的测试中，它大约比python解决方案快5倍(2.5秒vs. 14秒)。

mloughran answered 2020-06-23T04:07:08Z

0 votes

以下awk oneliner支持引号+引号转义

printf "flop\tflap\"" | awk -F '\t' '{ gsub(/"/,"\"\"\"",$i); for(i = 1; i <= NF; i++) { printf "\"%s\"",$i; if( i < NF ) printf "," }; printf "\n" }'

给

"flop","flap""""

coderofsalvation answered 2020-06-23T04:07:32Z

-1 votes

我认为最好不要整理文件，因为在大文件的情况下可能会产生问题。 更好的方法可能是

$ tr ',' '\t' < csvfile.csv > tabdelimitedFile.txt

该命令将从csv file.csv获取输入，并将结果存储为以制表符分隔的File.txt中的制表符

Mian Asbat Ahmad answered 2020-06-23T04:08:01Z