【shell命令】拆分、合并、排序、比较文件

linux下有很多能快速操作文件的命令，整理几个常用的：

1、拆分文件（按行拆分 -l，按大小拆分 -b ，后面可加单位：b、k、m等）：

c:/shell/split.exe -l 3000000 bigfileName /destinationDir/prefix

--- 我是在window环境下使用awk的，所以加了路径，prefix 是拆分后的子包名的前缀。

2、合并文件

(1) Windows 下：

type file1 > destinationFile (将文件file1 中的内容写到destinationFile中，如果是追加，需要用：>> ，不然destinationFile中的内容会被覆盖)

(2) Linux 下：

cat file1 > destinationFile ( 同样，追加的话用：>> )

3、文件排序

c:/shell/sort.exe file1.txt > s_file1.txt

-- file1.txt是排序之前的文件，我这里file1.txt中只有1列，是按字母顺序排列的，将排序后的结果写到了 s_file1.txt 中，sort命令的用法很强大，更多的可网上搜索一下。

4、文件比较

c:/shell/comm.exe -12 file1.txt file2.txt

--- 参数 -12 表示，输出在文件 file1.txt 和文件 file2.txt 中都有的项，-23显示在file1.txt 中出现而未在file2.txt中出现的行，-123则什么也不显示。

注意：使用 comm命令需要先对文件进行排序

【shell命令】拆分、合并、排序、比较文件相关推荐

paste命令，合并多个文件的“同行数据”
paste命令,合并多个文件的"同行数据" [小蜗牛有心之作] 好不容易将所有用户名一个一行列在文件usernames.txt,如下: [root@pps ~]# cat user ...
怎么用stata打开dta文件_用shell命令打开任意格式的文件
hello,大家好,又来到了每周一期的知识大课堂啦,每期的知识大课堂,我们都会分享一个实用的知识点.本期的知识大课堂为大家带来的是:shell命令的使用方法. 在很多情况下,我们需要在应用程序中直接打 ...
linux系统下shell命令使用通配符批量创建文件或目录
linux系统下shell命令使用通配符批量创建文件或目录批量创建log文件批量创建文件夹批量删除目录批量创建log文件 touch {1..5}.log 批量创建文件夹 mkdir dir_ ...
linux 文件拆分合并,Linux下文件的切分与合并的简单方法
linux下文件分割可以通过split命令来实现,可以将一个大文件拆分成指定大小的多个文件,并且拆分速度非常的快,可以指定按行数分割和安大小分割两种模式.Linux下文件合并可以通过cat命令来实现, ...
07-15 shell命令 man ps linux各个文件夹的含义
man [name] 获取联机帮助 NAME:命令(函数)的名称 SYNOPSIS:命令的语法格式 DESCRIPTION:命令的一般描述及用途 OPTIONS:描述命令所有的参数或选项 SEE AL ...
shell 命令 if [ -d filename] 判断文件
作者:曹毅涵 [ -a FILE ] 如果 FILE 存在则为真. [ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真. [ -c FILE ] 如果 FILE 存在且是一个字特殊 ...
用JAVA API实现HDFS常用shell命令的功能（新建文件夹，上传文件，下载文件，判断文件是否存在）
新建文件夹 package hdfs.files;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Fi ...
ffmpeg命令：合并拼接视频文件
ffmpeg.exe -i "concat:1.ts|2.ts|3.ts" -c:v copy -c:a copy ./t.mp4
常用的HDFS Shell命令及解析
常用的HDFS Shell命令大多数HDFS Shell命令的行为和对应的Unix Shell命令类似,主要不同之处是HDFS Shell 命令操作的是远程Hadoop服务器的文件,而Unix Sh ...
linux 脚本编写基本命令,Linux Shell命令行及脚本编程实例详解
<Linux典藏大系:Linux Shell命令行及脚本编程实例详解>共15章,分为两篇.主要内容包括:Linux 及Linux Shell简介.初识Linux Shell.常用Shell ...

【shell命令】拆分、合并、排序、比较文件

【shell命令】拆分、合并、排序、比较文件相关推荐

最新文章

热门文章