linux下文件合并、分割、去重

1.文件合并

1.1文件上下合并

　　cat f1 f2> muti (将文件f1、f2合并成文件muti，f1在上，f2在下)

1.2左右合并

　　paste f1 f2 > muti (将文件f1、f2合并成文件muti，f1在左，f2在右，默认使用tab键隔开)

2.文件分割

2.1按行数分割

　　split -l 5 file (将文件file进行分割，每个分割后的小文件，行数不大于5)

2.2按大小切割

　　spilt -C 20M file (将文件file进行分割，每个分割后的文件最大为20M)

3.文件去重

3.1 可以使用sort命令

　　sort -u mm(对mm文件进行排序，重复的行只取一次)

转载于:https://www.cnblogs.com/xudong-bupt/p/3214613.html

linux下文件合并、分割、去重相关推荐

linux 文件拆分合并,Linux下文件的切分与合并的简单方法
linux下文件分割可以通过split命令来实现,可以将一个大文件拆分成指定大小的多个文件,并且拆分速度非常的快,可以指定按行数分割和安大小分割两种模式.Linux下文件合并可以通过cat命令来实现, ...
linux下用cronolog分割apache日志
linux下用cronolog分割apache日志,大神莫拍砖,菜鸟留一记录,小白请默默转载.连linux登陆和vi编辑都不会的,请默默关闭此页面.入正题说明:淡绿色底的为linux命令,其他的为备 ...
linux中的文件夹压缩文件,linux将文件拷贝到目录下Linux下文件的压缩与打包详解...
在Linux中,有很多的压缩命令.利用这些压缩命令,可以方便的从网络上下载大型的文件.同时,我们知道,Linux文件的扩展名是没有特殊意义的,不过,因为Linux下存在着许多压缩命令,所以为了方便记忆 ...
实验七：掌握基本的MapReduce编程方法 (JAVA+Python实现)(编程实现文件合并和去重操作,编写程序实现对输入文件的排序,对给定的表格进行信息挖掘)
一.实验目的: 1. 理解MapReduce的工作机制: 2. 掌握基本的MapReduce编程方法 3. 重点理解map过程,shuffle过程和reduce过程二.实验环境: Hadoop+Ec ...
linux下文件字符集转化实战篇
linux下文件字符集转化实战篇 ------------------------------------------ 为什么转换编码,起因:分析应用程序日志,文件编码格式gb2312(含中文字符), ...
Linux下文件的三种时间戳
Linux下文件的三种时间标记三种时间对应关系表 column column column 访问时间 Access atime 修改时间 Modify mtime 状态改动时间 Change cti ...
linux下文件的压缩和解压缩
linux下文件的压缩和解压缩目录 1.压缩 2.解压缩 3.归档工具一. 压缩 compress: -d:解压缩,相当于uncompres-c:结果输出至标准输出,不删除原文件-v:显示详情 - ...
Linux下文件的三个时间：ctime、mtime、atime的区别
Linux下文件的三个时间参数 (1)modification time(mtime):内容修改时间这里的修改时间指的是文件的内容发生变化,而更新的时间. Eg:vi后保存文件. (2)status ...
Unix/Linux下文件基本操作[zt]
Unix/Linux下文件基本操作来源: ChinaUnix博客日期: 2008.06.16 17:16 (共有0条评论) 我要评论比较重要的设备文件有三个,它们是/dev/console./d ...

linux下文件合并、分割、去重

linux下文件合并、分割、去重相关推荐

最新文章

热门文章