排序

处理大量数据时的一个常用命令是 sort 命令。
sort 命令参数

参数	说明
-b	–ignore-leading-blanks 排序时忽略起始的空白
-C	–check=quiet 不排序,如果数据无序也不要报告
-c	–check 不排序,但检查输入数据是不是已排序;未排序的话,报告
-d	–dictionary-order 仅考虑空白和字母,不考虑特殊字符
-f	–ignore-case 默认情况下,会将大写字母排在前面;这个参数会忽略大小写
-g	–general-number-sort 按通用数值来排序(跟 -n 不同,把值当浮点数来排序,支持科学计数法表示的值)
-i	–ignore-nonprinting 在排序时忽略不可打印字符
-k	–key=POS1[,POS2] 排序从POS1位置开始;如果指定了POS2的话,到POS2位置结束
-M	–month-sort 用三字符月份名按月份排序
-m	–merge 将两个已排序数据文件合并
-n	–numeric-sort 按字符串数值来排序(并不转换为浮点数)
-o	–output=file 将排序结果写出到指定的文件中
-R	–random-sort 按随机生成的散列表的键值排序
	–random-source=FILE 指定 -R 参数用到的随机字节的源文件
-r	–reverse 反序排序(升序变成降序)
-S	–buffer-size=SIZE 指定使用的内存大小
-s	–stable 禁用最后重排序比较
-T	–temporary-directory=DIR 指定一个位置来存储临时工作文件
-t	–field-separator=SEP 指定一个用来区分键位置的字符
-u	–unique 和 -c 参数一起使用时,检查严格排序;不和 -c 参数一起用时,仅输出第一例相似的两行
-z	–zero-terminated 用NULL字符作为行尾,而不是用换行符

搜索数据

grep 命令会在输入或指定的文件中查找包含匹配指定模式的字符的行。

压缩数据

Linux文件压缩工具

名称	后缀	描述
bzip2	.bz2	采用Burrows-Wheeler块排序文本压缩算法和霍夫曼编码
compress	.Z	最初的Unix文件压缩工具,已经快没人用了
gzip	.gz	GNU压缩工具,用Lempel-Ziv编码
zip	.zip	Windows上PKZIP工具的Unix实现

tar 命令最开始是用来将文件写到磁带设备上归档的,然而它也能把输出写到文件里,这种
用法在Linux上已经普遍用来归档数据了。

参数	说明
-A	–concatenate 将一个已有tar归档文件追加到另一个已有tar归档文件
-c	–create 创建一个新的tar归档文件
-d	–diff 检查归档文件和文件系统的不同之处
	–delete 从已有tar归档文件中删除
-r	–append 追加文件到已有tar归档文件末尾
-t	–list 列出已有tar归档文件的内容
-u	–update 将比tar归档文件中已有的同名文件新的文件追加到该tar归档文件中
-x	–extract 从已有tar归档文件中提取文件
-C	dir 切换到指定目录
-f	file 输出结果到文件或设备 file
-j	将输出重定向给 bzip2 命令来压缩内容
-p	保留所有文件权限
-v	在处理文件时显示文件
-z	将输出重定向给 gzip 命令来压缩内容

参考文献
Linux命令行与shell脚本编程大全

Linux 数据处理相关推荐

linux 数据处理软件,【shell笔记文本处理|专项】Linux数据文本处理工具(2)
接1 file 查看文件编码 wsx@wsx-ubuntu:~$ file regular_express.txt regular_express.txt: ASCII text, with CRLF ...
基于linux的地震数据处理软件的设计与实现,地震数据处理软件系统与应用实验指导书...
<地震数据处理软件系统与应用实验指导书>由会员分享,可在线阅读,更多相关<地震数据处理软件系统与应用实验指导书(14页珍藏版)>请在人人文库网上搜索. 1.地震数据处理软件系统 ...
linux 获取命令行返回的数据_Linux | 活用CLI命令行进行数据处理与探索
COMMAND LINE INTERFACE CLI即COMMAND LINE INTERFACE命令行模式,是在图形界面得到普及之前使用最为广泛的用户界面,也就是咱们平时看到的黑乎乎背景与绿油油文字 ...
raspberry pi3_Raspberry Pi 3，Linux Mint安全漏洞，针对Zika病毒的Google数据处理等
raspberry pi3 在本周的开源新闻摘要中,我们分享了有关Raspberry Pi 3,Linux Mint处理安全漏洞,Google的Zika病毒数据处理平台等方面的想法! 2016年2月2 ...
linux读取一行数据命令,常用的linux命令和逐行数据处理的例子
原标题:常用的linux命令和逐行数据处理的例子 Linux具有开源,处理性强等优点. 并且由于生物数据量较大,对数据处理性能要求更高, 所以生物信息分析软件大多都是针对linux系统进行开发的. 在 ...
基于linux的地震数据处理软件的设计与实现,地震监测系统AETA的数据处理设计与实现.PDF...
地震监测系统AETA的数据处理设计与实现.PDF 第28卷第1期计算机技术与发展 Vol.28 No.1 2018年1月 COMPUTERTECHNOLOGY AND DEVELOPME ...
linux 科学数据处理,科学数据分析和可视化 NCAR Command Language(NCL)(气象数据处理)...
NCL(The NCAR Command Language)是一种专门为科学数据处理以及数据可视化设计的高级语言,很适合用在气象数据的处理和可视化上.NCL包含了现代编程语言的许多常见功能:条件语句. ...
ARM Linux摄像头传感器数据处理全景视野：从板端编码视频到高级应用
ARM Linux摄像头传感器数据处理全景视野:从板端编码视频到高级应用 1. 摄像头传感器与数据采集(Camera Sensor and Data Acquisition) 1.1 数字摄像头传感器 ...
Linux配置gdal变量环境,基于GDAL库的LINUX环境下的FY-3D和FY-4A遥感数据处理
王燕婷摘要基于GDAL库的功能和其开源.可对栅格空间数据操作的特点,将GDAL与C++语言的完美结合,可极大得发挥其在开发遥感图像处理软件中的优势,并可跨平台应用于不同操作系统下的遥感图像数据处理 ...

Linux 数据处理

排序

搜索数据

压缩数据

Linux 数据处理相关推荐

最新文章

热门文章