数据提取操作

1、操作命令（都可以结合pipe使用）

1、cut：切分操作（可以切分出一整列）

2、grep：检索（可以使用正则表达式）

3、sort：排序（可以对整列排序）

4、wc：统计字符、字数、行数

5、uniq：去重（只去除连续的重复值）

6、tee：双向重定向

7、split：文件切分（按字节大小、按行等）

8、xargs：参数代换（结合pipe使用）

9、tr、替换、压缩和删除

2、具体操作

（1）cut 切分：cut [option] <file>

-d c：以c字符分割
-f num：显示num字段的内容【n-；n-m；-m；m,n】

-b num：按字节切分 <<=>> -c num：按字符切分

（2）grep 检索

-c :统计搜寻到的行数

-i：忽略大小写
-n ：顺序输出行号

-v：反向输出(去掉不想要的内容)

-w：匹配整个单词而不是一部分

（3）sort 排序（默认以字符串第一个字符从小到大排序）

-f：忽略大小写
-M：以月份名称排序
-n：根据数值排序
-r：反向排序
-t：分割字符：指定排序时用的栏位分割字符
-k：以哪个区间排序
例如：将 /etc/passwd中的内容按照uid反向排序

（4）wc 统计字符、字数、行数

-l ：仅列出行数
-w：仅列出字数
-c：列出字节数
-m：列出字符数
-L ：统计最长行字符数

（5）uniq 去重

-i：忽略大小写
-c：对重复项计数
-u：只输出不重复的行
使用last命令输出登录用户名及次数

（6）tee 双向重定向

-a：append追加（既打印在屏幕上又打印进文件中）

（7）splite 文件切分

-b SIZE：切分为SIZE bytes 大小的文件
-C SIZE：切分为SIZE bytes大小的文件不断开一行
–l num：以num行为大小进行切分

图中切分为每3行一个文件，所以ls之后有了6个文件

（8）xargs 参数代换（管道后面不收标准输入时使用）

-p：执行命令前先询问
-n num：每次执行command时需要的参数个数
-eEOF：执行到EOF这个参数就结束

按照用户名查看 /etc/passwd中的用户，当读到‘sync’用户时结束

（9）tr 替换、删除、压缩（tr [ option] <字符集1><字符集2>）

-c ：替换所有不属于第一字符集的字符
-d：删除所有属于第一字符集的字符
-s：将连续重复的字符以单独一个字符表示

词频统计

a.txt 文件的内容
进行统计

Linux之数据提取操作相关推荐

Node_exporter+Prometheus+Grafana 快速实现Linux系统性能数据提取、存储和可视化展示
Node_exporter+Prometheus+Grafana 快速实现Linux系统性能数据提取.存储和可视化展示 1. 前言 2. Node_exporter 2.1 安装 node_expor ...
linux大数据命令操作
一:基本命令 1.显示当前的目录 2.长格式显示目录自身的信息 3.创建文件 4.创建目录创建多层目录,使用-p. 5.删除目录或者文件 -f:不提示,强制删除 -i:删除前,提示 -r:删除目录以 ...
EXCEL表格-“魔法操作”之智能填充（数据提取）
❤关注我,不迷路❤ 点击进入EXCEL综合应用场景专栏数据提取可以说是EXCEL中再常见不过的操作了,且数据提取的方式有很多种,只要有规则可循,使用函数一定是可以把数据分离出来的,问题在于写函数提取 ...
spring可用于数据层吗_Spring XD用于数据提取
spring可用于数据层吗 Spring XD是一个功能强大的工具,它是一组可安装的Spring Boot服务,可以独立运行,在YARN或EC2之上运行. Spring XD还包括一个管理UI网站和一 ...
Spring XD用于数据提取
Spring XD是一个功能强大的工具,它是一组可安装的Spring Boot服务,可以独立运行,在YARN或EC2之上运行. Spring XD还包括一个管理UI网站和一个用于作业和流管理的命令行工 ...
python网络爬虫系列（六）——数据提取 lxml模块
一.数据提取-lxml模块知识点了解 lxml模块和xpath语法的关系了解 lxml模块的使用场景了解 lxml模块的安装了解谷歌浏览器xpath helper插件的安装和使用掌握 x ...
当你学会这项python数据提取神器时，请做好升职准备！
Jsonpath 详解一.什么是 jsonpath ● JsonPath 是一种信息抽取类库,是从 JSON 文档中抽取指定信息的工具,提供多种语言实现版本,包括:JavaScript.Python ...
Linux基础加实际操作演示
Linux 一.操作系统简介计算机是一台机器,它按照用户的要求接收信息.存储数据.处理数据,然后再将处理结果输出(文字.图片.音频.视频等).计算机由硬件和软件组成. 操作系统(Operating ...
linux下c语言调用mysql,Linux下C语言操作MYSQL总结
Linux下C语言操作MYSQL总结发布时间:2006-12-17 00:40:00来源:红联作者:anciens 下文的用到的数据库表: 数据库中存在表table, 有name(varchar类型 ...

Linux之数据提取操作