linux文本分析工具awk解读

awk是一个强大的文本分析工具，相对于grep的查找、sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。awk把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。显然awk适用于文件中的每行都被特定的分隔符隔开，文件是一个行列矩阵。

语法

awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)

选项参数说明：

 awk --help
用法: awk [POSIX 或 GNU 风格选项] -f 脚本文件 [--] 文件 ...
用法: awk [POSIX 或 GNU 风格选项] [--] '程序' 文件 ...
POSIX 选项:                     GNU 长选项:-f 脚本文件             --file=脚本文件-F fs                   --field-separator=fs-v var=val              --assign=var=val-m[fr] val-O                      --optimize-W compat               --compat-W copyleft             --copyleft-W copyright            --copyright-W dump-variables[=file]        --dump-variables[=file]-W exec=file            --exec=file-W gen-po               --gen-po-W help                 --help-W lint[=fatal]         --lint[=fatal]-W lint-old             --lint-old-W non-decimal-data     --non-decimal-data-W profile[=file]       --profile[=file]-W posix                --posix-W re-interval          --re-interval-W source=program-text  --source=program-text-W traditional          --traditional-W usage                --usage-W use-lc-numeric       --use-lc-numeric-W version              --version

运算符

运算符	描述
= += -= = /= %= ^= *=	赋值
?:	C条件表达式
\|\|	逻辑或
&&	逻辑与
~ ~!	匹配正则表达式和不匹配正则表达式
< <= > >= != ==	关系运算符
空格	连接
+ -	加，减
* / %	乘，除与求余
+ - !	一元加，减和逻辑非
^ ***	求幂
++ --	增加或减少，作为前缀或后缀
$	字段引用
in	数组成员

官网参考：https://www.gnu.org/software/gawk/manual/gawk.html

参考：http://www.cnblogs.com/wangqiguo/p/5863266.html

http://www.runoob.com/linux/linux-comm-awk.html

基本用法练习：

1）输出第一列和第四列：

awk '{print $1,$4}' train_features_p.txt

2）过滤第一列大于2且第二列等于3：

awk '$1>2 && $2=="3" {print $1,$2,$3}' train_features_p.txt

更多强大的内置函数和变量，有需要可以通过参考加以应用，可以作为大数据平台辅助的数据处理。

如果要实现从文档中提取满足条件的行数，可以如下：

cat all.txt|awk '{if(($1>0.5)) {print $1}}' > 1.txt

这个命令就把all.txt中第一列大于0.5的记录输出1.txt中

再通过wc -l 1.txt就可以得到有多少行。

linux文本分析工具awk解读相关推荐

linux文本分析利器awk
转快速理解linux文本分析利器awk 原文链接杜亦舒性能与架构 awk是什么如果工作中需要操作linux比较多,那么awk是非常值得学习的 awk是一个极其强大的文本分析工具,把文件逐行的读 ...
2019-8-20 [Linux] 6.Shell的基本操作查看改变列出阅读开头/结尾循环查看阅读工具less 查找文件内容文本分析工具AWK 文本编辑工具SED文件find 帮助man
文章目录 6.linuxShell的基本操作 6.1 查看目录和文件 6.1.1 显示当前目录:pwd 6.1.2 改变目录:cd 6.1.3 列出目录内容:ls 1) 查看列表信息以及详细信息 2 ...
【Linux学习】强大的文本分析工具AWK
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符. 调用AWK: 1.命令行 ...
ceb 抽取 linux 工具,Linux 文本处理工具awk(示例代码)
很好用的文本处理工具,尤其是变量跟控制语句,使用超赞. 个人理解大致流程如下 1.正常输出 # $0表示正行默认是按照行分割 $1 $2 #----------------------------- ...
awk文本分析工具用法
文本分析工具 awk awkawk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将 ...
linux基础--awk文本分析工具详解
简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再 ...
Linux命令：文本处理工具awk详解
awk命令简介: awk是一个强大的文本分析工具,通常,awk是以文件的每一行,为处理单位的.awk每接收文件的一行,然后执行相应的命令,来处理文本. 1．命令格式: awk 'pattern {a ...
Linux 性能分析工具汇总
Linux 性能分析工具汇总我从cnaaa.com购买了服务器. 出于对Linux操作系统的兴趣,以及对底层知识的强烈欲望,因此整理了这篇文章.本文也可以作为检验基础知识的指标,另外文章涵盖了一个系 ...
Linux文本处理工具和正则表达式
成功不易,加倍努力! 1 文本编辑工具之神VIM 1.1命令或普通(Normal)模式的基本命令 1.2 插入(Insert)或编辑模式的基本命令 1.3 扩展命令模式基本命令 1.4 vim的寄存器 ...

linux文本分析工具awk解读

语法

运算符

linux文本分析工具awk解读相关推荐

最新文章

热门文章