【shell】shell脚本实战-awk基本介绍

文章目录

前言
概念
awk常用的选项和命令
awk的选项
awk的环境变量
awk的运算符
awk的内置字符串函数

前言

我们之前学习过grep，sed，这两个工具的作用如下：
grep和egrep：文本过滤的
sed：流编辑器，实现编辑的

今天我们要讨论的awk，是一个主要做文本输出的。

概念

AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言的最大功能取决于一个人所拥有的知识。awk命名:Alfred Aho Peter 、Weinberger和brian kernighan三个人的姓的缩写。

简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理

快速掌握awk的技巧：只要记住awk是以行为单位读入和输出的。

awk常用的选项和命令

参数	含义
-F	指定字段一个或多个分割符例如:-F’[:#/]’ 定义三个分隔符
-v	定义或修改一个awk内部的变量
NR	行号
FS	字段的分隔符，默认为空格，跟-F选择一样
OFS	输出的字段分隔符，默认为空格(即把空格替换成指定的字符串)
RS	输入记录的分割，以分割符分割之后，使之成为新的行（即读入行的时候遇到指定分隔符，就把分割替换成\n）。
ORS	输出的记录分隔符，默认为新行。（即读入行的时候遇到\n之后把\n用指定的分隔符代替，然后读入一行，并合并为同一行）
$NF	表示最后一列
$0	显示当前一整行
$N	N为数字（N>0），表示第几列。例如：$1表示用-F指定分隔符分隔后的第一列，2...2...2...N以此类推
{}	命令代码块，包含一条或多条命令
;	多条命令使用分号分隔
~	匹配字段,与==相比不是精确比较
!~	不匹配，不精确比较
==	等于，必须全部相等，精确比较
>	大于
<	小于
>=	大于等于
<=	小于等于
!=	不等于，精确比较
&&	逻辑与
\|\|	逻辑或
+	匹配1个或1个以上
//	正则匹配符
print	输出、打印

awk的选项

选项	描述
-f progfile --file=progfile	从脚本文件中读取awk命令
-F fs --field-separator=fs	指定字段一个或多个分割符例如:-F’[:#/]’ 定义三个分隔符
-v var=val --assign var=val	定义或修改一个awk内部的变量
-b --characters-as-bytes	将所有输入数据视为单字节字符。posix选项或覆盖这个选项
-c --traditional	在兼容模式下运行。在兼容模式下,gawk的行为与UNIX awk相同;没有一个可以识别特定于gn的扩展
-C --copyright	在标准输出和退出中成功打印GNU版权信息消息的简短版本
-d[file]–dump-variables[=file]	将全局变量的排序列表、它们的类型和最终值打印到文件中。如果没有提供文件，gawk使用一个名为awkvars的文件
-e ‘program-text’–source=‘program-text’	使用程序文本作为AWK程序源代码。这个选项允许轻松地将库函数(通过-f和-file选项使用)与在命令行中输入的源代码混合使用。它主要用于shell脚本中使用的中型到大型AWK程序
-E file --exec=file	与-f类似，这是最后一个处理的选项。这应该与#一起使用!脚本，特别是为CGI应用程序，以避免从URL向命令行传递选项或源代码(!)。这个选项禁止命令行变量赋值
-g --gen-pot	扫描和解析AWK程序，并在标准输出上生成GNU .pot(可移植对象模板)格式文件，其中包含程序中所有可本地化字符串的条目。程序本身没有执行。
-h --help	简短的打印帮助
-L [fatal] --lint[=fatal]	提供关于可疑或不可移植到其他AWK实现的构造的警告
-n --non-decimal-data	识别输入数据中的八进制和十六进制值
-N --use-lc-numeric	使用句点作为小数点
-O --optimize	在程序的内部表示上启用优化。目前，这包括简单的常数合并
-p[file] --profile[=file]	将分析数据发送到PROFIX文件。默认值是DouthPo.OUT
-P --posix	启动兼容模式;将有如下限制： <1>无法识别\x <2>当FS被设置为单个空间时，只有空格和Tab充当字段分隔符，换行符不被设置为分隔符 <3>之后行不能有?和: <4>关键字函数的同义词FUNC不被识别 <5>运算符和=不能代替^和=
-r --re-interval	允许在正则表达式匹配中使用区间表达式
-R --command file	只有DGAWK。从文件读取存储的调试器命令
-S --sandbox	在沙盒模式下运行GOWK，禁用Stand（）函数，用GETLIN输入重定向，输出Read打印和打印的方向，并加载动态扩展。命令执行（通过管道)也被禁用。这有效地阻止了脚本访问本地资源（除了命令行中指定的文件）
-t --lint-old	提供对UNIX AWK原始版本不可移植的结构的警告
-V --version	打印AWK的版本信息

awk的环境变量

变量	描述
$N	N为数字(N>0)，表示第几列。例如：$1表示用-F指定分隔符分隔后的第一列，2...2...2...N以此类推
$0	显示当前一整行(有多少行显示多少行)
$NF	表示最后一列 $(NF-1)是倒数第二列
ARGC	命令行参数的数目
ARGIND	命令行中当前文件的位置(从0开始算)
ARGV	包含命令行参数的数组
CONVFMT	数字转换格式(默认值为%.6g)
ENVIRON	环境变量关联数组
ERRNO	最后一个系统错误的描述
FIELDWIDTHS	字段宽度列表(用空格键分隔)
FILENAME	当前文件名
NR	行号(当前记录数)
FNR	同NR，但相对于当前文件
FS	字段的分隔符，默认为空格，跟-F选择一样
OFS	输出的字段分隔符，默认为空格(即把空格替换成指定的字符串)
IGNORECASE	如果为真，则进行忽略大小写的匹配
NF	当前记录中的字段数
OFMT	数字的输出格式(默认值是%.6g)
RLENGTH	由match函数所匹配的字符串的长度
RS	输入记录的分割，以分割符分割之后，使之成为新的行（即读入行的时候遇到指定分隔符，就把分割替换成\n(默认是\n)）
ORS	输出的记录分隔符，默认为新行。（即读入行的时候遇到\n之后把\n用指定的分隔符代替，然后读入一行，并合并为同一行）(默认值是一个换行符)
RSTART	由match函数所匹配的字符串的第一个位置
SUBSEP	数组下标分隔符(默认值是\034)

awk的运算符

运算符	描述
= += -= = /= %= ^= *=	赋值
条件表达式?值1:值2	三目运算符
\|\|	逻辑或
&&	逻辑与
~ ~!	匹配正则表达式和不匹配正则表达式
< <= > >= != ==	关系运算符
空格	连接符
+ -	加，减
* / %	乘，除与求余
+ - !	一元加，减和逻辑非
^ ***	幂运算符
++ –	增加或减少，作为前缀或后缀
$	字段引用
in	数组成员

awk的内置字符串函数

函数名称	描述
gsub(r,s)	在整个$0中用s代替r
gsub(r,s,t)	在整个t中用s替代r
index(s,t)	返回s中字符串t的第一位置
length(s)	返回s长度
match(s,r)	测试s是否包含匹配r的字符串
split(s,a,fs)	在fs上将s分成序列a
sprint(fmt,exp)	返回经fmt格式化后的exp
sub(r,s)	用$0中最左边最长的子串代替s
substr(s,p)	返回字符串s中从p开始的后缀部分
substr(s,p,n)	返回字符串s中从p开始长度为n的后缀部分

【shell】shell脚本实战-awk基本介绍相关推荐

【Linux】shell脚本实战-各类运算符介绍
文章目录前言一. 复习之前内容 1. 算术运算符 2. 常见的算术运算命令二. 关系运算符三. 布尔运算符四. 逻辑运算符五. 字符串运算符六. 文件测试运算符总结前言上几篇文章我 ...
【shell】shell脚本实战-awk使用案例
文章目录 1. 使用NR行号来定位提取IP 2. 去除首行 3. 其他使用 1. 打印特定字段 2. NF, 字段数量 3. 计算和打印 4. 打印行号 5. 在输出中添加内容 6. 自定义格式输出 ...
【shell】shell脚本实战-awk工作模式讲解
文章目录 awk工作的三个步骤 awk中的各种模式详解 1. awk 脚本拥有的形式 2. 正则表达式 3. 关系表达式 4. 组合的Pattern(模式) 5. Pattern1,Pattern2 ...
【shell系列】之awk简单介绍
参考网址:http://www.ruanyifeng.com/blog/2018/11/awk.html 参考网址:https://www.cnblogs.com/ginvip/p/6352157.h ...
循序渐进学运维-shell脚本实战专栏
我是互联网老辛,关注我吧,给自己每天的进步找一个机会和理由,不要被无效信息淹没,免除知识焦虑前言 shell脚本大家要做为重点来学习,shell写的好,可以不学Python,一样拿高薪: shell ...
linux 运维高级脚本生成器,Linux运维系列，Shell高级脚本自动化编程实战
课程文件目录: Linux自动化运维系列 Shell高级脚本自动化编程实战 [6.1G] ┣━━01.Shell基础概述 [315.1M] ┃ ┣━━1-1 Shell脚本体系概述.mp4 [154. ...
linux运维脚本编写,最强Linux自动化运维 Shell高级脚本编程实战带习题+项目实战案例+全套配置脚本...
最强Linux自动化运维 Shell高级脚本编程实战带习题+项目实战案例+全套配置脚本大家可以通过参考下面的课程学习目录,就会发现单单只从目录上来分析就知道这是一部非常系统的Shell自动化脚本运 ...
Liunx下的日志清理shell脚本实战之日志备份
Liunx下的日志清理shell脚本实战一.脚本实现功能以及要求二.shell脚本内容一.脚本实现功能以及要求二.shell脚本内容一.脚本实现功能以及要求 1.日志备份目录,将日志备份到/ ...
Linux shell脚本基础学习详细介绍(完整版)一
Linux shell脚本基础学习这里我们先来第一讲,介绍shell的语法基础,开头.注释.变量和环境变量,向大家做一个基础的介绍,虽然不涉及具体东西,但是打好基础是以后学习轻松地前提. 1. Li ...