awk_script的组成
1、awk_script可以由一条或多条awk_cmd组成,两条awk_cmd之间一般以NEWLINE分隔
2、awk_cmd由两部分组成: awk_pattern { actions }
3、awk_script可以被分成多行书写,必须确保整个awk_script被单引号括起来。
awk命令的一般形式
awk ' BEGIN { actions }
awk_pattern1 { actions }
............
awk_patternN { actions }
END { actions }
' inputfile
其中 BEGIN { actions } 和 END { actions } 是可选的。
awk的运行过程
1、如果BEGIN 区块存在,awk执行它指定的actions。
2、awk从输入文件中读取一行,称为一条输入记录。如果输入文件省略,将从标准输入读取
3、awk将读入的记录分割成字段,将第1个字段放入变量$1中,第2个字段放入$2,以此类推。$0表示整条记录。字段分隔符使用shell环境变量FS或由参数指定。
4、把当前输入记录(数据行)依次与每一个awk_cmd中awk_pattern比较,看是否匹配,如果相匹配,就执行对应的actions。如果不匹配,就跳过对应的actions,直到比较完所有的awk_cmd。
5、当一条输入记录比较了所有的awk_cmd后,awk读取输入的下一行,继续重复步骤3和4,这个过程一直持续,直到awk读取到文件尾。
6、当awk读完所有的输入行后,如果存在END,就执行相应的actions。
其中iput_file可以是多于一个文件的文件列表,awk将按顺序处理列表中的每个文件。awk会先对输入文件执行完所有的action后再处理下一个文件,看如下例子

$ cat file1
a 1
b 2
$ cat file2
d 4
c 3
$ awk '{print $0} {print $1}' file1 file2
a 1
a
b 2
b
d 4
d
c 3
c

另外有以下4点需要注意:
1、一条awk_cmd的awk_pattern可以省略,省略时不对输入记录进行匹配比较就执行相应的actions。一条awk_cmd的actions也可以省略,省略时默认的动作为打印当前输入记录(print $0) 。一条awk_cmd中的awk_pattern和actions不能同时省略。
2、BEGIN区块和END区块别位于awk_script的开头和结尾。awk_script中只有END区块或者只有BEGIN区块是被允许的。如果awk_script中只有BEGIN { actions } ,awk不会读取input_file。
3、awk把输入文件的数据读入内存,然后操作内存中的输入数据副本,awk不会修改输入文件的内容。
4、awk的总是输出到标准输出,如果想让awk输出到文件,可以使用重定向。
awk_pattern
awk_pattern模式部分决定actions动作部分何时触发及触发actions。awk_pattern可以是以下几种类型:
正则表达式用作awk_pattern: /regexp/
1、awk中正则表达式匹配操作中经常用到的字符:
^ $ . [] | () * // 通用的regexp元字符
+ : 匹配其前的单个字符一次以上,是awk自有的元字符,不适用于grep或sed等
? : 匹配其前的单个字符1次或0次,是awk自有的元字符,不适用于grep或sed等
2、举例:
awk '/ *$0.[0-9][0-9].*/' input_file
布尔表达式用作awk_pattern,表达式成立时,触发相应的actions执行。
1、表达式中可以使用变量(如字段变量$1,$2等)和/regexp/
2、布尔表达式中的操作符:
关系操作符: < > <= >= == !=
匹配操作符: value ~ /regexp/ 如果value匹配/regexp/,则返回真;value !~ /regexp/ 如果value不匹配/regexp/,则返回真
举例:

awk '$2 > 10 {print "ok"}' input_file
awk '$3 ~ /^d/ {print "ok"}' input_file
3、&&(与) 和 ||(或) 可以连接两个/regexp/或者布尔表达式,构成混合表达式。!(非) 可以用于布尔表达式或者/regexp/之前。
举例

awk '($1 < 10 ) && ($2 > 10) {print "ok"}' input_file
awk '/^d/ || /x$/ {print "ok"}' input_file
4、其它表达式用作awk_script,如赋值表达式等
eg:
awk '(tot+=$6); END{print "total points :" tot }' input_file     // 分号不能省略
awk 'tot+=$6 {print $0} END{print "total points :" tot }' input_file // 与上面等效
actions
actions就是对awk读取的记录数据进行的操作。actions由一条或多条语句或者命令组成,语句、命令之间用分号(;)分隔。actions中还可以使用流程控制结构的语句。
awk的命令:
1、print 参数列表 : print可以打印字符串(加双引号)、变量和表达式,是awk最基本的命令。参数列表要用逗号(,)分隔,如果参数间用空格分隔,打印出时参数值之间不会有空格。
2、printf ([格式控制符],参数) : 格式化打印命令(函数),语法与C语言的printf函数类似。
3、next : 强迫awk立刻停止处理当前的记录,而开始读取和处理下一条记录,改变脚本控制过程。
4、nextfile : 强迫awk立刻停止处理当前的输入文件而处理输入文件列表中的下一个文件
5、exit : 使awk停止执行而跳出。如果有END 存在,awk会去执行END 的actions。

6、getline:读取下一行数据,但不改变脚本控制过程。

关于exit,next和getline函数可以参见笔者的另一篇博客

http://czmmiao.iteye.com/blog/1885572

awk的语句: awk的语句主要是赋值语句,用来给变量赋值。
1、把直接值或一个变量值赋值给变量。如果直接值是字符串要加双引号。
举例

awk 'BEGIN {x=1 ; y=3 ; x=y ; print "x=" x " ; y=" y }'
2、把一个表达式的值赋值给变量。表达式一般是数值表达式,也可以是其它表达式。
数值表达式: num1 operator num2
operator可以是: +(加) -(减) *(乘) /(除) %(取模) ^(求幂)
当num1或者num2是字符串而是不是数字时,无论是否加有双引号,awk都视其值为0
条件选择表达式: A?B:C (A为布尔表达式,B和C可以是表达式或者直接值)
当布尔表达式A的值为真时,整个表达式的值为B,A的值为假时,整个表达式的值为C
举例

awk 'BEGIN {x=3 ; x+=2 ; y=x+2 ; print "x=" x " ; y=" y }'
awk 'BEGIN {x=3 ; y=x>4?"ok":4 ; print "x=" x " ; y=" y }'
3、为了方便书写,awk也支持C语言语法的赋值操作符: += -= *= /= %= ^= ++ --
流程控制结构
其中condition一般为布尔表达式,body和else-body是awk语句块。
1、if (condition) {then-body} [else {else-body}]
2、while (condition) {body}
3、do {body} while (condition)
4、for (initialization; condition; increment) {body}
与C语言的for结构的语法相同。
5、break : 跳出包含它的for、while、do-while 循环
6、continue : 跳过for、while、do-while循环的body的剩余部分,而立刻进行下一次循环的执行。

参考至:http://blog.chinaunix.net/uid-46353-id-2399597.html

http://blog.sina.com.cn/s/blog_6f02e1900100mmc5.html

本文原创,转载请注明出处、作者

如有错误,欢迎指正
邮箱:czmcj@163.com

作者:czmmiao  文章出处:http://czmmiao.iteye.com/blog/1885561

shell学习笔记3---awk的执行过程(原创)相关推荐

  1. Python源码学习笔记:Python程序执行过程与字节码

    Python程序执行过程与字节码 注:本篇是根据教程学习记录的笔记,部分内容与教程是相同的,因为转载需要填链接,但是没有,所以填的原创,如果侵权会直接删除. 问题: 我们每天都要编写一些Python程 ...

  2. shell学习笔记 (2)

    shell学习笔记 (2) ---china.pub.com  linux shell电子书学习笔记 第2章 使用find和xargs find pathname -options [-print - ...

  3. HALCON 20.11:深度学习笔记(4)--- 网络和训练过程

    HALCON 20.11:深度学习笔记(4)--- 网络和训练过程 HALCON 20.11.0.0中,实现了深度学习方法.关于网络和训练过程如下: 在深度学习中,任务是通过网络发送输入图像来执行的. ...

  4. live555 学习笔记-建立RTSP连接的过程(RTSP服务器端)

    live555 学习笔记-建立RTSP连接的过程(RTSP服务器端) 监听 创建rtsp server,rtspserver的构造函数中,创建监听socket,添加到调度管理器BasicTaskSch ...

  5. shell学习笔记整理

    Shell编程学习笔记 第一章基础知识 1.脚本格式: 1.1"#!" 这个符号的名称,叫做"Shebang"或者"Sha-bang" &q ...

  6. [Bash Shell] Shell学习笔记

    1. Shell简介 Shell本身是一个用C语言编写的程序,它是用户使用Unix/Linux的桥梁,用户的大部分工作都是通过Shell完成的.Shell既是一种命令语言,又是一种程序设计语言.作为命 ...

  7. shell学习笔记---工具学习

    . sort工具 . uniq工具 . paste工具 . cut工具 . xargs工具 . sed工具 . awk工具 . find工具 . 模式空间选择空间 # sort工具 # sort将文件 ...

  8. shell学习笔记 (9.1)

    第9章 AWK   介 绍 ---china.pub.com  linux shell电子书学习笔记 9.1   调用awk 有三种方式调用a w k,第一种是命令行方式,如: awk |-F fie ...

  9. Makefile和Shell学习笔记

    Makefile makefile定义了一系列的规则来指定文件的编译过程和一些复杂的功能操作.makefile带来的好处就是--"自动化编译",通过make命令,整个工程完全自动编 ...

最新文章

  1. JAVA web项目转客户端(nativefier)
  2. Python安装时我遇到的一些问题
  3. html宽度自适应怎么调整li超出隐藏,HTML篇之CSS样式——div ul li 嵌套后解决高度自适应方法...
  4. 扔掉 Postman,一个工具全部搞定,真香!
  5. 盈客在线陈清平:数据驱动让传统餐饮业焕发新活力
  6. “光伏发电改变生活” 在农村市场如何理解?
  7. 小程序内容安全API
  8. SAS入门之(四)改变数据类型
  9. 蓝桥杯单片机数码管技巧
  10. 压缩JPG图片大小而且不失真
  11. 初学cesium时的一些笔记,过于潦草看看就好
  12. 华为手机word插件加载失败_word加载项启动失败
  13. 腾达ac1200开虚拟服务器,腾达F1200 11AC双频无线路由器的上网设置教程
  14. 松下gh6参数 松下gh6评测
  15. 机器之心最干的文章:机器学习中的矩阵、向量求导
  16. 引入mybatis-plus报 Invalid bound statement错误怎么办,动动手指改一个地方就行
  17. 网络安全系统教程+渗透测试+学习路线(自学笔记)
  18. AutoCAD Civil 3D-纵断面-创建曲面纵断面与布局纵断面
  19. 液晶屏背光源该如何检测?
  20. ADI收购美信,软银欲出售Arm,苹果可能接盘

热门文章

  1. SnapGene mac 5.3.1 中文分子生物学可视化工具及教程
  2. #{}不自动改参数类型_ORT-260电动打包机常规参数
  3. C语言 | 编程实现4
  4. 数据结构一:链表(循环链表)
  5. 数据结构学习笔记(七):哈希表(Hash Table)
  6. 数组越界怎么判断_算法连载之求解两个有序数组的中位数
  7. gulp修改服务器端口,2.用gulp建立一个服务器
  8. html元素移动时颜色逐渐变深,css实现随鼠标移动div渐变色效果
  9. 第四范式入围Gartner新兴技术与趋势影响力雷达全球代表厂商
  10. access开发精要(12)-文本 和 备注 数据类型格式(1)