车载以太网之权威指南_awk权威指南之终结篇！

前段时间看了一下awk的使用选项，字段变量，标准变量，操作运算符，正则表达式，数组和控制流，并且也附带着一些相关的案例，总的来说，在深入了解和使用AWK之后，还是带来了很多的便利，在处理文本的文件的时候提供了更多的思路和便捷，比如按需自定义打印文本显示格式，进行一些简单的数据处理，同时awk还有和shell,python，go一些编程语言类似的循环，条件，逻辑处理，以及一些内置的函数更方便的帮助在命令行完成一些文本处理工作。今天完成了awk剩余的一些知识点学习。

awk中的循环

FOR

格式: for(initialisation;condition;increment/decrement)action

for 语句首先执行初始化动作( initialisation )，然后再检查条件( condition )。如果条件为真，则执行动作( actio n )，然后执行递增( increment )或者递减( decrement )操作。只要条件为真循环就会一直执行。每次循环结束都会进条件检查，若条件为假则结束循环

awk 'BEGIN { for (i = 1; i <= 5; ++i) print i }' # 注意这里是++i,不是i++

while

While 循环会一直执行动作直到逻辑条件为假为止,AWK 首先检查条件是否为真，若条件为真则执行动作。此过程一直重复直到条件为假时，则停止

awk 'BEGIN {i = 1; while (i < 6) { print i; ++i } }' # 等同上面的for语句

DO-WHILE

Do-While 循环与 While 循环相似，但是 Do-While 的条件测试放到了循环的尾部,在 do-while 循环中，无论条件是真是假，循环语句至少执行一次，执行后检查条件真假,使用格式如下:

do action

while (condition)

看一个案例:

awk 'BEGIN {i = 1; do { print i; ++i } while (i < 6) }'

break

break 用以结束循环过程

awk 'BEGIN {

sum = 0; for (i = 0; i < 20; ++i) {

sum += i; if (sum > 50) break; else print "Sum =", sum }

}'

continue

Continue 语句用于在循环体内部结束本次循环，从而直接进入下一次循环迭代。当我们希望跳过循环中某处数据处理时就会用到 Continue

awk 'BEGIN {for (i = 1; i <= 20; ++i) {if (i % 2 == 0) print i ; else continue} }'

EXIT

Exit 用于结束脚本程序的执行。该函数接受一个整数作为参数表示 AWK 进程结束状态。如果没有提供该参数，其默认状态为 0

awk 'BEGIN {    10022  12:34:02 

sum = 0; for (i = 0; i < 20; ++i) {

sum += i; if (sum > 50) exit(10); else print "Sum =", sum }

}'

Sum = 0

Sum = 1

Sum = 3

Sum = 6

Sum = 10

Sum = 15

Sum = 21

Sum = 28

Sum = 36

Sum = 45

root # echo ? #查看期退出的状态码为指定的10

10

内置函数

AWK 为程序开发者提供了丰富的内置函数。包括算术函数、字符串操作函数、时间操作相关的函数、位操作函数以及其它各种各样的函数

算术函数

exp(expr) 返回自然数e的expr次幂

awk 'BEGIN{printf "The exponential value of 5 is %f.\n",exp(5)}'

int(expr) 返回数值expr的整数部分

awk 'BEGIN {printf "34.1212的整数部分是: %d",int(34.1212)}'

awk 'BEGIN {param=4.232;result=int(param);printf "整数部分是:%d",result}'

log(expr) 返回自然对数
rand() 函数返回一个大于等于 0 小于 1 的随机数 N(0<= N < 1)
sin(expr) 正弦函数返回角度 expr 的正弦值，角度以弧度为单位
sqrt(expr) 计算 expr 的平方根
srand([expr]) 使用种子值生成随机数，数值 expr 作为随机数生成器的种子值。如果没有指定 expr 的值则函数默认使用当前系统时间作为种子值

awk 'BEGIN { param = 10

printf "srand() = %d\n", srand()

printf "srand(%d) = %d\n", param, srand(param) }'

字符串函数

asort(arr,[, d [,how] ]) 函数使用 GAWK 值比较的一般规则排序 arr 中的内容，然后用以 1 开始的有序整数替换排序内容的索引

注意mac上的awk 20070501版本没有该函数

awk 'BEGIN {

arr[0] = "Three"

arr[1] = "One"

arr[2] = "Two"

print "Array elements before sorting:";

for (i in arr) {

print arr[i]

}

asort(arr)

print "Array elements after sorting:"

for (i in arr) {

print arr[i]

}

}'

asorti(arr,[, d [,how] ]) asorti 函数的行为与 asort 函数的行为很相似，二者的差别在于 aosrt 对数组的值排序，而 asorti 对数组的索引排序
gsub(regx,sub, string) gsub 是全局替换( global substitution )的缩写。它将出现的子串(sub)替换为 regx。第三个参数 string 是可选的，默认值为 $0，表示在整个输入记录中搜索子串

awk '{gsub("172.16.132.148","0.0.0.0");print }' docker-compose.yml # 替换docker-compose.yml中的172.16.132.148为0.0.0.0

index(str,sub) index 函数用于检测字符串 sub 是否是 str 的子串。如果 sub 是 str 的子串，则返回子串 sub 在字符串 str 的开始位置;若不是其子串，则返回 0。str 的字符位置索引从 1 开始计数

awk 'BEGIN {

str = "One Two Three"

subs = "Two"

ret = index(str, subs)

printf "Substring \"%s\" found at %d location.\n", subs, ret }'

length(str) 返回字符串的长度
match(str, regex) match 返回正则表达式在字符串 str 中第一个最长匹配的位置。如果匹配失败则返回0。
split(str, arr,regex) split 函数使用正则表达式 regex 分割字符串 str。分割后的所有结果存储在数组 arr 中。如果没有指定 regex 则使用 FS 切分。

awk 'BEGIN {

str = "One,Two,Three,Four"

split(str, arr, ",")

print "Array contains following values"

for (i in arr) { print arr[i]

} }'

sprintf(format,expr-list) sprintf 函数按指定的格式( format )将参数列表 expr-list 构造成字符串然后返回。

awk 'BEGIN {

str = sprintf("%s", "Hello, World !!!")

print str }'

strtonum(str) strtonum 将字符串 str 转换为数值。如果字符串以 0 开始，则将其当作十进制数;如果字符串以 0x 或 0X 开始，则将其当作十六进制数;否则，将其当作浮点数。

root@dev-node1:~# awk 'BEGIN {

> print "Decimal num = " strtonum("123")

> print "Octal num = " strtonum("0123")

> print "Hexadecimal num = " strtonum("0x123")

> }'

Decimal num = 123

Octal num = 83

Hexadecimal num = 291

sub(regex,sub,string)sub 函数执行一次子串替换。它将第一次出现的子串用 regex 替换。第三个参数是可选的，默认为 $0。
substr(str, start, l) substr 函数返回 str 字符串中从第 start 个字符开始长度为 l 的子串。如果没有指定 l 的值，返回 str 从第 start 个字符开始的后缀子串

root@dev-node1:~# awk 'BEGIN {

str = "Hello, World !!!"; subs = substr(str, 1, 5);

print "Substring = " subs }'

Substring = Hello

root@dev-node1:~# awk 'BEGIN {

str = "Hello, World !!!"; subs = substr(str, 1);

print "Substring = " subs }'

Substring = Hello, World !!!

tolower(str) 此函数将字符串 str 中所有大写字母转换为小写字母然后返回。注意，字符串 str 本身并不被改变。
toupper(str)此函数将字符串 str 中所有小写字母转换为大写字母然后返回。注意，字符串 str 本身不被改变。

时间函数

systime 此函数返回从 Epoch 以来到当前时间的秒数
mktime(dataspec) 此函数将字符串 dataspec 转换为与 systime 返回值相似的时间戳。dataspec 字符串的格式为 YYYY MM D D HH MM SS。
strftime([format [, timestamp[, utc-flag]]]) 函数根据 format 指定的格式将时间戳 timestamp 格式化

位操作函数

and 执行位与操作
compl 按位求补
lshift 左移位操作

awk 'BEGIN { num1 = 10

printf "lshift(%d) by 1 = %d\n", num1, lshift(num1, 1) }'

rshift 向右移位操作
or 按位或操作
xor 按位异或操作

其他函数

delete 被用于从数组中删除元素
exit 该函数终止脚本执行。它可以接受可选的参数 expr 传递 AWK 返回状态
flush 函数用于刷新打开文件或管道的缓冲区
getline 函数读入下一行
next 停止处理当前记录，并且进入到下一条记录的处理过程

awk '{if ($0 ~/Shyam/) next; print $0}' marks.txt

nextfile 停止处理当前文件，从下一个文件第一个记录开始处理

awk '{ if ($0 ~ /file1:str2/) nextfile; print $0 }' file1.txt file2.txt

return 用于从用户自定义的函数中返回值。请注意，如果没有指定返回值，那么的返回值是未定义的

cat << EOF >> functions.awk

function addition(num1, num2) {

result = num1 + num2

return result }

BEGIN {

res = addition(10, 20) print "10 + 20 = " res

}

EOF

system 函数可以执行特定的命令然后返回其退出状态。返回值为 0 表示命令执行成功;非 0 表示命令执行失败

awk 'BEGIN { ret = system("date"); print "Return value = " ret }'

输出重定向

重定向操作符

awk 'BEGIN { print "Hello, World !!!" > "/tmp/message.txt" }'

追加操作符

awk 'BEGIN { print "Hello, World !!!" > "/tmp/message.txt" }'

管道除了使用文件在程序之间传递数据之外，AWK 还提供使用管道将一个程序的输出传递给另一个程序。这种重定向方式会打开一个管道，将对象的值通过管道传递给管道另一端的进程，然后管道另一端的进程执行命令

awk 'BEGIN { print "hello, world !!!" | "tr [a-z] [A-Z]" }'

双向通信通道 AWK 允许使用 |& 与一个外部进程通信，并且可以双向通信。下面的例子中，我们仍然使用 tr 命令将字母转换为大写字母

BEGIN {

cmd = "tr [a-z] [A-Z]"

print "hello, world !!!" |& cmd close(cmd, "to")

cmd |& getline out

print out;

close(cmd);

}

第一条语句 cmd = "tr [a-z] [A-Z]" 在AWK 中建立了一个双向的通信通道。
第二条语句 print 为 tr 命令提供输入。&| 表示双向通信。
第三条语句 close(cmd, "to") 执行后关闭 to 进程。
第四条语句 cmd |& getline out 使用 getline 函数将输出存储到 out 变量中。
接下来的输出语句打印输出的内容，最后 close 函数关闭 cmd