一,什么是awk

awk是linux下的一个命令,他对其他命令的输出,对文件的处理都十分强大,其实他 更像一门编程语言,他可以自定义变量,有条件语句,有循环,有数组,有正则,有函数等。他读取输出,或者文件的方式是一行,一行的读,根据你给出的条件进 行查找,并在找出来的行中进行操作,感觉他的设计思想,真的很简单,但是结合实际情况,具体操作起来就没有那么简单了。他有三种形 势,awk,gawk,nawk,平时所说的awk其实就是gawk。

二,awk中的记录,域,分割符

当我们读取输出时,或者读取文件时,读取一行就是一个记录。记录分割符是默认是回车符,保存在RS,ORS中。

我们从记录中分割出我们要单词,或者是词组等,我们称他为域,域分割符,默认的是空格和TAB銉,保存在内建变

量ORS中。举个例子:

aaaa:bbbb:ccccccc

1111:2343:5t43343

上面有二行,这二行就是二个记录,每行后面的回车呢,就是记录分割符,里面冒号呢,就是域分割符,分割出来的,aaaa,1111这类东西就是域了。

awk -F: '{print $1}' testfile

三,awk的内建变量和运算符

1,变量

变 量 描述
$n 当前记录的第n个字段,字段间由 FS分隔。
$0 完整的输入记录。
ARGC 命 令行参数的数目。
ARGIND 命令行中当前文件的位置(从0开始算)。
ARGV 包 含命令行参数的数组。
CONVFMT 数字转换格式(默认值为%.6g)
ENVIRON 环 境变量关联数组。
ERRNO 最后一个系统错误的描述。
FIELDWIDTHS 字 段宽度列表(用空格键分隔)。
FILENAME 当前文件名。
FNR 同 NR,但相对于当前文件。
FS 字段分隔符(默认是任何空格)。
IGNORECASE 如 果为真,则进行忽略大小写的匹配。
NF 当前记录中的字段数。
NR 当 前记录数。
OFMT 数字的输出格式(默认值是%.6g)。
OFS 输 出字段分隔符(默认值是一个空格)。
ORS 输出记录分隔符(默认值是一个换行符)。
RLENGTH 由 match函数所匹配的字符串的长度。
RS 记录分隔符(默认是一个换行符)。
RSTART 由 match函数所匹配的字符串的第一个位置。
SUBSEP 数组下标分隔符(默认值是\034)。

2,运算符

运算符 描述
= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻 辑或
&& 逻辑与
~ ~! 匹 配正则表达式和不匹配正则表达式
< <= > >= != == 关 系运算符
空格 连接
+ - 加,减
* / & 乘,除与求余
+ - ! 一元加,减和逻辑非
^ *** 求幂
++ -- 增加或减少,作为前缀或后缀
$ 字 段引用
in 数组成员

四,awk的正则

匹配符 描述
\Y 匹配一个单词开头或者末尾的空字符串
\B 匹配单词内的空字符串
\< 匹配一个单词的开头的空字符串,锚定开始
\> 匹配一个单词的末尾的空字符串,锚定末尾
\W 匹配一个非字母数字组成的单词
\w 匹配一个字母数字组成的单词
\' 匹配字符串末尾的一个空字符串
\‘ 匹配字符串开头的一个空字符串

五,awk的函数

1,字符串函数

函数名 描述
sub 匹配记录中最大、最靠左边的子字符串的正则表达式,并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候
gsub 整个文档中进行匹配
index 返回子字符串第一次被匹配的位置,偏移量从位置1开始
substr 返回从位置1开始的子字符串,如果指定长度超过实际长度,就返回整个字符串
split 可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供,则按当前FS值进行分割
length 返回记录的字符数
match 返回在字符串中正则表达式位置的索引,如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置,RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串
toupper和tolower 可用于字符串大小间的转换,该功能只在gawk中有效

2,数学函数

函数名 返回值
atan2(x,y) y,x 范围内的余切
cos(x) 余弦函数
exp(x) 求 幂
int(x) 取整
log(x) 自然对 数
rand() 随机数
sin(x) 正弦
sqrt(x) 平 方根
srand(x) x是rand()函数的种子
int(x) 取 整,过程没有舍入
rand() 产生一个大于等于0而小于1的随机数

六,实例

学习awk的时候,做了一个例子,学东西,不要光看,光看是记不住东西的。光看的话,也许你知道怎么回事,真正实际操作,不是这儿有问题,就是那儿有问题。所以一定要动手亲自操作一下。

1,测试文件test

root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/bin/false
daemon:x:2:2:daemon:/sbin:/bin/false
mail:x:8:12:mail:/var/spool/mail:/bin/false
ftp:x:14:11:ftp:/home/ftp:/bin/false
&nobody:$:99:99:nobody:/:/bin/false
zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash
http:x:33:33::/srv/http:/bin/false
dbus:x:81:81:System message bus:/:/bin/false
hal:x:82:82:HAL daemon:/:/bin/false
mysql:x:89:89::/var/lib/mysql:/bin/false
aaa:x:1001:1001::/home/aaa:/bin/bash
ba:x:1002:1002::/home/zhangy:/bin/bash
test:x:1003:1003::/home/test:/bin/bash
@zhangying:*:1004:1004::/home/test:/bin/bash
policykit:x:102:1005:Po

例1:

cat test | awk -F: '{\if ($1 == "root"){\print $1;\}else if($1 == "bin"){\print $2;\}else{\print $3;\} \
}'

例2:

awk '{\for(i=0;i<NF;i++){\if ($i ~/^root/){\print $i;\}else if($i ~/zhangy/){\print $i;continue;\}else if($i ~/mysql/){\print $i;next;\}else if($i ~/^test/){\print $i;break;\} \}\
}' test

例3:

tail test | awk 'BEGIN{while(getline d){ split(d,test);for(i in test){\print test[i]\
}}}'

例4:

ls -al /home/zhangy/mytest | awk 'BEGIN{while(getline d){ split(d,test);\print test[9] ;}
}'

例5:

echo "32:34" |awk -F: '{print "max = ",max($1,$2)}\
function max(one,two){
if(one > two){return one;
}else{return two;
}
}
'

例6:

#awk 'BEGIN{print "what is your name"; getline name < "/dev/tty"}$1 ~name{print
#"found name on line" NR}END{print "see you" name}' test
#awk '{sub(/daemon/,"tankzhang");print}' test
#awk '{{sub(/zhangy/,"tankzhang");$1};print}' test#awk '{{gsub(/zhangy/,"tankzhang");$1};print}' test
#awk -F: '{print index("zhangy",$1)}' test
#awk -F: '{print substr($1,1,2)}' test
awk -F: '{mat=match($1,/^[a-zA-Z]+$/);print mat,RSTART,RLENGTH}' test

例7:

cat test |awk -F: '\NF != 7{\
printf("line %d,does not have 7 fields:%s\n",NR,$0)}\
$1 !~ /^[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%s: %s\n",NR,$1,$0)}\
$2 == "*" {printf("lind %d,no password:%s\n",NR,$0)}'

转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/shell/985.html

awk是命令还是编程语言相关推荐

  1. shell脚本详解(十一)——awk文本和数据处理编程语言

    shell脚本详解(十一)--awk文本和数据处理编程语言 一.awk命令 – 文本和数据进行处理的编程语言 1.工作原理 2.命令格式 3.awk常见的内建变量(可直接使用) 4.按行输出文本 5. ...

  2. awk数组命令经典生产实战应用拓展

    全部系列分为五篇文章,本博文为第三篇:四.awk数组命令生产实战拓展4.1统计apache日志单ip访问请求数排名(这个常用,考试也常考) 假设apache日志内容access.log内容为: 10. ...

  3. 庖丁解牛获取连接状态数的awk数组命令

    全部系列分为五篇文章,本博文为第二篇: 三.庖丁解牛获取连接状态数的命令 3.1 获取连接状态数的awk命令 netstat -n |awk '/^tcp/ {++S[$NF]} END {for(a ...

  4. cut\grep\awk\sed命令详解

    cut\grep\awk\sed命令详解 1.cut命令详解及实例 (1)作用:提取文件中指定的列 语法格式:cut  选项  文件名   (2)选项作用:      -d 分隔符     按照指定的 ...

  5. 网站的PV、UV、的统计 (awk 统计命令)

    一.awk的累加统计 方法一: # awk '{IP[$1]++}END{for( i in IP ) print i,IP[i]}' access.log |awk '{sum=sum + $2}E ...

  6. awk bc命令 linux_linux之awk命令(转载)

    awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理,然后输出 awk命令形式: awk [-F ...

  7. 【拔刀吧少年】之awk文本和数据处理编程语言

    AWK 1. 什么是awk 2. 基本格式 3. 工作原理 4. 常见的内建变量(可直接用) 5. 按行输出文本 6. 按字段输出文本 7. 通过管道.双引号调用shell命令 8. 小案例 :awk ...

  8. awk bc命令 linux_Linux 的 awk 命令教程手册,建议收藏!

    Linux 的 awk 命令相信不少人都用过,但是真正研究它的人应该不多.因为,我们多数人都是面向百度编程的.今天我们抽个时间,简单的来说一下它.我随便谷歌了一下,就找到了两位大神的文章,相信不少人都 ...

  9. 我的awk常用命令备忘 xargs备忘

    kubectl get deployment -n coding |awk '{print $1}' |xargs kubectl rollout restart deployment -n codi ...

最新文章

  1. 【树莓派】【转载】基于树莓派,制作家庭媒体中心+下载机
  2. 淘气的页数 - 格式化字符串
  3. Socket请求获取数据
  4. 如何计算CDS view里两个时间戳之间的天数间隔
  5. 摄像头自动曝光相关基础知识
  6. 通过键盘方向键控制TreeView节点的移动
  7. 百度云BaaS体系揭秘,突破共识机制、单机计算和串行处理三大瓶颈
  8. 知乎技术热帖:Qt 这么强大为什么火不起来?
  9. 数组对象 按某个属性排序
  10. 【c++leetcode】翻转链表
  11. java中io创建文件和读取文件
  12. 云管理之虚拟化——虚拟化的分类
  13. 一个校园网络的规划与设计
  14. Chrome浏览器去广告插件 —— (Adblock Plus)
  15. 图形学人物简史:两位图灵奖与奥斯卡得主的图形学研究往事
  16. Planner – 项目管理软件 - 小众软件
  17. html内容被背景图片遮住怎么办_定义BODY背景图后,DIV的背景图片显示不全(已解决)...
  18. 软件工程毕业设计课题(37)基于JAVA毕业设计JAVA核酸预约系统统毕设作品项目
  19. 各种快捷的格式转换:图片转.ico,去图片白底
  20. 超详细的实现上传文件功能教程,文件上传实现。

热门文章

  1. 训练日志 2019.1.23
  2. 均值(信息学奥赛一本通-T1060)
  3. 11 CO配置-控制-成本中心会计-定义分割结构
  4. Centos系列 Curl error (37): Couldn‘t read a file:// file for file:///etc/pki/rpm-gpg/RPM-GPG-KEY-XXXX
  5. C语言实现简单的内存管理机制
  6. python os库使用
  7. 人工智能计算机的相关信息,关于人工智能,计算机领域的尖端(三)
  8. 为k8s-master节点添加/移除污点taints
  9. OpenVINO InferenceEngine之读取IR
  10. 不限速的远程链接软件ToDesk