linux正则表达式awk讲解
awk和sed一样是流式编辑器,它也是针对文档中的行来操作的,一行一行的去执行。awk比sed更加强大,它能做到sed能做到的,同样也能做到sed不能做到的。awk常用来分段;
awk不用加任何参数就可以实现 + ? * . | 这些特殊符号;
1、截取文档中的某个段
[root@yonglinux ~]# head -n2 passwd |awk -F: '{print $1}' root bin [root@yonglinux ~]# head -n2 passwd |awk -F: '{print $0}' root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin [root@yonglinux ~]# head -n2 passwd |awk -F: '{print $1,$3,$7}' root 0 /bin/bash bin 1 /sbin/nologin
-F 选项的作用是指定分隔符,如果不加-F指定,则以空格或者tab为分隔符。 Print为打印的动作,用来打印出某个字段。$1为第一个字段,$2为第二个字段,依次类推,有一个特殊的那就是$0,它表示整行。
{ }内可以打印多个字段$1,$3,$7 打印第1、3、7段,中间用逗号隔开;
打印分段默认分隔符为空格,可以自定义分隔符,分隔符需要用双引号括起来;也可以OFS定义输出分隔符;
[root@localhost ~]# awk -F: '{print $3,$4}' 1.txt |head -5 0 0 1 1 2 2 3 4 4 7 [root@localhost ~]# awk -F: '{print $3":"$4}' 1.txt |head -5 0:0 1:1 2:2 3:4 4:7 [root@localhost ~]# awk -F: 'OFS="#"{print $3,$4}' 1.txt |head -5 0#0 1#1 2#2 3#4 4#7
[root@yonglinux ~]# head -n2 passwd |awk -F: '{print $1"#""@"$3"#"$7}' root#@0#/bin/bash bin#@1#/sbin/nologin
注意awk的格式,-F后紧跟单引号,然后里面为分隔符,print的动作要用 { } 括起来,否则会报错。print还可以打印自定义的内容,但是自定义的内容要用“”双引号括起来。
2、匹配字符或字符串
[root@yonglinux ~]# awk -F: '$1~/me/' passwd games:x:12:100:games:/usr/games:/sbin/nologin [root@yonglinux ~]# awk -F: '$1~/user/' passwd user1:x:600:501::/home/user1:/bin/bash
可以让某个段去匹配,~ 表示匹配的意思,以冒号分隔第一字段然后匹配//里的关键字;
[root@yonglinux ~]# awk -F: '/root/ {print $1,$3} /user/ {print $1,$3}' passwd root 0 operator 11 ftp 14 saslauth 499 user1 600
awk还可以多次匹配,如上例全文匹配包含root关键词的行,再匹配包含user的行,打印所匹配的第1、3段。
3、条件操作符
判断第3个字段为0的
[root@yonglinux ~]# awk -F: '$3=="0"' passwd root:x:0:0:root:/root:/bin/bash [root@yonglinux ~]# awk -F: '$3==10' passwd uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
判断第3个字段为10的并且打印该行的第7字段;
[root@yonglinux ~]# awk -F: '$3==10 {print $7}' passwd /sbin/nologin [root@yonglinux ~]# awk -F: '$3=="600"' passwd user1:x:600:501::/home/user1:/bin/bash
awk中是可以用逻辑符号判断的,比如 ‘==’ 就是等于,也可以理解为 ‘精确匹配’ 另外也有 >, ‘>=, ‘<, ‘<=, ‘!= 等等,值得注意的是,在和数字比较时,若把比较的数字用双引号引起来后,那么awk不会认为是数字,而认为是字符,不加双引号则认为是数字。
示例,双引号括起来认为是字符;加单引号和不加则认为是数字;
[root@yonglinux ~]# awk -F: '$3>"500"' passwd | sort -t: -k 3 -n shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin sshd:x:74:74:privilege-separated ssh:/var/empty/sshd:/sbin/nologin dbus:x:81:81:system message bus:/:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin nobody:x:99:99:nobody:/:/sbin/nologin user1:x:600:501::/home/user1:/bin/bash
[root@yonglinux ~]# awk -F: '$3>500' passwd | sort -t: -k 3 -n user1:x:600:501::/home/user1:/bin/bash [root@yonglinux ~]# awk -F: '$3>'500'' passwd | sort -t: -k 3 -n user1:x:600:501::/home/user1:/bin/bash
!= 为不匹配,第7字段不等于/sbin/nologin的行,需要用双引号括起来。
[root@yonglinux ~]# awk -F: '$7!="/sbin/nologin"' passwd root:x:0:0:root:/root:/bin/bash sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt user1:x:600:501::/home/user1:/bin/bash mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/bash
除了针对某一个段的字符进行逻辑比较外,还可以两个段之间进行逻辑比较。
示例,加双引号之后把数字当字符看;
[root@yonglinux ~]# awk -F: '$3>"5" && $3<"7"' passwd shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin user1:x:600:501::/home/user1:/bin/bash
示例,加单引号之后为数字比较;
[root@yong ~]# awk -F: '$3>'5' && $3<'7' {print }' passwd shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
另外还可以使用 && “并且”和 || “或者” 的意思。
示例,打印第3段大于第4段,并且第7段为/bin/bash的行;
[root@yonglinux ~]# awk -F: '$3>$4 && $7=="/bin/bash"' passwd user1:x:600:501::/home/user1:/bin/bash
示例,打印第3段小于第4段,或者第7段为/bin/bash的行;
[root@yonglinux ~]# awk -F: '$3<$4 || $7=="/bin/bash"' passwd root:x:0:0:root:/root:/bin/bash adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin mail:x:8:12:mail:/var/spool/mail:/sbin/nologin uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin gopher:x:13:30:gopher:/var/gopher:/sbin/nologin ftp:x:14:50:ftp user:/var/ftp:/sbin/nologin user1:x:600:501::/home/user1:/bin/bash mysql:x:27:27:mysql server:/var/lib/mysql:/bin/bash
4、awk的内置变量
awk常用的变量有:
NF :用分隔符分隔后一共有多少段
NR :行数
{print NR":"NF} 列出行号,以冒号分隔,列出共有多少段;
[root@yonglinux ~]# head -5 passwd |awk -F: '{print NR":"NF}' 1:7 2:7 3:7 4:7 5:7 [root@yonglinux ~]# head -5 passwd |awk -F: '{print NF}' 7 7 7 7 7 [root@yonglinux ~]# head -5 passwd |awk -F: '{print NR}' 1 2 3 4 5 [root@yonglinux ~]# head -5 passwd |awk -F: '{print $NF}' /bin/bash /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin
NF 表示是多少段,而$NF是最后一段的值, 而NR则是行号。
5、awk中的数学运算
awk还可以对各个段的值进行数学运算:
[root@yonglinux ~]# awk -F: '{(tot=tot+$3)};END {print tot};' passwd 1720
这里的END要注意一下,表示所有的行都已经执行,这是awk特有的语法,其实awk连同sed都可以写成一个脚本文件,而且有他们特有的语法,在awk中使用if判断、for循环都是可以的。
示例,if判断,如第一段的值为root,打印整行;
[root@yonglinux ~]# awk -F: '{if ($1=="root") print $0}' passwd root:x:0:0:root:/root:/bin/bash
示例,for循环,定义sum变量,i值为第3段的值;求第3段的和;
[root@yonglinux ~]# sum=0;for i in `awk -F: '{print $3}' passwd`;do sum=$[($sum+$i)];done;echo $sum 1720
转载于:https://blog.51cto.com/mofansheng/1633022
linux正则表达式awk讲解相关推荐
- php 字符流在linux,PHP_linux正则表达式awk详解,awk和sed一样是流式编辑器,它 - phpStudy...
linux正则表达式awk详解 awk和sed一样是流式编辑器,它也是针对文档中的行来操作的,一行一行的去执行.awk比sed更加强大,它能做到sed能做到的,同样也能做到sed不能做到的.awk常用 ...
- Linux正则表达式和文本处理工具(gred、awk、sed)
使用Linux 的 gred.awk.sed 可以方便得处理文本,然而若要灵活使用这三个工具,首先必须理解正则表达式.这里先对正则表达式进行学习,做点记录,之后再练习一下文本处理工具的使用. 正则表达 ...
- 关于清晰讲解linux正则表达式的博文分享
http://www.cnblogs.com/chengmo/archive/2010/10/10/1847287.html linux shell 正则表达式(BREs,EREs,PREs)差异比 ...
- 在Linux里awk与sed的区别,linux awk和sed讲解
sed 工具简介 在了解了一些正规表示法的基础应用之后,再来呢?呵呵-两个东西可以玩一玩的,那就是 sed 跟 awk 了! 这两个家伙可是相当的有用的啊!举例来说,鸟哥写的 logfile.sh 分 ...
- Linux正则表达式、grep、sed、awk简单使用
文章目录 正则表达式 元字符 扩展元字符 POSIX字符类补充 使用案例 grep grep的正则表达式 grep使用案例 sed sed使用详解 sed使用方法 sed命令 sed和正则表达式 基本 ...
- Linux正则表达式grep与egrep
grep -io "http:/=[A-Z0-9]\{16\}" ./wsxf.txt >wsxf_urls.txt Linux正则表达式grep与egrep 正则表达式:它 ...
- linux 正则表达式详解
有关正则表达式容易混淆事项 本文讲的是Linux 系统中的正则表达式,即 Linux 正则表达式,应用正则表达式的命令就是 grep(egrep),sed,awk,注意,其他普通命令正常情况下无法使用 ...
- linux bin命令解释,Linux:“awk”命令的妙用
原标题:Linux:"awk"命令的妙用 导读awk是一个强大的文本分析工具,简单来说awk就是把文件逐行读入,(空格,制表符)为默认分隔符将每行切片,切开的部分再进行各种分析处理 ...
- linux之awk命令学习笔记
Linux之awk命令学习笔记 前言 AWK 是一种处理文本文件的语言,是一个强大的文本分析工具. 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, ...
最新文章
- 以假乱真的“人造脸”,能骗过面部识别吗?
- 【转载】关于阿里巴巴的问题
- ubuntu 编译QT Basic XLib functionality test failed!问题解决
- Hierarchy-Viewer架构
- python中的函数修饰器
- 前端学习(3309):redux项目创建和概况
- python重写和装饰器_python装饰器
- 国内规模最大的商业WiFi运营商百米生活挂牌新三板
- 为Android系统定制重启功能
- 多页TIF转PDF 【JAVA】
- 软件系统建模、UML
- Golang map有序化
- Xutils-Android中数据存储和网络传输的框架
- 官方rom提取原签名工具_ROM修改工具:Dragonface+昂达OTA签名工具
- Scrapy爬取二手房信息
- IOS引入百度统计热力图崩溃
- xp系统网上邻居看不到局域网电脑_Win7系统网上邻居看不到局域网中其他电脑怎么办...
- 8种CSS3按钮动画特效【附源码】
- 九校联考-长沙市一中NOIP模拟Day1T1 矩阵游戏(game)
- 【快直播】libLebConnectionSDK
热门文章
- Linuxtone命令一句话
- symbol(s) not found for architexture i386 报错
- gitlab windows安装_gitlab pages之gitlab-runner 安装(windows)
- flutter doctor --android-licenses 报错解决方案
- java中可以改变引用的指向吗_java中引用传递问题,在函数中修改引用的指向,会不会影响实参?...
- PSVR周年庆开始,大量游戏巨幅促销
- 苹果市值破3万亿美元!仅次于德国GDP
- 二本毕业后3年发两篇Nature引热议,他此前研究刷新世界纪录
- 不管马斯克怎么说,中国智能汽车激光雷达军备竞赛已经开始
- SCI期刊上发现大量辣眼学术名词,用机翻规避抄袭,作者主要来自中国