正则表达式是一种符号表示法，被用来识别文本模式。在某种程度上，它们与匹配 文件和路径名的 shell 通配符比较相似，但其规模更庞大。许多命令行工具和大多数的编程语言 都支持正则表达式，以此来帮助解决文本操作问题。

一、正则表达式的字符组成

^ $ . [ ] { } - ? * + ( ) | \

二、grep

grep 程序会在文本文件中查找一个指定的正则表达式，并把匹配行输出到标准输出。

[root@node1 ~]# grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

这个命令列出了文件/etc/passwd中含有root的行。

语法规则:

grep [options] regex [file……]

其中regex是正则表达式

常用选项

选项描述

-i忽略大小写。不会区分大小写字符。也可用--ignore-case 来指定。

-v不匹配。通常，grep 程序会打印包含匹配项的文本行。这个选项导致 grep 程序 只会不包含匹配项的文本行。也可用--invert-match 来指定。

-c打印匹配的数量（或者是不匹配的数目，若指定了-v 选项），而不是文本行本身。 也可用--count 选项来指定。

-l打印包含匹配项的文件名，而不是文本行本身，也可用--files-with-matches 选项来指定。

-L相似于-l 选项，但是只是打印不包含匹配项的文件名。也可用--files-without-match 来指定。

-n在每个匹配行之前打印出其位于文件中的相应行号。也可用--line-number 选项来指定。

-h应用于多文件搜索，不输出文件名。也可用--no-filename 选项来指定。

-E    增强型的grep程序

root@node1 ~]# grep -l lhl *
grep: 160822.bak: Is a directory
a.txt
grep: bin: Is a directory
username.conf
[root@node1 ~]# grep "^lhl" a.txt   //以lhl开头的行
lhl:x:0:0:lhl:/lhl:/bin/bash
[root@node1 ~]# grep "bash$" a.txt   //以bash结尾的行
lhl:x:0:0:lhl:/lhl:/bin/bash
[root@node1 ~]# grep -n \' a.txt     //\的作用取消字符反义
12:uucp:x:10:14:'uucp':/var/spool/uucp:/sbin/nologin
[root@node1 ~]# grep l[az] a.txt      //查找以l之后从a~z的行
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
[root@node1 ~]# grep -v "^#"  a.txt    //查找不一警号开头的行
lhl:x:0:0:lhl:/lhl:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@node1 ~]# grep [4,6] -n  a.txt    //有数字4~6的行
4:#adm:x:3:4:adm:/var/adm:/sbin/nologin
5:#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
9:#shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
[root@xuegod60 ~]# grep^g.*g a.txt   //以g开头和以g结束的行
games:x:12:100:games:/usr/games:/sbin/nologin

注意：

\? 用于修饰前导字符，表示前导字符出现0或1次

\+ 用于修饰前导字符，表示前导字符出现1或多次   例：a\+匹配1或多个a

\{n,m\}  用于修饰前导字符，表示前导字符出现n至m次（n和m都是整数，且n<m）

例：a\{3,5\}匹配3至5个连续的a

[root@node1 ~]# grep 'lhl\{1,2\}' a.txt //出现lhl的行在1个或2个
lhl:x:0:0:lhl:/lhl:/bin/bash
#operator:x:11:0:operator:/lhl:/sbin/nologin
[root@node1 ~]# grep '\<lhl\>' a.txt   //精确匹配

二、sed编辑器

sed是一种在线编辑器，其处理方式是每次处理一行内容，处理时，把当前的行存储在临时缓冲区中，sed则直接处理缓冲区中的内容，并将处理过后的内容送往屏幕显示，接着处理下一行直至文件内容末尾。

sed语法：

sed [选项] '[命令]' 文件

选项及参数

-n    抑制自动(默认的) 输出 ***  读取下一个输入行
-e    表示直接在命令行模式上进行sed的操作，是默认的选项，可以不写
-f    将sed操作写在一个文件里，用的的方法则是：“-f filename”就可以按照内容进行sed的操作了。
-i    表示插入，后接字符串，添加到当前行的上一行
-i.bak  编辑的同时创造.bak的备份
-r    使用扩展的正则表达式 ***
参数:
a     在匹配后追加 ***
i     在匹配前插入 ***
p     打印某个选择数据，通常与-n安静模式一起使用。 ***
d     删除 ***
r/R      读取文件/一行
w     另存
s     查找，还可以替换，可参考vim里面的搜索替换功能。% s/root/lhl/g 全部替换。
c     替换，后接字符串，用它代替n1到n2行之间的行
y     替换
h/H       复制拷贝/追加模式空间(缓冲区)到存放空间
g/G       粘贴从存放空间取回/追加到模式空间
x     两个空间内容的交换
n/N       拷贝/追加下一行内容到当前
D     删除\n之前的内容
P     打印\n之前的内容
b     无条件跳转
t     满足匹配后的跳转
T     不满足匹配时跳转

常用分隔符：_、/、|、.等

[root@node1 ~]# sed  's/lhl/root/g' a.txt //替换操作

用 & 表示匹配的字符串

[root@xuegod60 ~]# sed 's/root/(&)/' /etc/passwd>

sed 默认只替换搜索字符串的第一次出现 , 利用 /g 可以替换搜索字符串所有

[root@node1 ~]#sed -e '3,5s/nologin/bash/' -e'9,11s/sbin/bin/'  passwd > b.txt  //同时替换多项内容：-e
[root@node1  ~]#sed -n '3p' passwd     #显示文件第三行
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@node1 ~]# cat -n /etc/passwd | sed -n '2,5p'   //显示2—5行的内容p与-n选项配合使用2  bin:x:1:1:bin:/bin:/sbin/nologin3  daemon:x:2:2:daemon:/sbin:/sbin/nologin4  adm:x:3:4:adm:/var/adm:/sbin/nologin5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@node1  test]#sed -n '1,3!p' passwd //显示文件除前三行之外的全部内容
[root@node1 ~]# cat -n /etc/passwd | sed -n '3,+3p'//显示第三行及第三行之后的内容3  daemon:x:2:2:daemon:/sbin:/sbin/nologin4  adm:x:3:4:adm:/var/adm:/sbin/nologin5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin6  sync:x:5:0:sync:/sbin:/bin/sync
[root@node1  ~]# sed'1i###' passwd     //在文件头插入“###”如果没有1的话则是在每一行之前插入###
[root@node1  ~]# sed'$a@@@' passwd    //在文件尾插入"@@@"

注意：nl命令在linux系统中用来计算文件中行号。nl可以将输出的文件内容自动的加上行号

[root@node1  ~]#sed '2a hello \      //在文件的第二行后插入两行内容
> how are your?'passwd
[root@node1  ~]#sed '3c$$$'passwd    //把文件第三行替换成“$$$”
[root@node1 ~]# sed '$c####' passwd        //把文件的最后一行替换成####
[root@node1  ~]#nl /etc/passwd  | sed '2ahello'  //nl显示行号，而空行的行号则不显示
注意：
sed 的-i选项可以直接修改文件中的内容
[root@node1  ~]#sed -i 's/root/rm/' passwd
复制粘贴
把文件的第二行到第四行复制到文件的末尾
[root@node1  ~]#sed '2,4H;$G'passwd > b.txt
h/H 复制拷贝/追加模式空间(缓冲区)到存放空间
g/G 粘贴从存放空间取回/追加到模式空间
删除空行    d 删除 ***
[root@node1  ~]#sed '/^$/d' passwd  > c.txt     //删除空行显示
[root@node1  ~]#sed '/xfs/w newfstab' /etc/fstab //把fstab中包含xfs的记录（行）写入新的文件中

[root@node1 ~]# cat a.txt | sed 's/#.*$//g' | sed '/^$/d' //删除文件的注释部分并删除空行。

[root@node1 ~]# cat a.txt | sed 's/^[ ]* //g'  //删除行首空格

[root@node1 ~]# sed -i "s/lhl/$var1/g" a.txt   //变量替换

[root@node1 ~]# cat a.txt

###:x:0:0:###:/###:/bin/bash

awk的应用

（1）打印出eth0ip地址。

[root@node1 ~]# ifconfig eth0 | grep "inet addr:" | awk -F [:" "]+ '{print $4}'

192.168.213.100

或：

[root@node1 ~]# ifconfig eth0 | grep "inet addr:" | awk -F: '{print $2}' | awk '{print $1}'

192.168.213.100

awk的默认分隔符是空格，默认输出是$0,一整行内容。

awk '/root/{print}' passwd   或awk '/root/' passwd从 //打印出文件passwd中包含root的行

awk 'length$0>40 {print NR $0}' nginxd,sh   //显示文件nginxd.sh内容中超过40个字符的行号。其中NR作为awk的内置标志符不需要使用$符号，而如果引用自定义变量只需要$符号，且自定义变量需要与awk保留字不同。

awk '/[Rr]estart/,/[Rr]eload/ {print $1}' nginxd,sh  //显示文件nginxd.sh中包含Restart/restart和Reload/reload的行中第一个字符。

解释：awk -F [:" "]表示awk 以空格作为分隔符，然后打印出第4列参数