正则表达式与工具

正则表达式
- grep
- 基础正则表达式常见元字符
- 扩展正则表达式
- 元字符操作的案列
命令工具
- cut:列截取工具
- sort：排序工具
- uniq：主要用于去除连续的重复行
- tr:替换工具

正则表达式

正则表达式，又称规则表达式。（英语: Regular Expression)，在代码中常简写为regex、 regexp或
RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。
正则表达式不只有一种，而且 LINUX中不同的程序可能会使用不同的正则表达式，如:工具: grep sed awk egrep

正则表达式—通常用于判断语句中，用来检查某一字符串是否满足某一格式正则表达式是由普通字符与元字符组成
普通字符包括大小写字母、数字、标点符号及一些其他符号
元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符)在目标对象中的出现模式

linux中常用的有两种正则表达式引擎
●基础正则表达式：BRE

●扩展正则表达式:ERE

grep

语法：grep 【选项】… 查找条件目标文件
-E ：开启扩展(Extend）的正则表达式
-c : 计算找到’搜寻字符串·的次数
-i : 忽略大小写的不同，所以大小写视为相同
-o :只显示被模式匹配到的字符串
-v :反向选择，亦即显示出没有·搜寻字符串’
内容的那一行!(反向查找，输出与查找条件不相符的行)
- -color=auto :可以将找到的关键词部分加上颜色的显示喔!
-n :顺便输出行号

为了防止出错查找一串字符串时加上单引号

例如：我们过滤网卡ip地址

例如分别将非空行和空行写入到test.txt
“ ^$ ”表示空行

基础正则表达式常见元字符

（支持工具：grep、egrep、sed、awk）

定位符
^ 匹配输入字符串开始的位置
$ 匹配输入字符串结尾的位置

非打印字符
\n 匹配一个换行符
\r 匹配一个回车符
\t 匹配一个制表符

例如查看以t开头的内容

或者查看

注意这里匹配的是上一个字符的次数

-E 开启正则表达式功能就不需要加转义符

扩展正则表达式

扩展正则表达式（支持的工具:egrep、awk )
+ 作用:重复一个或者一个以上的前一个字符
示例:执行"egrep -n ‘wo+d’ test.txt"命令，即可查询"“wood”“woood”"woooooood"等字符串

? 作用:零个或者一个的前一个字符
示例:执行"egrep -n ‘bes?t’ test.txt"命令，即可查询"bet" "best"这两个字符串

l 作用:使用或者(or)）的方式找出多个字符
示例:执行"egrep -n ‘oflislon’ test.txt"命令即可查询"of"或者"if"或者"on"字符串

() 作用:查找"组"字符串
示例:"egrep -n ‘t (al e) st’
test.txt”。“tast"与"test”因为这两个单词的"t"与"st"是重复的，所以将"a"与"e"列于”()“符号当中，并以”|"分隔，即可查询"tast"或者"test"字符串

()+ 作用：辨别多个重复的组
示例：“egrep -n ‘A(xyz)+C’ test.txt”。该命令是查询开头的"A"结尾是"C"，中间有一个以上的"xyz"字符串的意思

使用扩展元字符需要用egrep

元字符操作的案列

（1）查找特定字符
查找特定字符非常简单，如执行以下命令即可从 test.txt 文件中查找出特定字符“the”所在位置。其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后，符合匹配标准的字符，字体颜色会变为红色（本章中全部通过加粗显示代替）。

grep -n ‘the’ test.txt

若反向选择，如查找不包含“the”字符的行，则需要通过 grep 命令的“-v”选项实现，并配合“-n”一起使用显示行号。

grep -vn ‘the’ test.txt

（2）利用中括号“[]”来查找集合字符

想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符，都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。

grep -n ‘sh[io]rt’ test.txt

若要查找包含重复单个字符“oo”时，只需要执行以下命令即可。

grep -n ‘oo’ test.txt

若查找“oo”前面不是“w”的字符串，只需要通过集合字符的反向选择“ 【^】 ”来实现该目的。例如执行“ grep -n‘【 ^ w】oo’test.txt”命令表示在 test.txt 文本中查找“oo”前面不是“w”的字符串。

grep -n ‘【 ^ w】oo’ test.txt

3:The home of Football on BBC Sport online. 5:google is the best tools for search keyword. 11:#woood #
12:#woooooood #
14:I bet this place is really spooky late at night!

在上述命令的执行结果中发现“woood”与“wooooood”也符合匹配规则，二者均包含“w”。其实通过执行结果就可以看出，符合匹配标准的字符加粗显示，而上述结果中可以得知， “#woood #”中加粗显示的是“ooo”，而“oo”前面的“o”是符合匹配规则的。同理“#woooooood #”也符合匹配规则。
若不希望“oo”前面存在小写字母，可以使用“grep -n‘【 ^ a - z】oo’test.txt”命令实现，其中

“a-z”表示小写字母，大写字母则通过“A-Z”表示。

[root@localhost ~]# grep -n '【 ^ a - z】oo' test.txt
3:The home of Football on BBC Sport online.

查找包含数字的行可以通过“grep -n ‘[0-9]’test.txt”命令来实现。

[root@localhost ~]# grep -n '[0-9]' test.txt
4:the tongue is boneless but it breaks bones.12! 7:PI=3.141592653589793238462643383249901429

（3）查找行首“ ^ ”与行尾字符“ $ 字符：“ ^ ”（行首）与“$”（行尾）。在上面的示例中，查询“the”字符串时出现了很多包含“the”的行，如果想要查询以“the”字符串为行首的行，则可以通过“^”元字符来实现。

[root@localhost ~]# grep -n '^the' test.txt
4:the tongue is boneless but it breaks bones.12!

查询以小写字母开头的行可以通过“ ^ [a-z]”规则来过滤，查询大写字母开头的行则使用
“ ^ [A-Z]”规则，若查询不以字母开头的行则使用“ ^ [ ^a-zA-Z]”规则。

[root@localhost ~]# grep -n ' ^ [a-z]' test.txt
1:he was short and fat.
4:the tongue is boneless but it breaks bones.12! 5:google is the best tools for search keyword.
8:a wood cross!
[root@localhost ~]# grep -n ' ^ [A-Z]' test.txt
2:He was wearing a blue polo shirt with black pants. 3:The home of Football on BBC Sport online.
6:The year ahead will test our political establishment to the limit. 7:PI=3.141592653589793238462643383249901429
9:Actions speak louder than words13:AxyzxyzxyzxyzC
14:I bet this place is really spooky late at night! 15:Misfortunes never come alone/single.
16:I shouldn't have lett so tast.
[root@localhost ~]# grep -n ' ^ [ ^a-zA-Z]' test.txt
11:#woood # 12:#woooooood #

“^”符号在元字符集合“[]”符号内外的作用是不一样的，在“[]”符号内表示反向选择，在“[]” 符号外则代表定位行首。反之，若想查找以某一特定字符结尾的行则可以使用“$”定位符。例如，执行以下命令即可实现查询以小数点（.）结尾的行。因为小数点（.）在正则表达式中也是一个元字符（后面会讲到），所以在这里需要用转义字符“\”将具有特殊意义的字符转化成普通字符。

[root@localhost ~]# grep -n '\.$' test.txt
1:he was short and fat.
2:He was wearing a blue polo shirt with black pants. 3:The home of Football on BBC Sport online.
5:google is the best tools for search keyword.
6:The year ahead will test our political establishment to the limit. 15:Misfortunes never come alone/single.
16:I shouldn't have lett so tast.

当查询空白行时，执行“grep -n‘^$’test.txt”命令即可。

[root@localhost ~]# grep -n ‘^$’ test.txt
10:

（4）查找任意一个字符“.”与重复字符“*”
前面提到，在正则表达式中小数点（.）也是一个元字符，代表任意一个字符。例如执行以下命令就可以查找“w??d”的字符串，即共有四个字符，以 w 开头 d 结尾。

[root@localhost ~]# grep -n ‘w…d’ test.txt
5:google is the best tools for search keyword.

8:a wood cross!
9:Actions speak louder than words

在上述结果中，“wood”字符串“w…d”匹配规则。若想要查询 oo、ooo、ooooo 等资料，则需要使用星号（ * ）元字符。但需要注意的是，“ * ”代表的是重复零个或多个前面的单字符。 “o * ”表示拥有零个（即为空字符）或大于等于一个“o”的字符，因为允许空字符，所以执行“grep
-n 'o * ’ test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”，则第一个 o 必须存在，第二个 o 则是零个或多个 o，所以凡是包含 o、oo、ooo、ooo，等的资料都符合标准。同理，若查询包含至少两个 o 以上的字符串，则执行“grep -n ‘ooo*’ test.txt”命令即可。

[root@localhost ~]# grep -n 'ooo*' test.txt3:The home of Football on BBC Sport online. 5:google is the best tools for search keyword. 8:a wood cross!
11:#woood # 12:#woooooood #
14:I bet this place is really spooky late at night!

查询以 w 开头 d 结尾，中间包含至少一个 o 的字符串，执行以下命令即可实现。

[root@localhost ~]# grep -n 'woo*d' test.txt
8:a wood cross! 11:#woood # 12:#woooooood #

执行以下命令即可查询以 w 开头 d 结尾，中间的字符可有可无的字符串。

[root@localhost ~]# grep -n 'w.*d' test.txt
1:he was short and fat.
5:google is the best tools for search keyword. 8:a wood cross!
9:Actions speak louder than words 11:#woood #
12:#woooooood #

执行以下命令即可查询任意数字所在行。

[root@localhost ~]# grep -n '[0-9][0-9]*' test.txt 4:the tongue is boneless but it breaks bones.12! 7:PI=3.141592653589793238462643383249901429

（5）查找连续字符范围“{}”
在上面的示例中，使用了“.”与“*”来设定零个到无限多个重复的字符，如果想要限制一个范围内的重复的字符串该如何实现呢？例如，查找三到五个 o 的连续字符，这个时候就需要使用基础正则表达式中的限定范围的字符“{}”。因为“{}”在 Shell 中具有特殊意义，所以在使用“{}”字符时，需要利用转义字符“\”，将“{}”字符转换成普通字符。“{}”字符的使用方法如下所示。
① 查询两个 o 的字符。

[root@localhost ~]# grep -n 'o\{2\}' test.txt3:The home of Football on BBC Sport online. 5:google is the best tools for search keyword. 8:a wood cross!
11:#woood # 12:#woooooood #
14:I bet this place is really spooky late at night!

② 查询以 w 开头以 d 结尾，中间包含 2～5 个 o 的字符串。

[root@localhost ~]# grep -n 'wo\{2,5\}d' test.txt
8:a wood cross! 11:#woood #

③ 查询以 w 开头以 d 结尾，中间包含 2 个或 2 个以上 o 的字符串。

[root@localhost ~]# grep -n 'wo\{2,\}d' test.txt
8:a wood cross!11:#woood # 12:#woooooood #

总结：元字符
通过上面几个简单的示例，可以了解到常见的基础正则表达式的元字符主要包括以下几个

^ 匹配输入字符串的开始位置。除非在方括号表达式中使用，表示不包含该字符集合。要匹配“ ^ ” 字符本身，请使用“ \ ^”
$ 匹配输入字符串的结尾位置。如果设置了RegExp 对象的 Multiline 属性，则“ $ ”也匹配‘\n’或‘\r’。要匹配“ $ ”字符本身，请使用“ \ $”
. 匹配除“\r\n”之外的任何单个字符

\ 反斜杠，又叫转义字符，去除其后紧跟的元字符或通配符的特殊意义

" * "匹配前面的子表达式零次或多次。要匹配“*”字符，请使用“*”

[] 字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”

[ ^] 赋值字符集合。匹配未包含的一个任意字符。例如，“ [ ^abc]”可以匹配“plin”中任何一个字母

[n1-n2] 字符范围。匹配指定范围内的任意一个字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意一个小写字母字符。
注意：只有连字符（-）在字符组内部，并且出现在两个字符之间时，才能表示字符的范围；如果出现在字符组的开头，则只能表示连字符本身

{n} n 是一个非负整数，匹配确定的 n 次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的“oo”
{n,} n 是一个非负整数，至少匹配 n 次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”
{n,m} m 和 n 均为非负整数，其中 n<=m，最少匹配 n 次且最多匹配m 次

命令工具

cut:列截取工具

使用说明:
cut命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。如果不指定File 参数，cut命令将读取标准输入。必须指定-b、-c或-f 标志之一
选项:
-b:按字节截取
-c:按字符截取，常用于中文
-d:指定以什么为分隔符截取，默认为制表符
-f:通常和-d一起（加参数取第几列）

截取1和3列

截取1到3列

按字节截取空格也算一列

sort：排序工具

sort
是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样
语法:
sort [选项] 参数
常用选项
-t:指定分隔符，默认使用[Tab ]吧键或空格分隔
-k:指定排序区域，哪个区间排序
-n:按照数字进行排序，默认是以文字形式排序
-u:等同于uniq，表示相同的数据仅显示一行，注意:如果行尾有空格去重就不成功
-r:反向排序，默认是升序，-r就是降序
-o:将排序后的结果转存至指定文件

默认升序

-r降序

第三列排序

uniq：主要用于去除连续的重复行

注意:是连续的行，所以通常和sort结合使用先排序使之变成连续的行再执行去重操作，否则不连续的重复行他不能去重

( 1)语法
uniq[选项]参数
(2)常用选项
-c:对重复的行进行计数;
-d:仅显示重复行;
-u:仅显示出现一次的行

tr:替换工具

它可以用一个字符来替换另一个字符，或者可以完全除去一些字符，也可以用它来除去重复字符
语法
用法: tr[选项]…SET1[ SET2]
从标准输入中替换、缩减和/或删除字符，并将结果写到标准输出。
常用选项
-d删除字符
-s删除所有重复出现的字符，只保留第一个

shell编程之正则表达式与文本工具相关推荐

shell编程基础之基本文本工具集合
一 shell简介: 1 描述 Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁.Shell 既是一种命令语言,又是一种程序设计语言. Shell 是指一种应用程序,这个应用 ...
独一无二 Shell 编程之正则表达式与文本处理器详细解释
技能展示: 基础正则表达式扩展正则表达式 sed 工具使用方法 awk 工具使用方法 4.1 正则表达式之前学习了 Shell 脚本的基础用法,已经可以利用条件判断.循环等语句编辑 Shell 脚 ...
Shell 编程之正则表达式与文本处理器--（grep，egrep 与文本处理器-sed、awk、sort、uniq、tr）
文章目录一.正则表达式 1.1 正则表达式概述 1.1.1 正则表达式的定义 1.1.2 正则表达式用途 1.2 基础正则表达式 1.3 基础正则表达式:grep命令 1.3.1 查找特定字符 1. ...
Shell编程之正则表达式与文本编辑器
一.正则表达式 1.正则表达式概述通常用于判断语句中,用来检查某一字符串是否满足某一格式正则表达式是由普通字符与元字符组成普通字符包括大小写字母.数字.标点符号及一些其他符号元字符是指在正则表 ...
Shell编程之正则表达式（及操作案例）
Shell 编程之正则表达式正则表达式 1.正则表达式定义正则表达式又称正规表达式.常规表达式.在代码中常简写为 regex.regexp 或 RE.正则表达式是使用单个字符串来描述.匹配一系列符 ...
shell编程之正则表达式
shell编程之正则表达式文章目录 shell编程之正则表达式正则表达式 1. 正则表达式是什么? 2. 正则能干什么? 3. 正则当中名词解释 4. 第一类正则表达式㈠正则中普通常用的元字符 ...
shell编程系列26--大型脚本工具开发实战
shell编程系列26--大型脚本工具开发实战大型脚本工具开发实战拆分脚本功能,抽象函数1.function get_all_group 返回进程组列表字符串2.function get_all_pr ...
shell编程之正则表达式与总结（grep，egrep）与文件处理器和总结（sed，awk，sort，uniq）
文章目录前言一:基础正则表达式 1.1:正则表达式的定义 1.2:正则表达式用途 1.3:基础正则表达式 1.4:基础正则表达式:grep命令 1.4.1:查找特定字符 1.4.2:利用中括号&q ...
Shell脚本之正则表达式以及文本编辑器
目录一.正则表达式 1.定义 2.元字符元字符使用(这里举例为常用的元字符) 3.表示次数 (1)匹配字符 (2)查看子网掩码信息 4. 位置锚定 5.扩展正则表达式 (1)表示次数 (2)表示分 ...
Shell编程之正则表达式之grep
目录一.正则表达式 1.正则表达式概述 2.基础正则表达式 3.扩展正则表达式二.grep命令 1.统计包含某个字符的文本行的行数 2.不区分大小写查找the所有的行 3.将非空行写入到文件中 4 ...

shell编程之正则表达式与文本工具