正则表达式（grep命令，egrep命令，sed命令，awk命令，sort工具，uniq工具）
文章目录
- 正则表达式
- 基础正则表达式：grep命令
- 查找行首“^”与行尾字符“$
- 查找连续字符范围{}
- 元字符总结
- 正则表达式总结
- 扩展正则表达式
- egrep命令
- sed工具使用方法
- sed工具概述
- sed的工作流程
- 常见的sed命令选项
- 常见的操作
- 删除符合条件的文本（d）
- 替换符合条件的文本
- **迁移符合条件的文本**
- 使用脚本编辑文件
- sed 直接操作文件示例
- awk工具使用方法
- sort工具
- uniq工具
- tr工具
正则表达式
基础正则表达式：grep命令
-i”表示不区分大小写
-n”表示显示行号
若反向选择，如查找不包含“the”字符的行，则需要通过grep命令的“-v”选项实现，并配合“-n”一起使用显示行号。
（1） 利用中括号“[]”来查找集合字符
想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh” 与“rt”“[]”中无论有几个字符，都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”同时查找到“shirt”与“short”这两个字符串
[root@localhost opt]# echo "shirt" >> /opt/httpd.txt [root@localhost opt]# echo "short" >> /opt/httpd.txt [root@localhost opt]# echo "shart" >> /opt/httpd.txt
[root@localhost ~]# grep -n 'sh[ioa]rt' /etc/passwd
若要查找包含重复单个字符“oo”时，只需要执行以下命令即可。
查找行首“^”与行尾字符“$
基础正则表达式包含两个定位元字符：“^”（行首）与“$”（行尾）
“^”符号在元字符集合“[]”符号内外的作用是不一样的，在“[]”符号内表示反向选择，在“[]”符号外则代表定位行首
若想查找以某一特定字符结尾的行则可以使用“$”定位符
查询以“the”字符串为行首的行
若查找“oo”前面不是“w”的字符串，只需要通过集合字符的反向选择“[^]”来实现该目的
“a-z”表示小写字母，大写字母则通过“A-Z”表示。
若不希望“oo”前面存在小写字母，可以使用“grep -n[^a-z]oo’test.txt”命令实现
查找包含数字的行可以通过*grep -n‘[0-9]’test.txt命令来实现。
开头为0-9的
查询以小写字母开头的行可以通过[a-z]规则来过滤，查询大写字母开头的行则使用[A-Z]”规则，若查询不以字母开头的行则使用“[a-zA-Z]”规则。
因为小数点（.）在正则表达式中也是一个元字符（后面会讲到），所以在这里需要用转义字符“\”将具有特殊意义的字符转化成普通字符。
查询以小数点（.）结尾的行 [root@localhost opt]# grep -n ‘.$’ httpd.txt
当查询空白行时，执行grep -n‘^$’test.txt命令即可。
（1） 查找任意一个字符".“与重复字符”*"
表示固定字符
“*”代表的是重复零个或多个前面的单字符
“o”表示拥有零个（即为空字符）或大于等于一个“o”的字符*
执行以下命令即可查询以 w 开头 d 结尾，中间的字符可有可无的字符串
“oo*”， 则第一个 o 必须存在，第二个 o 则是零个或多个 o,所以凡是包含 o、oo、ooo、ooo，等的资料都符合标准
查询以 w 开头 d 结尾，中间包含至少一个 o 的字符串，执行以下命令即可实现。
执行以下命令即可查询任意数字所在行。
查找连续字符范围{}
在上面的示例中，使用了“.”与“*”来设定零个到无限多个重复的字符，如果想要限制一个范围内的重复的字符串该如何实现呢？例如，查找三到五个 o 的连续字符，这个时候就需要使用基础正则表达式中的限定范围的字符“{}”。因为“{}”在 Shell 中具有特殊意义，所以在使用“{}”字符时，需要利用转义字符“\”，将“{}”字符转换成普通字符。“{}”字符的使用方法如下所示。
查询两个或以上 o 的字符
查询以 w 开头以 d 结尾，中间包含 2～5 个 o 的字符串。
查询以 w 开头以 d 结尾，中间包含 2 以上 o 的字符串
元字符总结
| 元字符 | 作用 |
|---|---|
| ^ | 匹配输入字符串的开始位置 |
| $ | 匹配输入字符串的结尾位置 |
| . | 匹配除“\r\n”之外的任何单个字符 |
| \ | 将下一个字符标记为特殊字符、原义字符、向后引用、八进制转义符。例如，‘n’匹配字符“n”。 ‘\n’匹配换行符。序列‘\ \’匹配“\”，而‘\ (’则匹配“(” |
| * | 匹配前面的子表达式零次或多次。要匹配“*”字符，请使用“\ *” |
| [] | 字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a” |
| [^] | 赋值字符集合。匹配未包含的一个任意字符。例如，“[ ^abc ] ”可以匹配“plain”中“plin”中的任何一个字母 |
| [n1-n2] | 字符范围。匹配指定范围内的任意一个字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意一个小写字母字符。注意：只有连字符（-）在字符组内部，并且出现在两个字符之间时，才能表示字符的范围；如果出现在字符组的开头，则只能表示连字符本身 |
| {n} | n 是一个非负整数，匹配确定的 n 次。例如，“o\ {2\ }”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个 o |
| {n,} | n 是一个非负整数，至少匹配 n 次。例如，“o\ {2,\ }”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有 o。“o\ {1,\ }”等价于“o+”。“o\ {0,\ }”则等价于“o*” |
| {n,m} | m 和n 均为非负整数，其中 n<=m，最少匹配 n 次且最多匹配 m 次 |
正则表达式总结
命令基本格式
grep -cinvABC 'word' filename
-c '行数'-i '不区分大小写'-n '显示行号'-v '取反'-r '遍历所有子目录'-A '后面跟数字，过滤出符合要求的行以及下面n行'-B '同上，过滤出符合要求的行以及上面n行'-C '同上，同时过滤出符合要求的行以及上下各n行'扩展正则表达式
egrep命令
通常情况下会使用基础正则表达式就已经足够了，但有时为了简化整个指令，需要使用范围更广的扩展正则表达式。
| 元字符 | 作用与示例 |
|---|---|
| + | 作用：重复一个或者一个以上的前一个字符 示例：执行“egrep -n ‘wo+d’ test.txt”命令，即可查询"wood" “woood” "woooooood"等字符串 |
| ？ | 作用：零个或者一个的前一个字符 示例：执行“egrep -n ‘bes?t’ test.txt”命令，即可查询“bet”“best”这两个字符串 |
| | | 作用：使用或者（or）的方式找出多个字符 示例：执行“egrep -n ‘of |
| () | 作用：查找“组”字符串 示例：“egrep -n ‘t(a |
| ()+ | 作用：辨别多个重复的组 示例：“egrep -n ‘A(xyz)+C’ test.txt”。该命令是查询开头的"A"结尾是"C"，中间有一个以上的 "xyz"字符串的意思 |
示例：“egrep -n ‘A(xyz)+C’ test.txt”。该命令是查询开头的"A"结尾是"C"，中间有一个以上的"xyz"字符串的意思
+ 作用：重复一个或者一个以上的前一个字符
示例：执行“egrep -n ‘wo+d’ test.txt”命令，即可查询"wood" “woood” "woooooood"等字符串
？ 作用：零个或者一个的前一个字符
查看is|or|the ； 使用|或者（or）的方式找出多个字符
sed工具使用方法
sed工具概述
sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。
sed 也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell 脚本中，用以完成各种自动化处理任务。
sed的工作流程
读取——》执行——》显示三个过程
在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完
默认情况下,所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出
读取
默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行
执行
默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行
显示
发送修改后的内容到输出流。再发送数据后，模式空间将会被清空。
通常情况下调用 sed 命令有两种格式
sed[选项] '操作' 参数
sed [选项] -f scriptfile 参数
常见的sed命令选项
| 选项 | 解释 |
|---|---|
| -e 或–expression= | 表示用指定命令或者脚本来处理输入的文本文件 |
| -f 或–file= | 表示用指定的脚本文件来处理输入的文本文件 |
| -h 或–help | 显示帮助 |
| -n、–quiet 或 silent | 表示仅显示处理后的结果 |
| -i | 直接编辑文本文件，直接编辑源文件 |
常见的操作
| 操作 | 解释 |
|---|---|
| a | 增加，在当前行下面增加一行指定内容 |
| c | 替换，将选定行替换为指定内容 |
| d | 删除，删除选定的行 |
| i | 插入，在选定行上面插入一行指定内容 |
| p | 打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用 |
| s | 替换，替换指定字符 |
| y | 字符转换 |
*用法示例*
[root@localhost opt]# sed -n 'p' a.txt //输出所有内容,1234567890[root@localhost opt]# sed -n '2p' a.txt //输出第 2 行1[root@localhost opt]# sed -n '3,5p' a.txt //输出 3~5 行234[root@localhost opt]# sed -n 'p;n' a.txt //输出所有奇数行,n 表示读入下一行资料24680[root@localhost opt]# sed -n 'n;p' a.txt //输出所有偶数行,n 表示读入下一行资料13579[root@localhost opt]# sed -n '1,5{p;n}' a.txt //输出第 1~5 行之间的奇数行(第 1、3、5 行)135[root@localhost opt]# sed -n '1,5{n;p}' a.txt //输出第 5行至文件尾之间的偶数行24 6[root@localhost opt]# sed -n '/the/p' a.txt //输出包含the 的行the thisthis the[root@localhost opt]# sed -n '2,/the/p' a.txt //输出从第 2行至第一个包含 the 的行234567the this[root@localhost opt]# sed -n '/the/=' a.txt //输出包含the 的行所在的行号,等号(=)用来输出行号810
[root@192 ~]# sed -n ‘/[0-9]/p’ /opt/httpd.txt 输出以数字
以0-9开头的或结尾的[root@localhost opt]# sed -n '/^[0-9]/p' httpd.txt 123456789[root@localhost opt]# sed -n '/[0-9]$/p' httpd.txt //输出以数字结尾的行 \#Listen 12.34.56.78:80Listen 80\#ServerName www.example.com:80AddDefaultCharset UTF-812345678?4567899
//输出包含单词wood 的行,<、>代表单词边界
删除符合条件的文本（d）
下面命令中 nl 命令用于计算文件的行数，结合该命令可以更加直观地查看到命令执行的结果。[root@localhost opt]# nl a.txt 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 the this 9 8 10 this the 11 9 12 0[root@localhost opt]# nl a.txt | sed '3d' //删除第 3 行 不会影响源文件 1 1 2 2 4 4 5 5 6 6 7 7 8 the this 9 8 10 this the 11 9 12 0[root@localhost opt]# nl a.txt | sed '3,$d' //删除第 3 以后的行 1 1 2 2[root@localhost opt]# nl a.txt | sed '/the/d' //删除the的行 1 1 2 2 3 3 4 4 5 5 6 6 7 7 9 8 11 9 12 0[root@localhost opt]# sed '/\.$/d' httpd.txt //删除以"."结尾的行\#\# This is the main Apache HTTP server configuration file. It contains the\# In particular, see \# <URL:http://httpd.apache.org/docs/2.4/mod/directives.html>\#\# Do NOT simply read the instructions in here without understanding\# what they do. They're here only as hints or reminders. If you are unsure[root@localhost opt]# sed '/^$/d' httpd.txt //删除所有空行\#\# This is the main Apache HTTP server configuration file. It contains the\# configuration directives that give the server its instructions.\# See <URL:http://httpd.apache.org/docs/2.4/> for detailed information.\# In particular, see \# <URL:http://httpd.apache.org/docs/2.4/mod/directives.html>\# for a discussion of each configuration directive.替换符合条件的文本
[root@localhost opt]# cat a.txt 1234567the this8this the90[root@localhost opt]# sed 's/the/THE/' a.txt //将每行中的第一个the 替换为 THE1234567THE this8this THE90[root@localhost opt]# sed 's/l/L/3' a.txt //将每行中的第 3 个 l 替换为 L1 234567the thistollLlllk8this the90[root@localhost opt]# sed 's/l//g' a.txt //将文件中的所有 l 删除(替换为空串)1 234567the thistok8this the90[root@localhost opt]# sed 's/^/#/' a.txt //在每行行首插入#号\#1 \#2\#3\#4\#5\#6\#7\#the this\#tollllllk\#8\#this the\#9\#0[root@localhost opt]# sed '/the/s/^/#/' a.txt //在包含the 的每行行首插入#号1234567\#the thistollllllk8\#this the90[root@localhost opt]# sed 's/l/#/g' a.txt 把l替换成#1234567the thisto######k8this the90
迁移符合条件的文本
在使用 sed 命令迁移符合条件的文本时，常用到以下参数.
H:复制到剪贴板；
g、G:将剪贴板中的数据覆盖/追加至指定行；
w：保存为文件；
r：读取指定文件；
a：追加指定内容。
[root@localhost opt]# sed '/the/{H;d};12G' a.txt //将第 the行内容转移至第 17 行后1234567tollllllk89the thisthis the0[r[root@localhost opt]# sed '/the/{H;d};$G' a.txt //将包含the 的行迁移至文件末尾,{;}用于多个操作1234567tollllllk890the thisthis the[root@localhost opt]# sed '1,3{H;d};$G' a.txt //将第 1~3 行内容转移至末尾4567the thistollllllk8this the90123[root@localhost opt]# sed '/the/w out.txt' a.txt //将文件 out.txt 的内容添加到包含 the 的每行以后1234567the thistollllllk8this the90[root@localhost opt]# lsout.txt[root@localhost opt]# cat out.txt the thisthis the\----------------------------------------[root@localhost opt]# vim b.txt 123456[root@localhost opt]# sed '/the/r b.txt' a.txt //在包含the 的每行后插入一个新行,内容为 1234561234567the this123456tollllllk8this the12345690[root@localhost opt]# sed '3aNEW' a.txt //在第 3 行后插入一个新行,内容为New123NEW4567the thistollllllk8this the90[root@localhost opt]# sed '/the/aNEW' a.txt //在包含the 的每行后插入一个新行,内容为 New1234567the thisNEWtollllllk8this theNEW90[root@192 ~]# sed '3aNEW\nNWE2\nNEW3' a.txt //在第 3 行后插入多行内容,中间的\n 表示换行123NEWNWE2NEW34567the thisNEWtollllllk8this theNEW90
使用脚本编辑文件
[root@192 ~]# vim opt.zhang将第 1~3行内容转移至第 12 行后1,3H1,3d12G[root@192 ~]# sed -f opt.zhang a.txt 4567the thisNEWtollllllk8this the123NEW90sed 直接操作文件示例
- 编写一个脚本，用来调整 vsftpd 服务配置：禁止匿名用户，但允许本地用户（也允许写入）
**（1）** **sed** **直接操作文件示例**编写一个脚本，用来调整 vsftpd 服务配置，要求禁止匿名用户，但允许本地用户（也允许写入）。root@localhost ~]# **vim local_only_ftp.sh**\#!/bin/bash\# 指定样本文件路径、配置文件路径SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf " CONFIG="/etc/vsftpd/vsftpd.conf"\# 备份原来的配置文件,检测文件名为/etc/vsftpd/vsftpd.conf.bak 备份文件是否存在, 若不存在则使用 cp 命令进行文件备份[ ! -e "$CONFIG.bak" ] && cp $CONFIG $CONFIG.bak # 基于样本配置进行调整,覆盖现有文件 -e判断是否存在不存这拷贝sed -e '/^anonymous_enable/s/YES/NO/g' $SAMPLE > $CONFIG g是替换sed -i -e '/^local_enable/s/NO/YES/g' -e '/^write_enable/s/NO/YES/g' $CONFIG grep "listen" $CONFIG || sed -i '$alisten=YES' $CONFIG i直接编辑 -e 跟多条语句 grep "listen" $CONFIG || sed -i '$alisten=YES' $CONFIGa 是\# 启动vsftpd 服务,并设为开机后自动运行systemctl restart vsftpd systemctl enable vsftpd[root@localhost ~]# **chmod +x local_only_ftp.sh
awk工具使用方法
1. awk 常见用法
通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。
awk 选项 **’**模式或条件 {编辑指令}’ 文件 1 文件 2 … //过滤并输出文件中符合条件的内容
awk -f 脚本文件 文件 1 文件 2 … //从脚本中调用编辑指令,过滤并输出内容
-f 且默认情况下字段的分隔符为空格或 tab 键
[root@localhost ~]# **awk -F ':' '{print $1,$3,$4}' /etc/passwd**root 0 0bin 1 1daemon 2 2
……//省略部分内容
用$1、$2、$3…顺序地表示行（记录）中的不同字段，另外 awk 用$0 表示整个行（记录）
在上述示例中，awk 命令对/etc/passwd 文件的处理过程如图
FS：指定每行文本的字段分隔符，默认为空格或制表位（等于-F）
NF：当前处理的行的字段个数
NR：当前处理的行的行号（序数）
$0：当前处理的行的整行内容
$n：当前处理行的第n个字段（第n列）
FILENAME：被处理的文件名
RS：数据记录分隔，默认为\n，即每行为一条记录
awk ‘{print}’ test.txt //输出所有内容,等同于 cat test.txt
输出第 1~3 行内容
awk 'NR==1||NR==3{print}' /etc/passwd** //输出第 1 行、第 3 行内容[root@192 ~]# awk 'NR==1,NR==3{print}' /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin[root@192 ~]# awk -F ":" 'NR==1,NR==3{print $1,$3}' /etc/passwd 输出1到3行的1到3列字段root 0bin 1daemon 2[root@192 ~]# awk -F ":" '(NR>=1)&&(NR<=3){print $1,$3}' /etc/passwdroot 0bin 1daemon 2[root@192 ~]# awk -F ":" 'NR>=1&&NR<=3{print $1,$3}' /etc/passwdroot 0bin 1daemon 2[root@192 ~]# awk -F ":" 'NR==1||NR==3{print $1,$3}' /etc/passwd 只输出1和3行root 0daemon 2[root@192 ~]# awk -F ":" 'NR%2==1{print $1,$3}' /etc/passwd //输出所有奇数行的内容root 0daemon 2lp 4shutdown 6mail 8games 12nobody 99dbus 81libstoragemgmt 998rpc 32saslauth 995rtkit 172[root@192 ~]# awk -F ":" 'NR%2==0{print $1,$3}' /etc/passwd //输出所有偶数行的内容bin 1adm 3sync 5halt 7operator 11ftp 14systemd-network 192polkitd 999colord 997gluster 996abrt 173pulse 171unbound 994rpcuser 29[root@192 ~]# awk '/^root/{print}' /etc/passwd //输出以root 开头的行**awk** root:x:0:0:root:/root:/bin/bash[root@192 ~]# awk '/nologin$/{print}' /etc/passwd //输出以 nologin 结尾的行bin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinmail:x:8:12:mail:/var/spool/mail:/sbin/nologinoperator:x:11:0:operator:/root:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologin**awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd**//统计以/bin/bash 结尾的行数,等同于 grep -c "/bin/bash$" /etc/passwd[root@192 ~]# awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd25[root@192 ~]# grep -c "/bin/bash$" /etc/passwd25**awk 'BEGIN{RS=""};END{print NR}' /etc/squid/squid.conf**//统计以空行分隔的文本段落数**awk '{print $3}' test.txt** //输出每行中(以空格或制表位分隔)的第 3 个字段**awk '{print $1,$3}' test.txt** //输出每行中的第 1、3 个字段[root@192 opt]# awk -F ":" '$3==0{print $1,$7}' /etc/passwdroot /bin/bash[root@192 opt]# awk 'BEGIN{FS=":"};$3=="0"{print};' /etc/passwd //输出以冒号分隔且第 7 个字段中包含/bash 的行的第 1 个字段root:x:0:0:root:/root:/bin/bash[root@192 opt]# awk -F ":" '$7~"/bash"{print $1}' /etc/passwdroottangezhangtamtomcom1com2com3[root@192 opt]# awk '($1~"nfs")&&(NF==8){print $1,$2}' /etc/services //输出包含 8 个字段且第 1 个字段中包含 nfs 的行的第 1、2 个字段nfs 2049/tcpnfs 2049/udpnfs 2049/sctpnetconfsoaphttp 832/tcpnetconfsoaphttp 832/udpnetconfsoapbeep 833/tcpnetconfsoapbeep 833/udp[root@192 opt]# awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd //输出第 7 个字段既不为/bin/bash 也不为/sbin/nologin 的所有行sync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/halt[root@192 opt]# awk -F: '/bash$/{print | "wc -l"}' /etc/passwd //调用wc -l 命令统计使用 bash 的用户个数,等同于 grep -c "bash$" /etc/passwd25**[root@192 opt]# awk 'BEGIN {while ("w" | getline) n++ ; {print n-2}}'** //调用w 命令,并用来统计在线用户数**5****getline判断下面有没有行**-2是前2行不是[root@zhang opt]# awk 'BEGIN { "hostname" | getline ; print $0}'zhang
sort工具
| 命令 | 解释 |
|---|---|
| -b | 忽略每行前面的空格 |
| -M | 按照月份进行排序 |
| -n | 按照数字进行排序 |
| -r | 反向排序 |
| -u | 等同于 uniq，表示相同的数据仅显示一行 |
| -t | 指定分隔符，默认使用[Tab]键分隔 |
| -o | <输出文件>：将排序后的结果转存至指定文件 |
| -k | 指定排序区域 |
| -f | 忽略大小写 |
将/etc/passwd 文件中的账号进行排序。
将/etc/passwd 文件中第三列进行反向排序。
将/etc/passwd 文件中第三列进行反向排序。
将/etc/passwd 文件中第三列进行排序，并将输出内容保存至 user.txt 文件中。
uniq工具
Uniq 工具在 Linux 系统中通常与 sort 命令结合使用，用于报告或者忽略文件中的重复行
Ø -c：进行计数；Ø -d：仅显示重复行；Ø -u：仅显示出现一次的行。删除 centos 文件中的重复行。
[root@localhost opt]# cat cetos.txt
centos5
centos5
centos5
centos5
centos6
centos6
centos6
centos8
centos8
centos8
centos9
centos9
centos9
[root@localhost opt]# uniq cetos.txt 删除 centos 文件中的重复行。
centos5
centos6
centos8
centos9
[root@localhost opt]# uniq -c cetos.txt 删除 centos 文件中的重复行，并在行首显示该行重复出现的次数4 centos53 centos63 centos83 centos9
[root@localhost opt]# uniq -d cetos.txt 查找 testfile 文件中的重复行
centos5
centos6
centos8
centos9tr工具
tr 命令常用来对来自标准输入的字符进行替换、压缩和删除。可以将一组字符替换之后变成另一组字符，经常用来编写优美的单行命令，作用很强大。
tr 具体的命令语法格式为：
-c：取代所有不属于第一字符集的字符；
-d：删除所有属于第一字符集的字符；
-s：把连续重复的字符以单独一个字符表示；
-t：先删除第一字符集较第二字符集多出的字符。
[root@localhost opt]# echo "KGC" | tr 'A-Z' 'a-z'将输入字符由大写转换为小写。
kgc
[root@localhost opt]# echo "thissss isa text linnnnnnne." | tr -s 'sn'压缩输入中重复的字符。
this isa text line.
[root@localhost opt]# echo 'hello world' | tr -d 'od'删除字符串中某些字符。
hell wrl
正则表达式（grep命令，egrep命令，sed命令，awk命令，sort工具，uniq工具）相关推荐
- Shell 编程之正则表达式与文本处理器--（grep，egrep 与文本处理器-sed、awk、sort、uniq、tr）
文章目录 一.正则表达式 1.1 正则表达式概述 1.1.1 正则表达式的定义 1.1.2 正则表达式用途 1.2 基础正则表达式 1.3 基础正则表达式:grep命令 1.3.1 查找特定字符 1. ...
- shell编程之正则表达式与总结（grep，egrep）与文件处理器和总结（sed，awk，sort，uniq）
文章目录 前言 一:基础正则表达式 1.1:正则表达式的定义 1.2:正则表达式用途 1.3:基础正则表达式 1.4:基础正则表达式:grep命令 1.4.1:查找特定字符 1.4.2:利用中括号&q ...
- 系统特殊符号、通配符号、正则符号、find、grep、sed、awk命令（总结）
目录 一.常见系统特殊符号 (一)基础符号系列 1)美元符号 $ 2)叹号符号 ! 3)竖线符号 | 4)井号符号 # (二)引号符号系列 (三)定向符号系列 (四)路径符号系列 (五)逻辑符 ...
- Linux正则表达式grep与egrep
grep -io "http:/=[A-Z0-9]\{16\}" ./wsxf.txt >wsxf_urls.txt Linux正则表达式grep与egrep 正则表达式:它 ...
- shell中的文本处理（grep、sed、awk命令）
grep 文本过滤命令 sed 行编辑器 awk 报告生成器 一. grep文本过滤命令 全面搜索研究正则表达式并显示出来grep命令是一种强大的文本搜索工具,根据用户指定的"模式" ...
- SED与AWK命令攻略大全
http://www.tuicool.com/articles/zUVnUz 1. 基本概念 Sed是一个"非交互式"的面向字符流的编辑器. 这个面向字符流就像是我去餐厅点了一道菜 ...
- Linux | Shell 学习笔记（二）Shell 流程控制 if、case、for、while| read读取输入 | 函数的使用 | cut、sed、awk、sort命令 +Demo
文章目录 参考资料 运行环境 一.流程控制 1.1 if 判断 1.2 case 语句 1.3 for 循环 1.4 while 循环 二. read 读取控制台输入 三.函数 3.1 系统函数 ba ...
- 【Shell牛客刷题系列】SHELL4 输出第5行的内容：回顾head、tail命令和sed、awk命令的使用
该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令. 刷题链接:牛客题霸-Shell篇. 该系列文章都放到专栏下,专栏链接为:<专栏:Linux>.欢迎关注专栏~ 本 ...
- sed与awk命令小结
1.sed命令小结 Sed是一个非交互式文本编辑器,它可对文本文件和标准输入进行编辑,标准输入可以是来自键盘输入.文件重定向.字符串.变量,甚至来自管道的文本.Sed从文本的一个文本行或标准输入中读取 ...
- linux中sed或awk,Linux中sed和awk命令比较实例
sed的工作原理 先读入一行,将读入的数据放入pattern space,执行编辑命令,处理完毕后把pattern space的内容打印出来,后面打印曾经去掉的回车符. 把pattern space的 ...
最新文章
- VLAN设置错误，导致部分用户无法上网
- 四种软件架构演进史，会一种就很牛逼了！
- C++Builder如何响应消息及自定义消息
- TimeInterval value and value2 determination in SalesPipeline
- 前端学习（2197）：__WEBPACK_IMPORTED_MODULE_1_vuex__.a.store is not a constructor
- linux依据时间过滤文件,详解Linux查找目录下的按时间过滤的文件
- 基于docker在Ubuntu上搭建TensorFlow-GPU计算环境
- 135_Power Query M语言快捷输入之输入法设置自定义短语
- NameNode之租约管理
- Python MQTT订阅获取发布信息字典过滤
- java digit_EditText在java代码中设置digits属性
- ubuntu20 yarn报错
- 影视后期算不算计算机类专业,影视后期是什么意思（后期剪辑属于什么专业）...
- 强化学习笔记3：RL agent的主要组成部分
- Spring学习笔记（二十三）——实现网站微信扫码登录获取微信用户信息Demo
- ajax上传文件：ajaxSubmit使用
- 中国学生常见的英文论文写作问题
- 钉钉平台助力中国一汽疫情防控 数字化迈入新阶段
- 岁月的剪影【你是人间四月天】
- matlab仿真时三相电流设置,三相输入电流波形与三相整流MATLAB仿真