一、简单概括

在shell编程中，为了对文件更好的处理，我们常常会用到grep、sed、awk这三个命令，也因此在业界被称为“三剑客”，而正则表达式则是提供一个模板，只有这“三剑客”能读懂这个模板，也相当于是“三剑客”手里的剑。
而我们只需在适合的地方使用适合的命令，因此只要掌握他们分别擅长的领域：grep擅长匹配查找功能，sed擅长对文件操作。awk擅长格式化文本，对文本进行较复杂格式处理。
因为工作需要用shell编写接口所以就简单概括一下常用的这三个命令方便自己查阅，欢迎各位大神评论探讨补充！

二、正则表达式

正则分为基本表达式与扩展表达式：

基本表达式：

^表示开头
$表示结尾
[]表示任意匹配项
*表示0个或多个
.表示任意字符

扩展表达式：

？表示非贪婪匹配
+ 表示一个或多个
() 表示分组
{} 表示一个范围的约束
| 表示匹配多个表达式中的任何一个

三、awk命令

awk最常用的动作就是print,因为格式化后常常需要输出
语法：

awk '{pattern + action}' {filenames}

选项参数:

-F fs or --field-separator fs
指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-v var=value or --asign var=value
赋值一个用户定义变量。
-f scripfile or --file scriptfile
从脚本文件中读取awk命令。
-mf nnn and -mr nnn
对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印简短的版权信息。
-W help or --help, -W usage or --usage
打印全部awk选项和每个选项的简短说明。
-W lint or --lint
打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old
打印关于不能向传统unix平台移植的结构的警告。
-W posix
打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符**和**=不能代替^和^=；fflush无效。
-W re-interval or --re-inerval
允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作为源代码，可与-f命令混用。
-W version or --version
打印bug报告信息的版本。

常用例子：

awk -F"/" '{print $NF}'
#以”/“分割输出最后一个值
#常用于取文件名

awk '/start/{t=1}{if(t)s=s?s"\n"$0:$0}/end/{t=0;print s}'
#跨行匹配

匹配到start   t=1执行 {if(t)s=s?s"\n"$0:$0}
if s有值则长度不为0为true,执行s"\n"$0追加该行
if s无值则长度为0为false,执行$0赋值给s
直到匹配到end
则t=0,打印s

四、sed命令

sed常结合重定向操作，因为sed不编辑初始文件，而只编辑它的一个拷贝，如果操作结果没有重定向到一个文件，那么将输出到屏幕。
语法：

sed [option] 'sedcommand' filename

常用选项
-n 安静模式，只有经过sed处理的内容会被输出
-i 表示直接修改源文件
-E 支持扩展表达式
-e 表示可以指定表达式

sed脚本命令

具体的命令本文就只介绍常用的替sed s 替换脚本命令

基本格式为：s/old/new/flags

flags标记与功能：

n:1~512 之间的数字，表示指定要替换的字符串出现第几次时才进行替换，例如，一行中有 3 个 A，但用户只想替换第二个 A，这是就用到这个标记；
g:对数据中所有匹配到的内容进行替换，如果没有 g，则只会在第一次匹配成功时做替换操作。例如，一行数据中有 3 个 A，则只会替换第一个 A；
p:会打印与替换命令中指定的模式匹配的行。此标记通常与 -n 选项一起使用。
w file: 将缓冲区中的内容写到指定的 file 文件中；
&:  用正则表达式匹配的内容进行替换；
\n: 匹配第 n 个子串，该子串之前在 pattern 中用 \(\) 指定。
\:  转义（转义替换部分包含：&、\ 等）。

例子：

sed "s/a/A/g"`  #全局替换

利用map与sed循环对文件做变量替换

sed -i "s|"${key}"|"${aMap[$key]}"|"

五、grep命令

grep 指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设 grep 指令会把含有范本样式的那一列显示出来
因此我认为grep也是最适合做匹配查找的
语法：
grep [options] “匹配条件” “文件”
主要参数：

-a 或 --text : 不要忽略二进制的数据。
-A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。
-b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。
-B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前的内容。
-c 或 --count : 计算符合样式的列数。
-C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前后的内容。
-d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
-e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
-E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
-f<规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
-F 或 --fixed-regexp : 将样式视为固定字符串的列表。
-G 或 --basic-regexp : 将样式视为普通的表示法来使用。
-h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。
-H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。
-i 或 --ignore-case : 忽略字符大小写的差别。
-l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
-L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
-n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
-o 或 --only-matching : 只显示匹配PATTERN 部分。
-q 或 --quiet或--silent : 不显示任何信息。
-r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
-s 或 --no-messages : 不显示错误信息。
-v 或 --invert-match : 显示不包含匹配文本的所有行。
-V 或 --version : 显示版本信息。
-w 或 --word-regexp : 只显示全字符合的列。
-x --line-regexp : 只显示全列符合的列。
-y : 此参数的效果和指定"-i"参数相同。
-P 使用与perl兼容的正则表达式（PCRE）。
-z将输入视为一组行，每行以零字节而不是换行符结尾。即grep将输入视为一行。

简单例子：
grep “^a” test.txt 匹配出test.txt中以a开头的行

“Linux三剑客”——grep查找、sed替换、awk格式化文本相关推荐

【Linux上分之路】第十二篇：Linux三剑客grep、sed、awk
文章目录 Linux三剑客三剑客特点及应用场景 grep grep命令的基本格式 grep范例 grep命令选项 -A.-B -c.-v -n.-w sed sed命令基本格式 sed命令功能 se ...
Linux三剑客:grep、sed、awk
通配符通配符含义 * 匹配任意长度的字符 ? 匹配任 ...
Linux三剑客grep、sed、awk
grep grep file grep -i file grep -v file 转载于:https://www.cnblogs.com/heiyizixia/p/10414609.html
Linux文本三剑客--grep、sed、awk
Linux文本三剑客–grep.sed.awk 文章目录 Linux文本三剑客--grep.sed.awk 1.grep 1.1什么是grep 1.2使用grep 命令格式命令参数基本正则表表达式 ...
Linux文本三剑客(grep、sed、awk)
目录 grep 1.什么是grep和rgrep? 2.使用grep 2.1.命令格式 2.2.命令功能 2.3.命令参数 3.实战演示 sed 1.认识sed 2.使用sed 2.1.命令格式 2.2 ...
28.文本处理三剑客grep，sed，awk
三剑客的功能非常强大,但我们只需要掌握他们分别擅长的领域即可:grep擅长查找功能,sed擅长取行和替换,awk擅长取列. 目录一.grep 二.sed sed选项 sed内置常用命令字符 sed匹 ...
【Linux】grep、sed、awk三剑客正则表达式（全）
文章目录 ❀正则表达式简介 ❀元字符 ❀反义字符 ❀限定字符 ❀转义字符 ❀字符分枝 ❀字符分组 ❀懒惰匹配和贪婪匹配 ❀其他语法 ❀常用的实用正则表达式整理主要是转载于
linux三剑客试题,Linux三剑客（grep、sed、awk）详解
Linux三剑客(grep.sed.awk)详解前言:本文主要介绍一下Linux中最重要的三个命令,他们在业界被誉为"三剑客",它们分别是:awk,sed,grep.它们三个侧能 ...
Linux命令三剑客：grep、sed、awk总结
文章目录前言一.grep 命令语法实例 grep结合pattern正则二.sed 命令语法案例三.awk 命令语法实例前言最近看到了几篇关于linux命令grep.sed.awk的文 ...

“Linux三剑客”——grep查找、sed替换、awk格式化文本

文章目录