grep命令，sed命令和awk命令

sed和awk是linux中两个功能非常强大的命令。过去经常使用到，但对他们的了解都是断断续续，现在总结一下，方便更加全面的了解和学习。

grep

grep命令用于查找文件里符合条件的字符串。
语法：

grep [-abcEFGhHilLnqrsvVwxy][-A<显示列数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][–help][范本样式][文件或目录…]

参数如下

-a 或 --text : 不要忽略二进制的数据。
-A n：显示匹配到的字符串所在的行及其后n行，after
-b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。
-B n 显示匹配到的字符串所在的行及其前n行，before
-c 或 --count : 计算符合样式的列数。
-C n 显示匹配到的字符串所在的行及其前后各n行，context
-d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
-e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
-E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
-f<规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
-F 或 --fixed-regexp : 将样式视为固定字符串的列表。
-G 或 --basic-regexp : 将样式视为普通的表示法来使用。
-h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。
-H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。
-i 或 --ignore-case : 忽略字符大小写的差别。
-l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
-L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
-n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
-o 或 --only-matching : 只显示匹配PATTERN 部分。
-q 或 --quiet或–silent : 不显示任何信息。
-r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
-s 或 --no-messages : 不显示错误信息。
-v 或 --invert-match : 显示不包含匹配文本的所有行。
-V 或 --version : 显示版本信息。
-w 或 --word-regexp : 只显示全字符合的列。
-x --line-regexp : 只显示全列符合的列。
-y : 此参数的效果和指定"-i"参数相同。

关于grep命令用法详细参考：https://www.cnblogs.com/flyor/p/6411140.html

sed (stream editor)

sed是一个非交互式文本编辑器。它从文本或者标准输入中读取数据，然后将其复制到缓冲区，读取命令进行编辑，重复此过程，知道所有命令执行完毕。

sed使用方式
sed <sed 命令> input-file > result-file

参数说明：

-f<script文件>或–file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
-e<script>或–expression=<script> 以选项中指定的script来处理输入的文本文件。
-h或–help 显示帮助。
-n或–quiet或–silent 仅显示script处理后的结果，不打印所有行到标准输出。
-V或–version 显示版本信息。

动作说明：

a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
例如打印cpuinfo文件的第3-6行

[xinming@node01 proc]$ sed -n ‘3,6p’ cpuinfo
cpu family : 6
model : 79
model name : Intel® Xeon® CPU E5-2680 v4 @ 2.40GHz
stepping : 1
[xinming@node01 proc]$

s ：取代，可以直接进行取代的工作，通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g 就是

awk

awk名称来自于(Aho, Weinberger和Kernighan）三个创造者名字首字母。能够方便的对结构化数据进行操作，并产生格式化输出的编程语言。

awk语句都是由 pattern 和 action组成。pattern（模式）是一组用于测试输入行是否需要执行动作的规则。action动作是包含语句，函数和表达式的执行过程。

选项参数

-F fs or --field-separator fs
指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-v var=value or --asign var=value赋值一个用户定义变量。
-f scripfile or --file scriptfile从脚本文件中读取awk命令。
-mf nnn and -mr nnn对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright打印简短的版权信息。
-W help or --help, -W usage or --usage打印全部awk选项和每个选项的简短说明。
-W lint or --lint
打印不能向传统unix平台移植的结构的警告。-W lint-old or --lint-old打印关于不能向传统unix平台移植的结构的警告。

[xinming@node01 proc
]$ awk '/^$/{print "this is a blank line."}' cpuinfo
this is a blank line.
...
this is a blank line.

单引号中间’ '是awk命令。该命令分为两部分，由/隔开，^$部分是模式(正则表达式，表示空白行)，花括号内是动作（print表示该动作时打印操作）。该命令表示cpuinfo中是空行，则打印"this is a blank line"

awk认为输入文件是结构化的，空格，Tab或者其他符号分隔，将文件分成不同的域。
每段域从1开始编号。$1：第一个域，$2:第二个域，$0:表示所有的域。

-F（大写F）指定分隔符，默认是空格。同时，还可以利用FS改变分割符.

[xinming@node01 proc]$ tail -5 cpuinfo | awk -F" " '{print $1}'
clflush
cache_alignment
address
power[xinming@node01 proc]$ tail -5 cpuinfo | awk 'BEGIN{FS=" "} {print $1}'
clflush
cache_alignment
address
power

类似，awk也定义了关系运算符用于awk模式匹配：

运算符	意义
<(=)	小于(等于)
>(=)	大于（等于）
==	等于
!=	不等于
~	匹配正则表达式
!~	不匹配正则表达式

使用示例。（查看/etc/passwd文件，此文件记录了Linux系统用户的关键信息，每一行记录用冒号分割）

 awk 'BEGIN {FS=":"} $1~/root/' /etc/passwd
（第一域 匹配root）awk 'BEGIN {FS=":"} $0~/root/' /etc/passwd（全部域匹配root）awk 'BEGIN {FS=":"} $0!~/nologin/' /etc/passwd（全部域不匹配nologin

为了方便进行多条件模式匹配，awk定义了布尔运算符

运算符	意义
\|\|	逻辑或
&&	逻辑与
!	逻辑非

示例：

[xinming@node01 etc]$ awk 'BEGIN {FS=":"} {if($3==10 ||$4==10) print $0}' /etc/passwd
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
# 多条件精确匹配
[xinming@node01 etc]$ awk 'BEGIN {FS=":"} {if($3~10 ||$4~10) print $0}' /etc/passwd
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
qemu:x:107:107:qemu user:/:/sbin/nologin
# 多条件模糊匹配

awk的用法展示

1、打印文件的第一列(域) ： awk ‘{print $1}’ filename

2、打印文件的前两列(域) ： awk ‘{print $1,$2}’ filename

3、打印完第一列，然后打印第二列： awk ‘{print $1 $2}’ filename

4、打印文本文件的总行数： awk ‘END{print NR}’ filename

5、打印文本第一行：awk ‘NR==1{print}’ filename

6、打印文本第二行第一列：sed -n “2, 1p” filename | awk ‘print $1’