一、sed命令

sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

sed语法：

sed [选项]... {脚本(如果没有其他脚本)} [输入文件]...

  -n, --quiet, --silent取消自动打印模式空间-e 脚本, --expression=脚本添加“脚本”到程序的运行列表-f 脚本文件, --file=脚本文件添加“脚本文件”到程序的运行列表-i 直接修改源文件-r, --regexp-extended在脚本中使用扩展正则表达式-s, --separate将输入文件视为各个独立的文件而不是一个长的连续输入-u, --unbuffered从输入文件读取最少的数据，更频繁的刷新输出

sed的编辑命令

参数        说明                                                                举例
a   \text：附加text,在当前行后面加入一行文本                                    sed '/^UUID/a \new text' /etc/fstab
=        ：显示行号                                                             sed '1,4=' /etc/fstab
c   \text：用text替换匹配到的行                                                 sed '/^UUID/c \new text\nsecond line' /etc/fstab
d    ：删除模式空间中的行                                                       sed '/^UUID/d' /etc/fstab
i   \text：插入text，支持\n实现多行插入                                         sed '/^UUID/i \new text\nsecond line' /etc/fstab
p    ：打印模式空间中的行                                                       sed '1,3p' /etc/fstab
s/regexp/replacement/：替换由regexp所匹配到的内容为replacement；                sed 's/^UUID/uuid/' /etc/fstab
g    ：全局替换；
w  /path/to/somefile：把指定的内容另存至/path/to/somefile路径所指定的文件中；   sed '1~2w /tmp/fstab.odd' /etc/fstab
r  /path/from/somefile：在文件的指定位置插入另一个文件的所有内容，完成文件合并；sed '5r /etc/issue' /etc/fstab

sed的地址定界

运算符         说明                                                        举例
#:             指定行；
$:             最后一行；
/regexp/：     任何能够被regexp所匹配到的行；                              sed '/^UUID/d' /etc/fstab
\%regexp%：    同上，只不过换作%为regexp边界符；
/regexp/| ：
\%regexp%| ：  匹配时忽略字符大小写；
startline,endline：
#,/regexp/：    从#行开始，到第一次被/regexp/所匹配到的行结束，中间的所有行；
#,#            从#行开始，到#行结束，中间所有行;               sed '1,4d'/etc/fstab
/regexp1/,/regexp2/：从第一次被/regexp1/匹配到的行开始，到第一次被/regexp2/匹配到的行结束，中间的所有行；
#,+n：从#行开始，一直到向下的n行；
first~step：指定起始行，以及步长；                                         sed '1~2w /tmp/fstab.odd' /etc/fstab

示例：
    (1) 删除/boot/grub/grub.conf文件中所有行的行首的空白字符；

     sed 's/^[[:space:]]\+//' /boot/grub/grub.conf

(2) 删除/etc/fstab文件中所有以#开头，后跟至少一个空白字符的行的行首的#和空白字符；

     sed 's/^#[[:space:]]\+//' /etc/fstab

(3) 把/etc/fstab文件的奇数行另存为/tmp/fstab.3；

     sed '1~2w /tmp/fstab.3' /etc/fstab

(4) echo一个文件路径给sed命令，取出其基名；进一步地，取出其路径名；

     取基名：echo "/etc/sysconfig/network-scripts/" | sed 's@^.*/\([^/]\+\)/\?$@\1@'取路径名：echo "/etc/sysconfig/network-scripts/" | sed

(5)删除/etc/fstab文件中除了第一行到第三行的内容

     sed '1,3!d' /etc/fstab

sed的高级命令

    h：用模式空间中的内容覆盖保持空间的内容；H：把模式空间中的内容追加至保持空间中内容的后面；g：从保持空间中取到其内容，并将其覆盖模式空间中的内容；G：从保持空间中取到其内容，并将其追加在模式空间中的内容的后面；x：把保持空间和模式空间中的进行交换；n：读取匹配到的行的下一行至模式空间；（会覆盖模式空间中的原有内容）；N：读取匹配到的行的下一行至模式空间，追加在模式空间中原有内容的后面；d：删除模式空间中的内容；D：删除多行模式空间中的首行；注意：命令功能可使用!取反；分号可用于分隔脚本；

示例：

(1)在文件中的每行后方添加空白行

    sed 'G' /etc/issue

(2)保留最后一行

    sed '$!d' /etc/fstab

(3)保证指定的文件每一行后方有且只有一个空白行

    sed '/^$/d;G' /etc/issue

(4)保留奇数行

    sed 'n;d' /etc/issue

(5)逆序显示整个文件，相当于tac  /etc/issue

    sed -n '1!G;h;$p' /etc/issue

 二、awk命令

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。

语法

awk '{pattern + action}' {filenames}awk命令的一般形式:
awk ' BEGIN { actions }
awk_pattern1 { actions }
............
awk_patternN { actions }
END { actions }
'
inputfile
其中 BEGIN { actions } 和 END { actions } 是可选的。-F fs : 使用fs作为输入记录的字段分隔符，如果省略该选项，awk使用环境变量IFS的值-f filename : 从文件filename中读取awk_script-v var=value : 为awk_script设置变量

尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。

awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

例如：

（1）显示/etc/passwd以冒号分割的第一个字段

awk -F: '{print $1}' /etc/passwd
cat /etc/passwd |awk  -F ':'  '{print $1}'
root
bin
daemon
adm
lp
sync

这种是awk+action的示例，每行都会执行action{print $1}.

-F指定域分隔符为':'

（2）给文件编号，显示/etc/fstab和/etc/issue文件合计行号

[root@localhost test]# awk '{print NR,$0}' /etc/fstab /etc/issue
1
2 #
3 # /etc/fstab
4 # Created by anaconda on Thu Sep 10 09:39:03 2015
5 #
6 # Accessible filesystems, by reference, are maintained under '/dev/disk'
7 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
8 #
9 UUID=0cc75725-6fc7-4b47-a029-2595d9e99632 /                       btrfs   subvol=root     0 0
10 UUID=2d9e58b1-d649-45d3-bb04-fab60538fba0 /boot                   xfs     defaults        0 0
11 UUID=0cc75725-6fc7-4b47-a029-2595d9e99632 /home                   btrfs   subvol=home     0 0
12 UUID=0cc75725-6fc7-4b47-a029-2595d9e99632 /usr                    btrfs   subvol=usr      0 0
13 UUID=0cc75725-6fc7-4b47-a029-2595d9e99632 /var                    btrfs   subvol=var      0 0
14 UUID=af2279f4-e85d-429b-926d-66f1054935ec swap                    swap    defaults        0 0
15 /dev/sda5                           /mydata    ext4   defaults   0 0
16 \S
17 Kernel \r on an \m
18

（3）如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

[root@localhost test]# cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
mail /sbin/nologin
operator /sbin/nologin

(4)如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

[root@localhost test]# cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync
shutdown,/sbin/shutdown
halt,/sbin/halt
mail,/sbin/nologin
blue,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

搜索/etc/passwd有root关键字的所有行

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd

搜索/etc/passwd有root关键字的所有行，并显示对应的shell

# awk -F: '/root/{print $7}' /etc/passwd
/bin/bash

这里指定了action{print $7}

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC                     命令行变元个数
ARGV                     命令行变元数组
FILENAME                 当前输入文件名
FNR                      当前文件中的记录号
FS                       输入域分隔符，默认为一个空格
RS                       输入记录分隔符
NF                       当前记录里域个数
NR                       到目前为止记录数
OFS                      输出域分隔符
ORS                      输出记录分隔符

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwdfilename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/shfilename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/shfilename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

使用printf替代print,可以让代码更加简洁，易读

 awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

print和printf

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。

awk编程

变量和赋值

除了awk的内置变量，awk还可以自定义变量。

下面统计/etc/passwd的账户人数

awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwdroot:x:0:0:root:/root:/bin/bash
......
user count is  40

count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。

这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd[start]user count is  0root:x:0:0:root:/root:/bin/bash
...
[end]user count is  40

统计某个文件夹下的文件占用的字节数

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is  8657198

如果以M为单位显示:

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'
[end]size is  8.25889 M

注意，统计不包括文件夹的子目录。

条件语句

awk中的条件语句是从C语言中借鉴来的，见如下声明方式：

if (expression) {statement;statement;... ...
}if (expression) {statement;
} else {statement2;
}if (expression) {statement1;
} else if (expression1) {statement2;
} else {statement3;
}

统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):

ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'
[end]size is  8.22339 M

循环语句

awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

数组

因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。

显示/etc/passwd的账户

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root1 daemon2 bin3 sys4 sync
5 games
......