cut\grep\awk\sed命令详解

1、cut命令详解及实例

（1）作用：提取文件中指定的列

语法格式：cut  选项  文件名

 

（2）选项作用：

     -d 分隔符     按照指定的分割符进行分割

     -f 列号       指定提取第几列

     -c 字符范围  不依赖分割符来分割，而是通过字符范围进行字段提取

     -b 字节数     以字节为单位进行分割。

 

 （3）cut实际应用案例。

例1：cut的-d和-f选项的使用，列出/etc/passwd里面以冒号为分隔符的第一列内容。

   [root@centos6~]# cut -d ':' -f 1 /etc/passwd

root

bin

daemon

adm

lp

sync

shutdown

………………………

例2：cut的-c选项使用，列出/etc/passwd里面的第1-5,9,10这几个字符的内容

[root@centos6 ~]# cut -c 1-5,9,10 /etc/passwd

root::0

bin:x1:

daemo:2

adm:x4:

lp:x::l

sync::0

shutd:x

halt::0

………………………………

例3：cut的-b选项和-c选项在提取英文字母时效果差不多，提取中文时-b选项就不太好用了，最好使用-c选项，不然会乱码。

[root@centos6 long]# cat 1.txt

一帆风顺

二月花开

三生有幸

四季发财

[root@centos6 long]# cut -c 2 1.txt

帆

月

生

季

[root@centos6 long]# cut -b 2 1.txt

o

 

2、grep命令详解及实例

（1）作用：用来提取文件中包含关键词的行

语法格式：cut  选项  文件名

 

（2）选项作用：

     -A 数字       列出符合条件的行和下面 n 行

     -B 数字     列出符合条件的行和上面 n 行

     -c            统计符合条件的字符串的行数

     -i            忽略大小写

     -n            输出行号

     -v            反向查找（取反）

     -o            只输出文件中匹配到的部分。

     -E            能使用扩展正则表达式。同egrep

扩展元字符：

     +             前一个字符匹配一次或任意多次

     ？            前一个字符匹配0次或1次

     |             匹配两个或多个分支选择

    （）           匹配其整体为一个字符，即模式单元

 

     （3）grep实际应用案例

        例1：grep的-A和-B选项的使用，列出/etc/passwd文件中包含root的行并同时列出上面的一行和下面的两行内容。

[root@centos6 ~]# grep -A2 -B1 root /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

--

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin

例2：grep的-c选项的使用，统计系统中无法登陆系统的用户有多少。

[root@centos6 ~]# grep -c nologin /etc/passwd

28

例3：grep的-n选项使用，列出/etc/passwd中包含root的行并输出行号。

[root@centos6 ~]# grep -n root /etc/passwd

1:root:x:0:0:root:/root:/bin/bash

11:operator:x:11:0:operator:/root:/sbin/nologin

例4：grep的-o和-i选项使用，列出/etc/passwd中的user字符并输出行号，不需要区分大小写。

[root@centos6 ~]# grep -oin user /etc/passwd

14:User

20:user

20:User

21:User

24:user

28:user

例5：grep的-v选项的使用，列出/etc/passwd中不包含nologin的行。

[root@centos6 ~]# grep -v nologin /etc/passwd

root:x:0:0:root:/root:/bin/bash

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

例6：grep的-E选项（同egrep）的使用

[root@centos6 long]# cat 3.txt

goodmorning

goooood

good bay

langlanglang

 

[root@centos6 long]# grep -E "(lang)+" 3.txt

langlanglang

 

[root@centos6 long]# grep -E "goo+d" 3.txt

goodmorning

goooood

good bay

 

[root@centos6 long]# grep -E ba? 3.txt

good bay

 

[root@centos6 long]# grep -E "good morning|bay" 3.txt

goodmorning

good bay

3、awk命令详解及实战

（1）作用：强大的文本分析工具，用于处理和提取文件内容。

  语法格式：awk‘条件 1{动作 1} 条件 2{动作 2} ……’文件名

条件：一般使用关系表达式作为条件

x>10  判断 x 变量是否大于 10

x==y  判断变量 x 是否等于变量 y

A ~B  判断字符串 A 中是否包含能匹配 B 表达式的字符串

A ！~ B 判断字符串 A 中是否不包含能匹配 B 表达式的字符串

 

动作：分为格式化输出和流程控制输出

[root@centos6 ~]# awk '{printf $1 "\t" $3"\n"}' /etc/hosts

127.0.0.1  localhost.localdomain

::1 localhost.localdomain

 

[root@centos6 ~]# df -h | awk'{printf $1 "\t" $2 "\t" $3 "\n"}'

Filesystem Size   Used

/dev/sda3  18G 9.9G

tmpfs  495M   0

/dev/sda1  283M   34M

awk的条件

awk 内置变量

awk中正则表达式匹配操作中经常用到的字符:

\ ^ $ . [] | () * // ：通用的regexp元字符

+ : 匹配其前的单个字符一次以上，是awk自有的元字符，不适用于grep或sed等

? : 匹配其前的单个字符1次或0次，是awk自有的元字符，不适用于grep或sed等

 

（2）awk常用选项作用

     -F分隔符             指定分隔符

 -f脚本文件           调用脚本

 -v 变量               定义变量

awk命令非常强大，这里就不一一举例了。

4、sed命令详解及实战

（1）作用：主要是来进行数据选取，替换，删除，新增的命令

     语法格式：sed 选项 文件名

（2）常用选项的作用

    -n            把经过 sed 命令处理的行输出到屏幕。

     -e            允许对输入数据应用多条 sed 命令编辑。

     -f 脚本文件   从 sed 脚本中读入 sed 操作。和 awk 命令的-f 非常类似。

-r             在 sed 中支持扩展正则表达式。

-i            直接修改读取的文件内容。

 

常用动作字符：

        a         追加，在当前行后添加一行或多行。

        c         行替换，用 c 后面的字符串替换原数据行。

        i         插入，在当期行前插入一行或多行。

        d        删除，删除指定的行。

        p         打印，输出指定的行。

        s        字串替换，用一个字符串替换另外一个字符串。格式为“行范围 s/旧字串/新字串/g”（和 vim 中的替换格式类似）

    对 sed 命令我们要知道的是，它所有的修改都不会直接修改文件的内容，而

是在内存中进行处理然后打印到屏幕上，除了使用 -i选项才会保存到文本中。

 

（3）sed实际应用案例

例1：sed的-n选项和动作p的使用，输出文件1.txt的第二行内容。

[root@centos6 long]# sed 2p 1.txt   不加-n选项默认输出文件全部内容

aaaaaaaaaaaa

bbbbbbbbbbbb

bbbbbbbbbbbb

cccccccccccc

dddddddddddd

eeeeeeeeeeee

ffffffffffff

 

[root@centos6 long]# sed -n 2p 1.txt    加了-n只显示文件指定内容

bbbbbbbbbbbb

[root@centos6 long]# sed -n 1~2p 1.txt  隔一行输出文件内容

aaaaaaaaaaaa

cccccccccccc

eeeeeeeeeeee

[root@centos6 long]# sed -n 1~3p 1.txt   隔两行输出文件内容

aaaaaaaaaaaa

dddddddddddd

例2：sed的-i选项和动作d的使用，删除指定的行。

[root@centos6 long]# sed 2d 1.txt  删除第二行

aaaaaaaaaaaa

cccccccccccc

dddddddddddd

eeeeeeeeeeee

ffffffffffff

[root@centos6 long]# cat 1.txt   查看第二行还在

aaaaaaaaaaaa

bbbbbbbbbbbb

cccccccccccc

dddddddddddd

eeeeeeeeeeee

ffffffffffff

[root@centos6 long]# sed -i 2d 1.txt   加-i选项再删除第二行

[root@centos6 long]# cat 1.txt    查看第二行已经删除了

aaaaaaaaaaaa

cccccccccccc

dddddddddddd

eeeeeeeeeeee

ffffffffffff

提示：sed只要不加-i选项就不会真正的修改文件内容。

例3：sed的动作a和动作i的使用，指定在第几行后面或前面追加内容。

[root@centos6 long]# sed "3a 333333333333333333" 1.txt

aaaaaaaaaaaa

cccccccccccc

dddddddddddd

333333333333333333

eeeeeeeeeeee

ffffffffffff

[root@centos6 long]# sed "3i 333333333333333333" 1.txt

aaaaaaaaaaaa

cccccccccccc

333333333333333333

dddddddddddd

eeeeeeeeeeee

ffffffffffff

例4：sed的动作c的使用，指定替换第几行内容

[root@centos6 long]# sed "2c 11111111111" 1.txt

aaaaaaaaaaaa

11111111111

dddddddddddd

eeeeeeeeeeee

ffffffffffff

例5：sed的字符替换使用，和vi中的替换差不多。

[root@centos6 long]# sed 1,3s/^/#/g 1.txt

#aaaaaaaaaaaa

#cccccccccccc

#dddddddddddd

eeeeeeeeeeee

ffffffffffff

例6：使用sed的-e选项进行多条sed操作，1和2行前面加@，删除第5行，替换第3行。

[root@centos6 long]# sed -e "1,2s/^/@/g;5d;3c3333333333" 1.txt

@aaaaaaaaaaaa

@cccccccccccc

3333333333

eeeeeeeeeeee