Linux学习（三）：管道相关命令

学习目标

熟练掌握以下命令
1.cut
2.sort
3.wc
4.uniq
5.tee
6.tr
7.split
8.awk
9.sed / grep

熟练掌握以下命令

1.cut

准备工作

成绩表信息(使用逗号分割)

 zhangsan 68 99 26lisi 98 66 96wangwu 38 33 86zhaoliu 78 44 36maq 88 22 66zhouba 98 44 46

说明

第一列：姓名
第二列：语文成绩
第三列：数学成绩
第四列：英语成绩

vim 1.txt

111:aaa:bbb:ccc
222:ddd:eee:fff
333:ggg:hhh
444:iii

目标

cut 根据条件 从命令结果中 提取 对应内容

实现
第一步: 截取出1.txt文件中前2行的第5个字符

head -2 1.txt | cut -c 5

第二步: 截取出1.txt文件中前2行以”:”进行分割的第1,2段内容

head -2 1.txt | cut -d ':' -f 1,2head -2 1.txt | cut -d ':' -f 1-2

小结

通过 cut 操作 目标文件 可以根据条件 提取对应内容

2.sort

准备工作

vim score.txt

zhangsan 68 99 26
lisi 98 66 96
wangwu 38 33 86
zhaoliu 78 44 36
maq 88 22 66
zhouba 98 44 46

说明

第一列：姓名
第二列：语文成绩
第三列：数学成绩
第四列：英语成绩

目标

sort可以针对文本文件的内容，以行为单位来排序

路径

第一步：对字符串排序
第二步：去重排序
第三步：对数值排序
第四步：对成绩排序

实现
第一步：对字符串排序

创建文本，添加字符串

[root@Test01 tmp]# vim 2.txt
banana
apple
pear
orange
pear

查看文本

[root@Test01 tmp]# cat 2.txt
banana
apple
pear
orange
pear

排序

[root@Test01 tmp]# sort 2.txt
apple
banana
orange
pear
pear

第二步：去重排序

它的作用很简单，就是在输出行中去除重复行。

[root@Test01 tmp]# sort -u 2.txt
apple
banana
orange
pear

第三步：对数值进行排序

准备数据

[root@Test01 tmp]# vim 3.txt
1
3
5
7
11
2
4
6
10
8
9

查看文本

[root@Test01 tmp]# cat 3.txt
1
3
5
7
11
2
4
6
10
8
9

默认按照字符串排序

[root@Test01 tmp]# sort 3.txt
1
10
11
2
3
4
5
6
7
8
9

升序

[root@Test01 tmp]# sort -n 3.txt
1
2
3
4
5
6
7
8
9
10
11

倒序

[root@Test01 tmp]# sort -n -r 3.txt
11
10
9
8
7
6
5
4
3
2
1

合并式

[root@Test01 tmp]# sort -nr 3.txt
11
10
9
8
7
6
5
4
3
2
1

第四步: 对成绩排序

# 根据第二段成绩 进行倒序显示 所有内容
sort -t ',' -k2nr score.txt

3.wc

准备数据

vim 4.txt
111
222 bbb
333 aaa bbb
444 aaa bbb ccc
555 aaa bbb ccc ddd
666 aaa bbb ccc ddd eee

目标

显示指定 文件 字节数，单词数，行数 等信息

路径

第一步：显示指定 文件 字节数 单词数 行数 信息
第二步：只显示 文件 的行数
第三步：统计多个文件的 行数 单词书 字节数
第四步：查看 /etc 目录下 有多少个 子内容

实现
第一步: 显示指定文件字节数, 单词数, 行数信息.

第二步: 只显示文件的行数

第三步: 统计多个文件的行数单词数字节数

第四步: 查看 /etc 目录下有多少个子内容

小结

通过 wc文件 就可以统计文件的 字节数，单词数，行数

4.uniq

 uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令 结合使用

准备工作
vim 5.txt

张三    98
李四    100
王五    90
赵六    95
麻七    70
李四    100
王五    90
赵六    95
麻七    70

目标

uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令 结合使用

路径

第一步：实现去重效果
第二步：去重且统计出现的次数

实现
第一步：实现去重效果

第二步：不但去重，还要统计出现的次数

小结

通过 uniq [选项] 文件 就可以完成去重行和统计次数

5.tee

目标

通过 tee 可以将命令结果 通过管道 输出到多个文件中

实现

将去重统计的结果放到 a.txt、b.txt、c.txt 文件中
```
  cat 5.txt  |sort |uniq -c | tee a.txt b.txt c.txt
```

小结

通过 tee 可以将命令结果 通过管道 输出到 多个文件 中

6.tr

目标

通过 tr 命令用于替换或者删除文件中的字符

路径

第一步：实现替换效果
第二步：实现删除效果
第三步：单词计数

实现
第一步：实现替换效果

# 将 小写i 替换成  大写 I
# 把itheima的转换为大写
# 把 HELLO 转成 小写-----------------------------------# 将 小写i 替换成  大写 I
echo "itheima" | tr 'i' 'I'# 把itheima的转换为大写
echo "itheima" |tr '[a-z]' '[A-Z]'# 把 HELLO 转成 小写
echo "HELLO" |tr '[A-Z]' '[a-z]'

第二步: 实现删除效果

需求: 删除abc1d4e5f中的数字
```
  echo 'abc1d4e5f' | tr -d '[0-9]'
```

第三步：单词计数

准备数据：words.txt

hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop

1 将逗号换成换行
2 排序
3 去重
4 计数

统计每个单词出现的次数
cat words.txt | tr ',' '\n' | sort | uniq -c

7.split

准备数据

# 查看 /etc目录下 以.conf以结尾的文件的内容
cat -n /etc/*.conf# 将命令结果 追加到 /export/v.txt 文件中
cat -n /etc/*.conf >> /export/v.txt

目标

通过 split 命令将大文件切分成若干小文件

路径

第一步：按照字节将大文件切分成若干小文件
第二步：按照行数将大文件切分成若干小文件

实现

第一步

第二步

小结

通过 split 选项文件名 命令将 大文件切分成若干小文件

8.awk

准备数据

之前创建好的学生成绩表 score.txt

目标

通过 awk 实现模糊查询，按需提取字段，还可以进行判断和简单的运算等

步骤

第一步：模糊查询
第二步：指定分隔符，根据下标显示内容
第三步：指定输出字段的分隔符
第四步：调用 awk 提供的函数
第五步：通过 if 语句判断 $4 是否及格
第六步：段内容求和

实现

第一步：查询 zhangsan 和 lisi 的成绩

第二步: 指定分割符, 根据下标显示内容

第三步: 指定分割符, 根据下标显示内容

第四步: 调用 awk 提供的函数

第五步: if语句查询及格的学生信息

第六步: 段内容求学科平均分

awk -F ',' 'BEGIN{}{total=total+$4}END{print total, NR, (total/NR)}' score.txt

9.sed / grep

准备数据：1.txt

aaa java root
bbb hello
ccc rt
ddd root nologin
eee rtt
fff ROOT nologin
ggg rttt

目标

通过 sed 可以实现过滤和替换功能

路径

第一步：实现查询功能
第二步：实现删除功能
第三步：实现修改功能
第四步：实现替换功能
第五步：对原文件进行操作
第六步：综合练习

实现

第一步

练习1 列出 1.txt的 1~5行的数据
```
  sed -n -e '1,5p' 1.txt
```

练习2 列出1.txt的所有数据
```
  sed -n -e '1,$p' 1.txt
```

练习3 列出1.txt的所有数据且显示行号

  sed -n -e '1,$=' -e '1,$p' 1.txt 简化版cat -n 1.txtcat -b 1.txtnl 1.txt

练习4: 查找1.txt中包含root行
```
  sed -n -e '/root/p' 1.txt
```

练习5 列出1.txt中包含root的内容，root不区分大小写,并显示行号
```
  nl 1.txt | sed -n -e '/root/p'
```

 nl 1.txt | grep -i root

 cat -n 01.txt | grep -i root

练习6 查找出1.txt中字母r后面是多个t的行，并显示行号
```
  nl 1.txt | sed -nr -e '/r+t/p'
```

 sed -nr -e '/r+t/p' -e '/r+t/=' 1.txt

第二步: 实现删除功能

练习1 删除1.txt中前3行数据，并显示行号
```
  nl 1.txt | sed -e '1,3d'
```

练习2 保留1.txt中前4行数据，并显示行号
```
  nl 1.txt | sed -e '5,$d'
```

 nl 1.txt | sed -n -e '1,4p'

第三步: 实现修改功能

练习1: 在1.txt的第二行后添加aaaaa,并显示行号
```
  nl 1.txt | sed -e '2a aaaaa'
```

练习2 在1.txt的第1行前添加bbbbb，并显示行号
```
  nl 1.txt | sed -e '1i bbbbb'
```

第四步: 实现替换功能

练习1 把1.txt中的nologin替换成为huawei,并显示行号
```
  nl 1.txt | sed -e 's/nologin/huawei/'
```

练习2 把1.txt中的1,2行替换为aaa,并显示行号
```
  nl 1.txt | sed -e '1,2c aaa'
```

第五步: 对原文件进行操作

练习1 在1.txt中把nologin替换为 huawei
```
  sed -i -e 's/nologin/huawei/' 01.txt
```

练习2 在1.txt文件中第2、3行替换为aaaaaa
```
  sed -i -e '2,3c aaa' 01.txt
```

注意：在进行操作之前，最好是对数据进行备份，放置操作失误，数据无法恢复！

练习3 删除1.txt中前2行数据，并且删除原文件中的数据
```
  sed -i -e '1,2d' 01.txtnl 1.txt 查看数据
```

第六步: 综合练习

练习1 获取ip地址

  ifconfig eth0 | grep "inet addr" | sed -e 's/^.*inet addr://' | sed -e 's/Bcast:.*$//'

练习2 从1.txt中提出数据，匹配出包含root的内容，再把nologin替换为itheima
```
  nl 01.txt | grep 'root' | sed -e 's/nologin/itheima/'
```

 nl 01.txt | sed -n -e '/root/p' | sed -e 's/nologin/itheima/'

 #只显示替换内容的行nl 01.txt | sed -n -e '/root/{s/nologin/itheima/p}'

练习3 从1.txt中提出数据，删除前2行，并把nologin替换为itheima,并显示行号
```
  nl 01.txt | sed -e '1,2d' | sed -e 's/nologin/itheima/'
```