Linux管道相关命令

文章目录

（1）cut (提取)
（2）sort (排序)
（3）wc命令
（4）uniq (唯一)
（5）tee (管道输出)
（6）tr (替换)
（7）split (切割)
（8）awk
（9）sed

（1）cut (提取)

作用:cut 根据条件从命令结果中提取对应内容

vim 1.txt  内容:
111:aaa:bbb:ccc
222:ddd:eee:fff
333:ggg:hhh
444:iii

小结：通过 cut 动作目标文件 可以根据条件提取对应内容

（2）sort (排序)

作用:sort可针对文本文件的内容，以行为单位来排序。
第一步: 对字符串排序

cat 表示查看当前内容
[root@node01 tmp]# cat 2.txt
banana
apple
pear
orange
pear通过sort排序后
[root@node01 tmp]# sort 2.txt
apple
banana
orange
pear
pear

第二步: 去重排序

作用:在输出行中去除重复行。

[root@node01 tmp]# sort -u 2.txt
apple
banana
orange
pear

第三步: 对数值排序

默认按照字符串排序

[root@node01 tmp]# sort 2.txt
1
10
11
2
3
4
5
6
7
8
9

升序

[root@node01 tmp]# sort -n 2.txt
1
2
3
4
5
6
7
8
9
10
11

倒序

[root@node01 tmp]# sort -n -r 2.txt
11
10
9
8
7
6
5
4
3
2
1

倒序-合并式

[root@node01 tmp]# sort -nr 2.txt
11
10
9
8
7
6
5
4
3
2
1

第四步: 对成绩排序

vim score.txt 准备内容

注意看第二列
lisi01,68,99,26
lisi02,98,66,96
lisi03,38,33,86
lisi04,78,44,36
lisi05,88,22,66
lisi06,98,44,46倒序显示 所有内容
[root@node01 tmp]#  sort -t ',' -k2nr score.txt结果：
lisi02,98,66,96
lisi06,98,44,46
lisi05,88,22,66
lisi04,78,44,36
lisi01,68,99,26
lisi03,38,33,86

（3）wc命令

第一步: 显示指定文件 字节数, 单词数, 行数 信息.

准备内容：

cat 查看文本
[root@hadoop01 export]# cat 4.txt
111
222 bbb
333 aaa bbb
444 aaa bbb ccc
555 aaa bbb ccc ddd
666 aaa bbb ccc ddd eee结果:行数 单词数 字节数 文件
[root@hadoop01 export]# wc 4.txt 6  21  85  4.txt

第二步: 只显示文件的行数

只显示 文件 的行数
[root@node01 opt]# wc -l 4.txt
6  4.txt

第三步: 统计多个文件的行数单词数字节数

[root@hadoop01 export]# wc 1.txt 2.txt 3.txt 4   4  52 1.txt11  11  24 2.txt6  21  85 3.txt21  36 161 总用量[root@hadoop01 export]# wc *.txt4   4  52 1.txt11  11  24 2.txt6  21  85 3.txt6   6  95 score.txt27  42 256 总用量

第四步: 查看 /etc 目录下有多少个子内容

[root@hadoop01 export]# ls /etc | wc -w
240

小结
通过 wc 文件 就可以统计文件的 字节数、单词数、行数

（4）uniq (唯一)

作用:uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。
第一步：实现去重效果

# 排序
[root@hadoop01 export]# cat 5.txt | sort
李四    100
李四    100
麻七    70
麻七    70
王五    90
王五    90
张三    98
赵六    95
赵六    95# 去重
[root@hadoop01 export]# cat 5.txt | sort | uniq
李四    100
麻七    70
王五    90
张三    98
赵六    95

第二步：不但去重，还要统计出现的次数

要求:去重和统计出现的次数
[root@hadoop01 export]# cat 5.txt | sort | uniq -c2 李四    1002 麻七    702 王五    901 张三    982 赵六    95

小结
通过 uniq [选项] 文件 就可以完成去重行和统计次数

（5）tee (管道输出)

将去重统计的结果 放到 a.txt、b.txt、c.txt 文件中
[root@hadoop01 export]# cat 5.txt | sort | uniq -c | tee a.txt b.txt c.txt

小结
通过 tee 可以将命令结果 通过管道 输出到 多个文件中

（6）tr (替换)

第一步: 实现替换效果

# 将 小写i 替换成  大写 I
[root@node01 opt]# echo "itheima" | tr 'i' 'I'
ItheIma# 把itheima的转换为大写
[root@node01 opt]# echo "itheima" | tr '[a-z]' '[A-Z]'
ITHEIMA# 把 HELLO 转成 小写
[root@node01 opt]# echo "HELLO" |tr '[A-Z]' '[a-z]'
hello

第二步: 实现删除效果

需求: 删除abc1d4e5f中的数字
[root@node01 opt]# echo 'abc1d4e5f' | tr -d '[0-9]'
abcdef

第三步: 单词计数

准备内容
[root@hadoop01 export]# cat words.txt
hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop1. 将,换成 换行 2. 排序 3. 去重 4. 计数
# 统计每个单词出现的次数
[root@hadoop01 export]# cat words.txt | tr ',' '\n' | sort | uniq -c1 flume2 hadoop2 hello1 hive1 jerry1 kitty1 sqoop1 tom2 world

（7）split (切割)

第一步: 按字节将大文件切分成若干小文件

[root@node01 opt]# split -b 10k 1.txt

第二步: 按行数将大文件切分成若干小文件

[root@node01 opt]# split -l 5 2.txt

小结
通过 split 选项文件名 命令将大文件 切分成 若干小文件

（8）awk

作用：通过 awk 实现 模糊查询, 按需提取字段, 还可以进行判断和简单的运算等
第一步: 搜索 zhangsan 和 lisi 的成绩

第二步: 指定分割符, 根据下标显示内容

第三步: 指定分割符, 根据下标显示内容

第四步: 调用 awk 提供的函数

第五步: if语句查询及格的学生信息

第六步: 段内容求学科平均分

（9）sed

作用:通过 sed 可以实现过滤和替换的功能
第一步: 实现查询功能

准备数据：vi 1.txt
aaa java root
bbb hello
ccc rt
ddd root nologin
eee rtt
fff ROOT nologin
ggg rttt练习1  列出 1.txt的 1~5行 的数据
[root@node01 opt]# sed -n -e '1,5p' 1.txt
aaa java root
bbb hello
ccc rt
ddd root nologin
eee rtt练习2 列出1.txt的所有数据
[root@node01 opt]# sed -n -e '1,$p' 1.txt
aaa java root
bbb hello
ccc rt
ddd root nologin
eee rtt
fff ROOT nologin
ggg rttt练习3 列出1.txt的所有数据 且 显示行号
[root@node01 opt]# sed -n -e '1,$=' -e '1,$p' 1.txt
1  aaa java root
2  bbb hello
3  ccc rt
4  ddd root nologin
5  eee rtt
6  fff ROOT nologin
7  ggg rttt其他方法
简化版
1：cat -n 1.txt
2：cat -b 1.txt
3：nl 1.txt练习4: 查找1.txt中包含root行
[root@node01 opt]# sed -n -e '/root/p' 1.txt
aaa java root
ddd root nologin
练习5 列出1.txt中包含root的内容，root不区分大小写,并显示行号
[root@node01 opt]# nl 1.txt | sed -n -e '/root/Ip'1  aaa java root4  ddd root nologin6  fff ROOT nologin其他方法：1. nl 1.txt | grep -i root2. cat -n 1.txt | grep -i root
练习6 查找出1.txt中 字母`r`后面是多个t的行，并显示行号
[root@node01 opt]# nl 1.txt | sed -nr -e '/r+t/p'3  ccc rt5  eee rtt7  ggg rttt或者 sed -nr -e '/r+t/p' -e '/r+t/=' 1.txt

第二步: 实现删除功能

练习1 删除01.txt中前3行数据，并显示行号
[root@node01 opt]# nl 1.txt | sed -e '1,3d'4  ddd root nologin5  eee rtt6  fff ROOT nologin7  ggg rttt练习2 保留1.txt中前4行数据，并显示行号
[root@node01 opt]# nl 1.txt | sed -e '5,$d'1  aaa java root2  bbb hello3  ccc rt4  ddd root nologin或者 nl 1.txt | sed -n -e '1,4p'

第三步: 实现修改功能

练习1: 在1.txt的第二行后添加aaaaa,并显示行号
[root@node01 opt]# nl 1.txt | sed -e '2a aaaaa'1  aaa java root2  bbb hello
aaaaa3  ccc rt4  ddd root nologin5  eee rtt6  fff ROOT nologin7  ggg rttt练习2  在1.txt的第1行前添加bbbbb，并显示行号
[root@node01 opt]# nl 1.txt | sed -e '1i bbbbb'
bbbbb1  aaa java root2  bbb hello3  ccc rt4  ddd root nologin5  eee rtt6  fff ROOT nologin7  ggg rttt

第四步: 实现替换功能

练习1  把1.txt中的nologin替换成为huawei,并显示行号
[root@node01 opt]# nl 1.txt | sed -e 's/nologin/huawei/'1  aaa java root2  bbb hello3  ccc rt4  ddd root huawei5  eee rtt6  fff ROOT huawei7  ggg rttt

练习2  把1.txt中的1,2行替换为aaa,并显示行号
[root@node01 opt]# nl 1.txt  passwd | sed -e '1,2c aaa'
nl: passwdaaa3  ccc rt4  ddd root nologin5  eee rtt6  fff ROOT nologin7  ggg rttt

第五步: 对原文件进行操作

练习1  在1.txt中把nologin替换为 huawei
[root@node01 opt]# sed -i -e 's/nologin/huawei/' 1.txt练习2  在1.txt文件中第2、3行替换为aaaaaa
[root@node01 opt]# sed -i -e '2,3c aaa' 1.txt练习3 删除1.txt中前2行数据，并且删除原文件中的数据
[root@node01 opt]# sed -i -e '1,2d' 1.txt

第六步: 综合练习

练习1 获取ip地址
[root@node01 opt]# ifconfig eth0 | grep "inet addr" | sed -e 's/^.*inet addr://' | sed -e 's/Bcast:.*$//'
192.168.100.100  练习2 从1.txt中提出数据，匹配出包含root的内容，再把nologin替换为itheima
[root@node01 opt]# nl 1.txt | grep 'root' | sed -e 's/nologin/itheima/'1  ddd root huawei或者1. nl 01.txt | sed -n -e '/root/p' | sed -e 's/nologin/itheima/'2. nl 01.txt | sed -n -e '/root/{s/nologin/itheima/p}' #只显示替换内容的行练习3  从1.txt中提出数据，删除前2行，并把nologin替换为itheima,并显示行号
[root@node01 opt]# nl 1.txt | sed -e '1,2d' | sed -e 's/nologin/itheima/'3  fff ROOT huawei4  ggg rttt