该系列是基于牛客Shell题库，针对具体题目进行查漏补缺，学习相应的命令。

刷题链接：牛客题霸-Shell篇。

该系列文章都放到专栏下，专栏链接为：《专栏：Linux》。欢迎关注专栏~

本文知识预告：

首先学习用于统计文件的字节数、单词数、行数等信息的wc命令
然后学习被誉为Linux系统中的文本三剑客的三个命令：awk、grep和sed命令，这三个命令是非常热门的命令，后续很多题目都会用到这三个命令；
最后给出五种方案解决统计文件行数的问题。

题目：SHELL1 统计文件的行数

编写一个shell脚本以输出一个文本文件nowcoder.txt中的行数
示例：假设 nowcoder.txt 内容如下：

#include <iostream>
using namespace std;
int main()
{int a = 10;int b = 100;cout << "a + b:" << a + b << endl;return 0;
}

你的脚本应当输出：

相关命令学习

`wc`：统计文件的字节数、单词数、行数

wc命令来自于英文词组“Word count”的缩写，其功能是用于统计文件的字节数、单词数、行数等信息，并将统计结果输出到终端界面。利用wc命令可以很快的计算出准确的单词数及行数，评估出文本的内容长度。
语法格式：wc [参数] 文件
常用参数：

参数	功能
`-w`	统计单词数
`-c`	统计字节数
`-l`	统计行数
`-m`	统计字符数
`-L`	显示最长行的长度
`--help`	显示帮助信息
`--version`	显示版本信息

统计指定文件的单词数量：

lucky@DESKTOP-VQ8KID4:~/shell$ wc -w nowcoder.txt
30 nowcoder.txt

统计指定文件的字节数量：

lucky@DESKTOP-VQ8KID4:~/shell$ wc -c nowcoder.txt
142 nowcoder.txt

统计指定文件的字符数量：

lucky@DESKTOP-VQ8KID4:~/shell$ wc -m nowcoder.txt
142 nowcoder.txt

统计指定文件的总行数：

lucky@DESKTOP-VQ8KID4:~/shell$ wc -l nowcoder.txt
9 nowcoder.txt

`awk`：文本和数据进行处理的编程语言

awk命令来自于三位创始人”Alfred Aho，Peter Weinberger, Brian Kernighan “的姓氏缩写，其功能是用于对文本和数据进行处理的编程语言。使用awk命令可以让用户自定义函数或正则表达式对文本内容进行高效管理，与sed、grep并称为Linux系统中的文本三剑客。

语法格式：awk 参数文件

常用参数：

参数	功能
`-F`	指定输入时用到的字段分隔符
`-v`	自定义变量
`-f`	从脚本中读取`awk`命令
`-m`	对`val`值设置内在限制

常用的awk内置变量：

awk语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。

变量名称	说明
`FILENAME`	当前输入文档的文件名
`FNR`	当前输入文档的当前行号，尤其当多个输入文档时有用
`FS`	设置字段分隔符，默认为空格或制表符
`NF`	当前记录（行）的字段（列）个数
`NR`	输入数据流的当前记录数（行号）
`OFS`	输出字段分隔符，默认为空格
`ORS`	输出记录分隔符，默认为换行符
`RS`	输入记录分隔符，默认为换行符

awk是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段（列），awk每次从文件中读取一条记录。

例子：

仅显示指定文件中第1、2列的内容（默认以空格为间隔符）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{int a
int b
cout <<
return 0;
}

以冒号为间隔符，仅显示指定文件中第1列的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x

/etc/passwd文件中的内容由:分隔开。

以冒号为间隔符，显示系统中所有UID号码大于500的用户信息（第3列）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash

仅显示指定文件中含有指定关键词main的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()

以冒号为间隔符，仅显示指定文件中最后一个字段的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash

输出行号，NR将所有文件的数据视为一个数据流，而FNR则是将多个文件的数据视为独立的若干个数据流，遇到新文件时行号从1开始重新递增。

lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2

`grep`：强大的文本搜索工具

grep来自于英文词组“global search regular expression and print out the line”的缩写，意思是用于全面搜索的正则表达式，并将结果输出。人们通常会将grep命令与正则表达式搭配使用，参数作为搜索过程中的补充或对输出结果的筛选，命令模式十分灵活。

与之容易混淆的是egrep命令和fgrep命令。如果把grep命令当作是标准搜索命令，那么egrep则是扩展搜索命令，等价于“grep -E”命令，支持扩展的正则表达式。而fgrep则是快速搜索命令，等价于“grep -F”命令，不支持正则表达式，直接按照字符串内容进行匹配。

语法格式： grep [参数] 文件

常用参数：

参数	功能
`-i`	忽略大小写
`-c`	只输出匹配行的数量
`-l`	只列出符合匹配的文件名，不列出具体的匹配行
`-n`	列出所有的匹配行，显示行号
`-h`	查询多文件时不显示文件名
`-s`	不显示不存在、没有匹配文本的错误信息
`-v`	显示不包含匹配文本的所有行
`-w`	匹配整词
`-x`	匹配整行
`-r`	递归搜索
`-q`	禁止输出任何结果，已退出状态表示搜索是否成功
`-b`	打印匹配行距文件头部的偏移量，以字节为单位
`-o`	与`-b`结合使用，打印匹配的词据文件头部的偏移量，以字节为单位
`-F`	匹配固定字符串的内容
`-E`	支持扩展的正则表达式

搜索某个文件中，包含某个关键词的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash

搜索某个文件中，以某个关键词开头的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep ^root /etc/passwd
root:x:0:0:root:/root:/bin/bash

搜索多个文件中，包含某个关键词的内容：

root@DESKTOP-VQ8KID4:~# grep lucky /etc/passwd /etc/shadow
/etc/passwd:lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
/etc/shadow:lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::

搜索多个文件中，包含某个关键词的内容，不显示文件名称：

root@DESKTOP-VQ8KID4:~# grep -h lucky /etc/passwd /etc/shadow
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::

输出在某个文件中，包含某个关键词行的数量：

root@DESKTOP-VQ8KID4:~# grep -c root /etc/passwd /etc/shadow
/etc/passwd:1
/etc/shadow:1

搜索某个文件中，包含某个关键词位置的行号及内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -n int nowcoder.txt
3:int main()
5:    int a = 10;
6:    int b = 100;

搜索某个文件中，不包含某个关键词的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -v int nowcoder.txt
#include <iostream>
using namespace std;
{cout << "a + b:" << a + b << endl;return 0;
}

搜索当前工作目录中，包含某个关键词内容的文件，未找到则提示：

root@DESKTOP-VQ8KID4:/# grep -l root *
grep: bin: Is a directory
grep: boot: Is a directory
grep: dev: Is a directory
grep: etc: Is a directory
grep: home: Is a directory
init
grep: lib: Is a directory
grep: lib32: Is a directory
...
grep: tmp: Is a directory
grep: usr: Is a directory
grep: var: Is a directory

搜索当前工作目录中，包含某个关键词内容的文件，未找到不提示：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -sl main *
nowcoder.txt

递归搜索，不仅搜索指定目录，还搜索其内子目录内是否有关键词文件：

root@DESKTOP-VQ8KID4:/# grep -srl root /etc
/etc/services
/etc/ltrace.conf
/etc/systemd/logind.conf
/etc/crontab
/etc/newt/palette.ubuntu
/etc/xattr.conf
/etc/apparmor.d/tunables/home
...

搜索某个文件中，精准匹配到某个关键词的内容（搜索词应与整行内容完全一样才会显示，有别于一般搜索）：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -x "return 0;" nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ grep -x "    return 0;" nowcoder.txtreturn 0;

判断某个文件中，是否包含某个关键词，通过返回状态值输出结果（0为包含，1为不包含），方便在Shell脚本中判断和调用：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -q return nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $?  # 包含
0lucky@DESKTOP-VQ8KID4:~/shell$ grep -q returns nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $?  # 不包含
1

搜索某个文件中，空行的数量：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -c ^$ nowcoder.txt
0

`sed`：批量编辑文本文件

sed命令来自于英文词组“stream editor”的缩写，其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed命令最初由贝尔实验室开发，后被众多Linux系统接纳集成，能够通过正则表达式对文件进行批量编辑，让需要重复的工作不再浪费时间。

sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。

sed命令行格式为：

sed [-nefri] ‘command’ 输入文本

常用选项：

-n：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e：直接在指令列模式上进行 sed 的动作编辑；
-f：直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
-r：sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i：直接修改读取的档案内容，而不是由萤幕输出。

常用命令：

a：新增， a 的后面可以接字串，而这些字串会在新的一行出现；
c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行；
d：删除，因为是删除，所以 d 后面通常不接任何字符；
i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作；
s：取代，可以直接进行取代的工作！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g！
g：是行内进行全局替换

常用参数：

参数	功能
`-e`	以指定的脚本来处理输入的文本文件
`-f<script文件>`	以指定的脚本文件来处理输入的文本文件
`-h`	显示帮助
`-n`	仅显示`script`处理后的结果
`-V`	显示版本信息

参考实例

查找指定文件中带有某个关键词的行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '/main/p' nowcoder.txt
int main()

替换指定文件中某个关键词成大写形式：

lucky@DESKTOP-VQ8KID4:~/shell$ sed 's/int/INT/g' nowcoder.txt
#include <iostream>
using namespace std;
INT main()
{INT a = 10;INT b = 100;cout << "a + b:" << a + b << endl;return 0;
}

有点巧，这和前面学的Vim里面的替换基本一样。

读取指定文件，删除所有带有某个关键词的行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed '/int/d' nowcoder.txt
#include <iostream>
using namespace std;
{cout << "a + b:" << a + b << endl;return 0;
}

读取指定文件，在第4行后插入一行新内容：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -e '4a\    cout << "hello world" << end;' nowcoder.
txt
#include <iostream>
using namespace std;
int main()
{cout << "hello world" << end;int a = 10;int b = 100;cout << "a + b:" << a + b << endl;return 0;
}

读取指定文件，在第4行后插入多行新内容：

lucky@DESKTOP-VQ8KID4:~/shell$ cat nowcoder.txt | sed -e '4a\    cout << "hello world"<< endl; \n    cout << "hello aha" << endl;'
#include <iostream>
using namespace std;
int main()
{cout << "hello world" << endl;cout << "hello aha" << endl;int a = 10;int b = 100;cout << "a + b:" << a + b << endl;return 0;
}

读取指定文件，删除第2-5行的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ cat -n nowcoder.txt | sed '2,5d'1  #include <iostream>6      int b = 100;7      cout << "a + b:" << a + b << endl;8      return 0;9  }

读取指定文件，替换第2-5行的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ sed '2,5c cout << "gaga" << endl;' nowcoder.txt
#include <iostream>
cout << "gaga" << endl;int b = 100;cout << "a + b:" << a + b << endl;return 0;
}

指定读取某个文件的第3-7行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '3,7p' nowcoder.txt
int main()
{int a = 10;int b = 100;cout << "a + b:" << a + b << endl;

题目解决方法

方法一：`wc -l`

wc -l 是用来查看文件的newline的数量的。在Linux系统中，newline字符就是 \n 字符。

lucky@DESKTOP-VQ8KID4:~/shell$ wc -l nowcoder.txt
9 nowcoder.txt

输出中包含了文件名，因此只需要对这个结果再做一下处理即可：

lucky@DESKTOP-VQ8KID4:~/shell$ wc -l nowcoder.txt | awk '{print $1}'
9

awk显示第一列的内容。

当然，如下代码也可以：

lucky@DESKTOP-VQ8KID4:~/shell$ cat nowcoder.txt | wc -l
9

方法二：`awk`打印行号

由于awk 可以打印所有行的行号

lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print NR}' nowcoder.txt
1
2
3
4
5
6
7
8
9

该输出的最后一行就是文件的行数，结合 tail命令就可以获取到文件的行数。

lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print NR}' nowcoder.txt | tail -n1
9

方法三：`awk`只打印最后一行

awk本身就可以只打印最后一行，因此一个awk脚本也可以搞定

lucky@DESKTOP-VQ8KID4:~/shell$ awk 'END{print NR}' nowcoder.txt
9

方法四：`grep`统计行数

使用 grep搜索""，然后利用 grep自带的功能统计行

lucky@DESKTOP-VQ8KID4:~/shell$ grep -c "" nowcoder.txt
9

或者

lucky@DESKTOP-VQ8KID4:~/shell$ grep -n "" nowcoder.txt | awk -F ":" '{print $1}' | tail -n 1
9

方法五：`sed`统计行数

sed 统计行数

lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '$=' nowcoder.txt
9

【Shell牛客刷题系列】SHELL1 统计文件的行数：学习wc命令和文本三剑客awk、grep、sed命令相关推荐

【Shell牛客刷题系列】SHELL5 打印空行的行号：一起学习grep命令搭配正则表达式的使用
该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令. 刷题链接:牛客题霸-Shell篇. 该系列文章都放到专栏下,专栏链接为:<专栏:Linux>.欢迎关注专栏~ 本 ...
【Shell牛客刷题系列】SHELL4 输出第5行的内容：回顾head、tail命令和sed、awk命令的使用
该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令. 刷题链接:牛客题霸-Shell篇. 该系列文章都放到专栏下,专栏链接为:<专栏:Linux>.欢迎关注专栏~ 本 ...
【Shell牛客刷题系列】SHELL21 格式化输出：来看个printf命令的小彩蛋~
该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令. 刷题链接:牛客题霸-Shell篇. 该系列文章都放到专栏下,专栏链接为:<专栏:Shell>.欢迎关注专栏~ 本 ...
【C/C++牛客每日必刷】--- 牛客刷题系列
个人名片:
【牛客刷题专栏】0x27:JZ29 顺时针打印矩阵(C语言编程题)
前言个人推荐在牛客网刷题(点击可以跳转),它登陆后会保存刷题记录进度,重新登录时写过的题目代码不会丢失. 个人刷题练习系列专栏:个人CSDN牛客刷题专栏. 题目来自:牛客/题库 / 在线编程 / 剑 ...
牛客刷题-Java面试题库【动态更新添加题目】（2023.06.19更新）
讲在前面 ✨ 牛客刷题日记–理解为重中之重刷题一方面是持续的了解到自己哪方面比较欠缺,另一方面也是从各大厂的面试题可以看出当前所需的技术栈的偏重点,持续的巩固基础和查漏补缺,一如代码深似海–学无止境 ...
牛客刷题日记（2021-12-8）
牛客刷题日记(2021-12-8) 题目: 以下哪个接口的定义是正确的?( )interface B { void print() { } ;}interface B { static void pr ...
牛客刷题日记（2021-11-24）
牛客刷题日记(2021-11-24) 题目: 下面程序的输出是:() String x="fmn"; x.toUpperCase(); String y=x.replace('f' ...
【字节面试题】牛客刷题偶遇字节后端笔试面经撸它
想要看更加舒服的排版.更加准时的推送关注公众号"不太灵光的程序员" 每日八点有干货推送,微信随时解答你的疑问牛客刷题偶遇字节后端笔试0715 撸它一共两道编程题. 1. 给 ...

【Shell牛客刷题系列】SHELL1 统计文件的行数：学习wc命令和文本三剑客awk、grep、sed命令

题目：SHELL1 统计文件的行数

相关命令学习

`wc`：统计文件的字节数、单词数、行数

`awk`：文本和数据进行处理的编程语言

`grep`：强大的文本搜索工具

`sed`：批量编辑文本文件

题目解决方法

方法一：`wc -l`

方法二：`awk`打印行号

方法三：`awk`只打印最后一行

方法四：`grep`统计行数

方法五：`sed`统计行数

【Shell牛客刷题系列】SHELL1 统计文件的行数：学习wc命令和文本三剑客awk、grep、sed命令相关推荐

最新文章

热门文章

【Shell牛客刷题系列】SHELL1 统计文件的行数：学习wc命令和文本三剑客awk、grep、sed命令

题目：SHELL1 统计文件的行数

相关命令学习

wc：统计文件的字节数、单词数、行数

awk：文本和数据进行处理的编程语言

grep：强大的文本搜索工具

sed：批量编辑文本文件

题目解决方法

方法一：wc -l

方法二：awk打印行号

方法三：awk只打印最后一行

方法四：grep统计行数

方法五：sed统计行数

【Shell牛客刷题系列】SHELL1 统计文件的行数：学习wc命令和文本三剑客awk、grep、sed命令相关推荐

最新文章

热门文章

`wc`：统计文件的字节数、单词数、行数

`awk`：文本和数据进行处理的编程语言

`grep`：强大的文本搜索工具

`sed`：批量编辑文本文件

方法一：`wc -l`

方法二：`awk`打印行号

方法三：`awk`只打印最后一行

方法四：`grep`统计行数

方法五：`sed`统计行数