查找txt中的中文字符_找出nginx请求日志中某个url请求总次数排名前十的ip地址...

答案如下：

# 利用linux自带命令：sort、awk、grep、head、uniq组合得出相应的答案

awk '{print $1}' | grep 'www.xxxx.com'  access.log | sort | uniq -c | sort -nr -k1 | head -n 10

命令说明

awk命令说明
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
语法如下：

awk [选项参数] 'script' var=value file(s)或awk [选项参数] -f scriptfile var=value file(s)

基本用法
test.log

1 hello world!2 php mysql3 java javascript4 golang c

用法一：

awk '{[pattern] action}' {filenames}   # 行匹配语句 awk '' 只能用单引号

示例：

# 每行按照tab或者空格分割，输出文本中的1、2项$ awk '{print $1 $2}' test.log# 输出1 hello2 php3 java4 golang

用法二：

# -F相当于内置变量FS, 指定分割字符awk -F{分隔符}

示例：

# 使用分隔符awk -F: '{print $1 $2}' test.log# 输出1 hello2 php3 java4 golang

还有一些其他用法，比如设置变量，在awk -v后面跟变量名并且赋值，然后输出，比如：

awk -va=1 '{print $1,$1+a}' test .logawk -va=1 -vb=3 '{print $1,$1+a,$b}' test.log

还有awk脚本的方式等等，后面两种不常用，如果想了解可以自行查找资料学习，这里主要说明第一种和第二种用法。

grep命令说明
在linux中grep命令用于查找文件中符合条件的字符串，通常搭配ps -ef | grep 'xxxx' xxx.log等命令配合使用。
语法：

grep [-abcEFGhHilLnqrsvVwxy][-A<显示列数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]

具体参数信息可以通过grep --help命令查看
这里列举几种常用的用法

# 查看符合条件的日志条目grep -n '2019-10-24 00:01:11' *.log# 在当前目录下第一级文件夹中寻找包含指定字符串的文件grep "main" /.in# 利用正则表达式匹配文件内容所在的行grep –e "正则表达式" 文件名# 查找时不区分大小写grep –i "被查找的字符串" 文件名# 从根目录开始查找所有扩展名为 .log 的文本文件，并找出包含 "ERROR" 的行find / -type f -name "*.log" | xargs grep "ERROR"# 从当前目录开始查找所有扩展名为 .in 的文本文件，并找出包含 "thermcontact" 的行find . -name "*.in" | xargs grep "thermcontact"# 还有很多使用方式可以自行查找

uniq命令说明
Linux uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。uniq 可检查文本文件中重复出现的行列。
语法：

uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]# 参数详情查看uniq --help

示例：

# 文件test.txt中第1、4、7、9行为相同行，使用uniq命令可以删除重复行uniq test.txt# 检查文件并删除文件中重复出现的行，并在行首显示该行重复出现的次数uniq -c test.txt# 当重复行不是连续并且不相邻的时候uniq不起作用，这时可以搭配sort命令一起使用sort test.txt | uniq

sort命令说明
Linux sort命令用于将文本文件内容加以排序。sort可针对文本文件的内容，以行为单位来排序。
语法：

sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]# 参数详情查看sort --help

示例

# 使用sort命令以默认的方式对文件的行进行排序sort test.txt

head命令说明
head 命令可用于查看文件的开头部分的内容，有一个常用的参数 -n 用于显示行数，默认为 10，即显示 10 行的内容。
语法

head [参数] [文件]  # 参数详情查看head --help

示例

# 显示日志文件前10行head access.log# 显示日志文件开头前5行head -n 5 access.log# 显示文件前20个字节head -c 20 access.log