linux字符串排序文件,Linux awk+uniq+sort 统计文件中某字符串出现次数并排序
https://blog.csdn.net/qq_28766327/article/details/78069989
在服务器开发中,我们经常会写入大量的日志文件。有时候我们需要对这些日志文件进行统计。Linux中我们可以利用以下命令简单高效的实现这一功能。
需要用到的命令简介
cat命令
cat命令主要有三大功能
1.一次显示整个文件 cat filename
2.创建一个文件 cat > fileName
3.将几个文件合并为一个文件 cat file1 file2 > file
参数:
-n 或 –number 由 1 开始对所有输出的行数编号
-b 或 –number-nonblank 和 -n 相似,只不过对于空白行不编号
-s 或 –squeeze-blank 当遇到有连续两行以上的空白行,就代换为一行的空白行
-v 或 –show-nonprinting
| 管道
管道的作用是将左边命令的输出作为右边命令的输入
awk 命令
awk 是行处理器,优点是处理庞大文件时不会出现内存溢出或处理缓慢的问题,通常用来格式化文本信息。awk依次对每一行进行处理,然后输出。
命令形式 awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
[-F|-f|-v] 大参数,-F指定分隔符,-f调用脚本,-v定义变量 var=value
’ ’ 引用代码块
BEGIN 初始化代码块,在对每一行进行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符
// 匹配代码块,可以使字符串或正则表达式
{} 命令代码块,包含一条或多条命令
;多条命令使用分号分隔
END 结尾代码块,对每一行进行处理后再执行的代码块,主要进行最终计算或输出
由于篇幅限制,可自行查找更详细的信息。这里awk命令的作用是从文件中每一行取出我们需要的字符串
sort 命令
sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。
-b:忽略每行前面开始出的空格字符;
-c:检查文件是否已经按照顺序排序;
-d:排序时,处理英文字母、数字及空格字符外,忽略其他的字符;
-f:排序时,将小写字母视为大写字母;
-i:排序时,除了040至176之间的ASCII字符外,忽略其他的字符;
-m:将几个排序号的文件进行合并;
-M:将前面3个字母依照月份的缩写进行排序;
-n:依照数值的大小排序;
-o:将排序后的结果存入制定的文件;
-r:以相反的顺序来排序;
-t:指定排序时所用的栏位分隔字符;
uniq 命令
uniq 命令用于报告或忽略文件中的重复行,一般与sort命令结合使用
-c或——count:在每列旁边显示该行重复出现的次数;
-d或–repeated:仅显示重复出现的行列;
-f或–skip-fields=:忽略比较指定的栏位;
-s或–skip-chars=:忽略比较指定的字符;
-u或——unique:仅显示出一次的行列;
-w或–check-chars=:指定要比较的字符。
> 命令
> 是定向输出到文件,如果文件不存在,就创建文件。如果文件存在,就将其清空
另外 >>是将输出内容追加到目标文件中。其他同>
现在我们开始
1 读入文件
cat test.log.2017-09-20
1
执行结果
2 从每一行取出我们需要的字符串
cat check_info.log.2017-09-20 | awk -F '(txt=|&client)' '{print $2}'
1
awk 命令中 -F 指定每一行的分隔符 在这里 ‘(txt=|&client)’是分隔符,它是一个正则表达式。意义是,用’txt=’或’&client’ 作为分隔符
举例来说下面这行
sdate=2017-09-20 23:59:32&txt=com.ford.fordmobile&client_id=x
1
会被分割成
sdate=2017-09-20 23:59:32&
com.ford.fordmobile
_id=x
1
2
3
三部分
其中第二部分”com.ford.fordmobile”是我所需要的字段
而’{print $2}’的意思是将每行得到的第二个值打印出来,$0代表获取的所有值
执行效果如下
3 对行进行排序
先排序是因为去重与统计的 ‘unip’命令只能处理相邻行
cat check_info.log.2017-09-20 | awk -F '(txt=|&client)' '{print $2}'|sort
1
执行结果
可以看到相同行已经被排在了一起
4 统计数量与去重
cat check_info.log.2017-09-20 | awk -F '(txt=|&client)' '{print $2}'| sort | uniq -c
1
uniq -c 中的-c 代表在每列旁边显示该行重复出现的次数
执行结果
5 按重复次数排序
cat check_info.log.2017-09-20 | awk -F '(txt=|&client)' '{print $2}'| sort | uniq -c | sort -nr
1
sort 的 -n:依照数值的大小排序;-r 按照相反顺序排列
执行结果
6 将结果输出到文件中
cat check_info.log.2017-09-20 | awk -F '(txt=|&client)' '{print $2}'| sort | uniq -c | sort -nr > testfile
1
可以看到我们当前目录已有testfile 目录
用vim 打开可以看到
linux命令统计文件中某个字符串出现的次数
1.使用grep linux grep命令在我的随笔linux分类里有过简单的介绍,这里就只简单的介绍下使用grep命令统计某个文件这某个字符串出现的次数,首先介绍grep命令的几个参数,详细参数请自 ...
使用 awk 过滤文本或文件中的字符串
当我们在 Unix/Linux 下使用特定的命令从字符串或文件中读取或编辑文本时,我们经常需要过滤输出以得到感兴趣的部分.这时正则表达式就派上用场了. 什么是正则表达式? 正则表达式可以定义为代表若干 ...
awk统计文件中某关键词出现次数
1.统计文件test.txt中第2列不同值出现的次数 awk '{sum[$2]+=1}END{for(i in sum)print i"\t"sum[i]}' test.txt ...
Java 中统计文件中出现单词的次数练习
统计英文article.txt文件中出现hello这个单词的次数 这个是article.txt文件内容 { hello The Royal Navy is trying hello to play h ...
Linux统计文件中单词出现的次数
grep -E "\b[[:alpha:]]+\b" /etc/fstab -o | sort | uniq -c 或 awk '{for(i=1;i
linux 下批量在多文件中替换字符串
sed -i "s/原字符串/新字符串/g" `grep 原字符串 -rl 所在目录` 注意:`` 符号在shell里面正式的名称叫做backquote , 一般叫做命令替换其作用 ...
sort +awk+uniq 统计文件中出现次数最多的前10个单词
实例cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100 统计文件中出现次数最多的前10个单 ...
Linux命令行批量替换多文件中的字符串【转】
Linux命令行批量替换多文件中的字符串[转自百度文库] 一种是Mahuinan法,一种是Sumly法,一种是30T法分别如下: 一.Mahuinan法: 用sed命令可以批量替换多个文件中的字符串. ...
学c语言做练习之​统计文件中字符的个数
统计文件中字符的个数(采用命令行参数) #include #include int main(int argc, char *argv[] ...
随机推荐
Flexigrid从对象中加载数据
(有问题,在找…………) Flexigrid是用来动态加载数据的一种比较好(老)的Jquery表插件,然后有些时候,我们需要其从本地或者jQuery对象中加载数据,比如有这么个需求,页面显示中有两个表 ...
js 客户端如何判断浏览器是否暗转Flash
linux字符串排序文件,Linux awk+uniq+sort 统计文件中某字符串出现次数并排序相关推荐
- Linux awk+uniq+sort 统计文件中某字符串出现次数并排序
在服务器开发中,我们经常会写入大量的日志文件.有时候我们需要对这些日志文件进行统计.Linux中我们可以利用以下命令简单高效的实现这一功能. 需要用到的命令简介 cat命令 cat命令主要有三大功能 ...
- php 计算字符串相邻最大重复数_php如何解决字符串中重复字符的次数并且排序输出的方法...
在php开发中有这样的需求.在指定的字符串中提取出每个单位字符出现的次数,并且倒序排序,截取前4个.留作使用.刚拿到这个需求的时候,我想了想,难道要把每个字符全部切割出来之后,一一的比对计算出相应的出 ...
- 借助vim统计文本中的字符串数目,行首字符串查询
借助vim统计文本中的字符串数目 普通命令: :%s/pattern//gn pattern为要查询的字符串 技巧:当需要统计的字符串处于行首,且是其他字符串的子集时,可以考虑每行行首加一个特定字符, ...
- 日志分析命令 cat+awk+uniq+sort 详解
在服务器开发中,我们经常会写入大量的日志文件.有时候我们需要对这些日志文件进行统计.Linux中我们可以利用以下命令简单高效的实现这一功能. 需要用到的命令简介 cat命令 cat命令主要有三大功能 ...
- c语言字符串前加l,【C】 30_C语言中的字符串
字符串的概念 字符串是有序字符的集合 字符串是程序中的基本元素之一 C 语言中没有字符串的概念 C 语言中通过特殊的字符数组模拟字符串 C 语言中的字符串是以 '\0' 结尾的字符数组 字符串与字符数 ...
- linux awk统计文本单词,shell统计文本中单词的出现次数
Ubuntu14.04 给定一个文本,统计其中单词出现的次数 # solution 1 grep与awk配合使用,写成一个sh脚本 fre.sh sh fre.sh wordfretest.txt # ...
- linux显示当前电源功耗命令,linux命令大全之wc命令详解(统计文件字节数)
Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数.字数.行数,并将统计结果显示输出. 1.命令格式: wc [选项]文件... 2.命令功能: 统计指定文件中的字节数. ...
- linux命令统计word字数,linux命令大全之wc命令详解(统计文件字节数)
Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数.字数.行数,并将统计结果显示输出. 1.命令格式: wc [选项]文件... 2.命令功能: 统计指定文件中的字节数. ...
- python统计英文文章中单词出现的次数并排序_Python读取英文文件并记录每个单词出现次数后降序输出示例...
Python读取英文文件并记录每个单词出现次数后降序输出示例 发布时间:2020-09-19 23:07:12 来源:脚本之家 阅读:126 作者:菜鸟虫师 本文实例讲述了Python读取英文文件并记 ...
最新文章
- Cannot input a tensor of dimension other than 0 as a scalar argument
- 无人值守网络安装Linux系统
- Inbound process in CRM
- ajax获取php的数组,使用AJAX请求获取数组并将其传递到php数组中 - javascript
- [CareerCup] 4.7 Lowest Common Ancestor of a Binary Search Tree 二叉树的最小共同父节点
- 李德玉(1965-),男,博士,山西大学计算机与信息技术学院教授
- java案例代码3-机票打折的案例
- 【软考高级:信息系统项目管理师】【信息项目十大管理】第二天:项目立项管理
- Python模拟锟斤拷等各类乱码
- 前端、后端、学习网址
- HBuilderX安装使用教程
- BSN应用案例精选【1】:全链通“铭镜”农产品溯源平台
- Python网络爬虫简单教程——第一部
- Access to XMLHttpRequest at 'XXX' from origin 'XX' has been blocked by CORS policy: No 'Access-Contr
- 十分钟一起学会Inception网络
- 配置永久systemd日志
- 数字 IC 技能拓展(14)基于 C 程序的 FFT 设计
- Floyd算法求最小环
- 双底形态突破与业绩报表叠加分析!股票量化分析工具QTYX-V2.4.9
- recipe commences before first target. Stop 错误分析