awk 统计数据在文件中的出现次数

突然发现awk原来可以统计同一数据在要处理的文件中所出现的次数.原来的时候为了分析数据还自己写程序,哎,无语,当时还以为自己多强,手工分析不过来的东西写程序处理.现在想来实在是年少轻狂.解决问题嘛,不讲究方式,只要快速高效的完成任务就OK了.

好,今天小试牛刀统计了一下passwd文件中shell部分重复的shell名和出现的次数,看命令:

$awk -F: '{a[$7]++}END{for (i in a) print i" "a[i]}' /etc/passwd

/bin/false 13

/bin/sh 18

/bin/bash 2

/usr/sbin/nologin 1

/bin/sync 1

解说一下：

-F: 以:分割字段

a[$7]++ 定义了个名称为a的数组$7在passwd文件中是shell名，在这里是数组索引.awk的数据索引可以是是字符类型这点真是太帅了.

for (i in a) print i" "a[i]

用for循环取出数据来,这时候i取的时下标,a[i]是里面存储的数据

是$7出现的次数,狠!

郁闷了,这办法太强了,以后再遇到问题还是先baidu,再google然后再自己动手吧!

再试个：

cat album_photo_111.txt | awk '{a[$1]++}END {for(i in a) print i" "a[i]}'

还可以这样

cat album_photo_111.txt| awk '{print $1}' | sort | uniq -c

试个稍微复杂点的

zcat 131225.photo.weibo.com_10.72.13.87.cn.gz | awk '{print $3}' | sed 's/s/ /g' | awk -F . '{print $1}' | awk '{ a[$1]++ }END { for(i in a) print i"\t"a[i] }' | sort -k1 -rn

哈哈哈哈

转载于:https://www.cnblogs.com/gaoj87/p/3494539.html

awk 统计数据在文件中的出现次数相关推荐

python统计字符在文件中出现的次数_python字符串中字符出现次数(python获取字符串个数)...
今天要说的是Python的字符串函数还是很方便的,只需要调用 count() 方法即可. 最近,我在一个网站上看到了一个自然语言处理课程.我详细解释了一些方法的使用,用例很容易理解,所以我想通过我的博 ...
python统计字符在文件中出现的次数_一文搞定统计字符串中某字符出现的频次
下面是统计字符串中某字符出现的次数的方法方法1: 这个方法相当简单,零基础自学编程,代码写成这样能满足需求,但它逐个逐个计数,比较笨拙.rlt = {} for i in content: if i ...
Java统计1到300_java程序员的从0到1：统计某字符串在某文件中出现的次数（面试题）...
目录: 1. 编程题目 2. 方法一 3. 方法二 4. 方法三 5. 方法四 6. 总结正文: 1. 编程题目写一个方法,输入一个文件名和一个字符串,统计这个字符串在这个文件中出现的次数. 2. ...
ML之MLiR：利用多元线性回归法，从大量数据(csv文件)中提取五个因变量(输入运输任务总里程数、运输次数、三种不同的车型，预测需要花费的小时数)来预测一个自变量
ML之MLiR:利用多元线性回归法,从大量数据(csv文件)中提取五个因变量(输入运输任务总里程数.运输次数.三种不同的车型,预测需要花费的小时数)来预测一个自变量输出结果代码设计 from nu ...
java 存储数据到文件中_本机速度文件支持的“纯” Java大数据存储
java 存储数据到文件中动机所有这一切始于意识到我买不起足够大的计算机. 音频处理需要大量的内存. Audacity是一款出色的免费音频处理器,它使用文件支持的存储系统对其进行管理. 这是解决此 ...
ios文件连接服务器无法写入,iOS写入数据到文件中
1.获取到对应的文件夹 + (NSString *)getLogFilePath{ NSString *documentsDir = [NSSearchPathForDirectoriesInDoma ...
python 采用to_csv保存数据不覆盖原有数据到文件中
采用to_csv保存数据不覆盖原有数据到文件中 df.to_csv(date+'.csv',index = False,header=0,mode='a') 关键是 mode参数
String类-统计子串在字符串中出现的次数
任务描述:设字符串为"nbaernbatnbaynbauinbaopnba",子串为:"nba".统计子串在字符串中的出现次数. 要求: 自定义方法 publi ...
通过MapReduce统计每个单子在每个文件中出现的次数（FileSplit的使用），单词作为key，所在文本和次数作为value进行统计
代码如下: package cn.toto.bigdata.mr.index;import java.io.IOException;import org.apache.hadoop.conf.Conf ...

awk 统计数据在文件中的出现次数

awk 统计数据在文件中的出现次数相关推荐

最新文章

热门文章