cat filename | awk ‘{print $1}‘ | sort | uniq

cat filename读取一个文件

awk ‘{print $1}‘ 以默认字符分割文件每一行内容,取第一个数据

sort 对内容进行正序排序    sort -r 倒序  -n 依照数值的大小排序

uniq 对内容进行去重  /   uniq -c 统计重复次数

cat filename | awk ‘{print $1}‘ | sort | uniq -c | sort -nr ( 去重文件中重复内容,并且按照重复次数进行倒序)

cat test1.txt | awk ‘{print $1}‘ | grep -E "^4" | sort | uniq -c | sort -nr

grep -E 正则表达式,利用正则表达式过滤结果

cat test1.txt | awk ‘{print $1}‘ | sort | uniq -c | sort -r | head -n 3

head -n 3 显示前3行(从第一行开始)

tail -n 3 显示后3行(从最末行开始)

linux去重统计个数,linux 文件内容查找、去重、统计(示例代码)相关推荐

  1. linux几种常见的文件内容查找和替换命令

    1.vi命令下的查找和替换 1.1 vi下的查找 /pattern<Enter> :向下查找pattern匹配字符串 ?pattern<Enter>:向上查找pattern匹配 ...

  2. (转载)linux下的find文件查找命令与grep文件内容查找命令

    linux下的find文件查找命令与grep文件内容查找命令 转载于和感谢:linux下的find文件查找命令与grep文件内容查找命令 目录 1.前言 1.1 find命令和grep命令的区别 2. ...

  3. Linux脚本之定时清空文件内容

    Linux脚本之定时清空文件内容 一.脚本要求 二.脚本内容 三.运行脚本 一.脚本要求 1.要求创建名为rm_file.sh的脚本 2.要求在/home/tmp/下各以人名命名的临时目录,每天0点定 ...

  4. Linux:grep命令检索文件内容详解

    前言 Linux系统中搜索.查找文件中的内容,一般最常用的是grep命令,另外还有egrep命令,同时vi命令也支持文件内容检索.下面来一起看看Linux利用grep命令检索文件内容的详细介绍. 方法 ...

  5. linux如何改文件内容,linux下用命令修改文件内容

    linux下vi命令修改文件及保存的使用方法 进入vi的命令 vi filename :打开或新建文件,并将光标置于第一行首 vi n filename :打开文件,并将光标置于第n行首 vi fil ...

  6. linux几种快速清空文件内容的方法

    linux几种快速清空文件内容的方法 几种快速清空文件内容的方法: $ : > filename #其中的 : 是一个占位符, 不产生任何输出. $ > filename $ echo & ...

  7. Linux命令gitview,使用linux的gitview命令查看文件内容

    使用linux的gitview命令查看文件内容 发布时间:2020-07-22 10:23:42 来源:亿速云 阅读:99 作者:清晨 栏目:服务器 这篇文章将为大家详细讲解有关使用linux的git ...

  8. linux 筛选文件,「Linux基础知识」grep文件内容筛选命令的使用

    原标题:「Linux基础知识」grep文件内容筛选命令的使用 grep命令用于从文档中抓取显示包含指定字符的行,grep命令的使用格式如下: grep [选项] 匹配模式 文件1 文件2 ...... ...

  9. linux vim无法编辑文件内容,Linux 使用vim命令编辑文件内容

    在终端可以使用vim命令来直接编辑文件内容. vim,也可以叫做vi. vim有三种模式:命令模式.输入模式.底线命令模式. 命令模式 vim  文件名   进入命令模式,vim也可以写成vi. 如果 ...

  10. python调用程序压缩文件_Python实现文件压缩和解压的示例代码

    大家可能都熟悉.zip格式的文件.它可以把多个文件,压缩成一个文件.这在网络上传输时很有用,而且节省硬盘空间. 接下来,我们使用Python实现压缩和解压. 读取ZIP文件信息 要读取ZIP文件的内容 ...

最新文章

  1. Python-S13-day2-之购物车
  2. 11--Rails数据交互3
  3. Windows常用命令行命令
  4. HDU4514(非连通图的环判断与图中最长链)
  5. activemq 内存_ActiveMQ:了解内存使用情况
  6. Node.js安装及环境配置(windows)
  7. 【clickhouse】clickhouse的系统表
  8. spring框架入门day02
  9. 计算机械效率的公式四种,功功率机械效率复习题超全
  10. visual studio可以开发app吗_郑州app开发价格是怎么定得呢?预约理发app好做吗
  11. JQuery常用属性整理
  12. 三大开源bi工具_不用无限手套,人人都能开发 BI 系统------开源BI软件,可集成的BI工具...
  13. idea生成WebService调用代码
  14. Juce之旅-第一个例子(图形窗口)
  15. 石家庄地铁选站系统进度报告
  16. 防火墙与路由器的区别
  17. Java opencv tld_TLD-(windows) tld c++版可运行版本,亲测. tld OpenCV 252万源代码下载- www.pudn.com...
  18. linux系统fasta程序,快速计算fasta序列长度的方法
  19. 日内趋势交易的操盘法
  20. 图像风格迁移【老版】

热门文章

  1. 有了它,你还想用postman吗
  2. 封装jQuery Validate扩展验证方法
  3. python动态导入模块_Python动态导入模块:__import__、importlib、动态导入的使用场景实例分析...
  4. 打王者、调小酒、搭乐高,大厂女程序员的别样人生!
  5. M1 Max 暴击,倚天补刀
  6. 打破“打工人”魔咒,RPA 来狙击!
  7. 用 Java 拿下 HTML,分分钟写个小爬虫!
  8. 视频内容理解核心技术解密:Partial re-ID 在成片体检中的技术实践
  9. 停滞数年后,ElasticJob 携首个 Apache 版本 3.0.0-alpha 回归!
  10. 从芯片到 AI,52 岁英特尔的蜕变!