linux uniq去重不生效

实现对nginx的访问ip进行统计，出现出重不成功；
shell： cat access.log | awk ‘{print $1}’ | uniq -c
原因：

因为uniq去重只对相邻的数据进行迭代处理，当遇到相邻的数据不重复时，就会该处的数据加一，进行新的迭代处理。
算法过程如下
key = 1
uniq(file, key):
if line[key] == line[key+1]：
删除line[key+1],移动后续行
uniq(file,1)
else ：
uniq(file, key+1)

所以对文件数据进行去重处理时，先对文件的数据进行排序，然后再进行去重处理：
#输出访问量排名前10的ip地址和访问量
cat test.txt | sort | uniq -c | sork -rn | head -l

linux uniq去重不生效相关推荐

linux uniq按照一列去重,Linux uniq去重方法
在查看日志中我们会有很多重复的行,为了方便分析需要去重后进行统计或者查看分析,这个时候就需要使用去重,这里说一下去重使用的命令uniq. uniq的参数: -c, --count 在每行前加上表示相应 ...
Linux中uniq去重以及对两个文件取交集，并集，差集
uniq 前言很多时候我们需要对数据去重,不管是少量数据还是大量数据,写代码进行去重终究没有使用系统功能直接操作文件方便,所以本文就介绍了一些关于uniq的使用方法 uniq单独使用 uniq配合s ...
linux之去重uniq命令详解
linux之去重uniq命令详解 uniq是对文本文件进行行去去重的工具. 以行为单位,进行行与行之间的字符串比较并进行去重只能对有序的文本行进行有效去重,所以常与sort命令结合使用参数解释 ...
Linux笔记（shell特殊符号，sort排序，wc统计，uniq去重，tee，tr，split）
一.shell特殊符号 * 任意个任意字符 ? 任意一个字符 # 注释字符 \ 脱义字符例如: [root@localhost ~]# a=2 [root@localhost ~]# b=3 ...
linux sort 多列去重排序,【Linux】sort排序、uniq去重、wc统计
文章目录一.sort 排序 1.语法 2.参数说明 3.实例二.uniq 去重 1.uniq使用 2.sort和uniq去重结果对比三.wc 统计一.sort 排序 sort命令用于对文本文 ...
linux统计排序命令,Linux命令去重统计排序
利用Linux命令进行文本按行去重并按重复次数排序 linux命令行提供了非常强大的文本处理功能,组合利用linux命令能实现好多强大的功能.本文这里举例说明如何利用Linux命令行进行文本按行去重并 ...
linux文本去重分割,Linux命令去重统计排序
利用Linux命令进行文本按行去重并按重复次数排序 linux命令行提供了非常强大的文本处理功能,组合利用linux命令能实现好多强大的功能.本文这里举例说明如何利用Linux命令行进行文本按行去重并 ...
linux中uniq c命令详解,linux uniq 命令整理
无论是工作中使用还是应付各种面试,linux uniq 都是必须要掌握的 linux 基本命令之一.uniq 一般和 sort 一起用,用来对排序好的内容去重 uniq 对排序好的内容进行去重语法: ...
linux系统改ip地址永久生效,Linux修改IP永久生效
修改IP永久生效按以下方法: 1)修改配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0(eth0,第一块网卡,如果是第二块则为eth1) 按如下修改i ...

linux uniq去重不生效

linux uniq去重不生效相关推荐

最新文章

热门文章