uniq

用于移除或发现文件中重复的条目。

注意：此命令对连续的重复行才能正确统计，使用时最好搭配sort命令。

常用选项

-c --count

-d --repeated

-D --all-repeated

-u --unique

-w --check-chars

-s --skip-chars

-f --skip-fields

uniq_help

$ uniq --helpUsage: uniq [OPTION]... [INPUT [OUTPUT]]
Filter adjacent matching lines from INPUT (or standard input),
writing to OUTPUT (or standard output).With no options, matching lines are merged to the first occurrence.Mandatory arguments to long options are mandatory for short options too.-c, --count           prefix lines by the number of occurrences-d, --repeated        only print duplicate lines, one for each group-D, --all-repeated[=METHOD]  print all duplicate linesgroups can be delimited with an empty lineMETHOD={none(default),prepend,separate}-f, --skip-fields=N   avoid comparing the first N fields--group[=METHOD]  show all items, separating groups with an empty lineMETHOD={separate(default),prepend,append,both}-i, --ignore-case     ignore differences in case when comparing-s, --skip-chars=N    avoid comparing the first N characters-u, --unique          only print unique lines-z, --zero-terminated  end lines with 0 byte, not newline-w, --check-chars=N   compare no more than N characters in lines--help     display this help and exit--version  output version information and exitA field is a run of blanks (usually spaces and/or TABs), then non-blank
characters.  Fields are skipped before chars.Note: 'uniq' does not detect repeated lines unless they are adjacent.
You may want to sort the input first, or use 'sort -u' without 'uniq'.
Also, comparisons honor the rules specified by 'LC_COLLATE'.GNU coreutils online help: <http://www.gnu.org/software/coreutils/>
Report uniq translation bugs to <http://translationproject.org/team/>
For complete documentation, run: info coreutils 'uniq invocation'

Have Fun

Linux 文本去重——uniq相关推荐

linux文本去重分割,Linux命令去重统计排序
利用Linux命令进行文本按行去重并按重复次数排序 linux命令行提供了非常强大的文本处理功能,组合利用linux命令能实现好多强大的功能.本文这里举例说明如何利用Linux命令行进行文本按行去重并 ...
linux之去重uniq命令详解
linux之去重uniq命令详解 uniq是对文本文件进行行去去重的工具. 以行为单位,进行行与行之间的字符串比较并进行去重只能对有序的文本行进行有效去重,所以常与sort命令结合使用参数解释 ...
Linux 去重uniq命令详解
linux之去重uniq命令详解 uniq是对文本文件进行行去去重的工具. 以行为单位,进行行与行之间的字符串比较并进行去重只能对有序的文本行进行有效去重,所以常与sort命令结合使用参数解释 ...
linux统计排序命令,Linux命令去重统计排序
利用Linux命令进行文本按行去重并按重复次数排序 linux命令行提供了非常强大的文本处理功能,组合利用linux命令能实现好多强大的功能.本文这里举例说明如何利用Linux命令行进行文本按行去重并 ...
Linux中sort,uniq,cut,wc命令详解
Linux中sort,uniq,cut,wc命令详解来源:hellodev 本文主要对Linux中sort,uniq,cut,wc这4个命令的使用方法进行了详细说明,希望对你有所帮助. sort s ...
Linux文本处理工具和正则表达式
成功不易,加倍努力! 1 文本编辑工具之神VIM 1.1命令或普通(Normal)模式的基本命令 1.2 插入(Insert)或编辑模式的基本命令 1.3 扩展命令模式基本命令 1.4 vim的寄存器 ...
linux 下 grep -c sh* /etc/passwd,Linux文本处理三剑客--grep
稍微接触过linux都会知道有三个非常强大文本处理工具,那就是grep.sed和awk,想必都有听说过吧. Linux文本处理三剑客: grep, egrep, fgrep:文本过滤工具(模式:pat ...
编程小技巧之 Linux 文本处理命令（二）
合格的程序员都善于使用工具,正所谓君子性非异也,善假于物也.合理的利用 Linux 的命令行工具,可以提高我们的工作效率. 本篇文章是<Linux 文本处理命令> 续篇,在前文的基础上再介 ...
告别linux重复操作，学习linux文本处理工具，真正实用性入门教学linux基础命令之文本管理-----进阶sre第一阶段(重温linux基础06)
文本处理工具 cut(实用) 取出文件中的列 cut 列分隔符指定列文件名 cut -d: -f1,3 /etc/passwd cut -d: -f1,3-5 /etc/passwd df -h ...
linux文本三剑客演讲稿,linux文本三剑客之grep
grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正 ...

Linux 文本去重——uniq

uniq

常用选项

uniq_help

Linux 文本去重——uniq相关推荐

最新文章

热门文章