cut

在一行中取出部分数据，以行为单位

cut -d '分隔符 ' -f fields

$ pwd /home/users/chenzhaoqun

$ pwd | cut -d '/' -f 1

$ pwd | cut -d '/' -f 2

home

$ pwd | cut -d '/' -f 3

users

$ pwd | cut -d '/' -f 4

chenzhaoqun

$ pwd | cut -d '/' -f 3,4

users/chenzhaoqun

cut -c 字符范围

以字符为单位取出固定字符区间

$ export

declare -x ANT_HOME="/home/tools/tools/ant/apache-ant-1.6.5"

declare -x ANT_HOME_1_7="/home/tools/tools/ant/apache-ant-1.7.1" declare -x G_BROKEN_FILENAMES="1"

$ export | cut -c 12-

ANT_HOME="/home/tools/tools/ant/apache-ant-1.6.5" ANT_HOME_1_7="/home/tools/tools/ant/apache-ant-1.7.1" G_BROKEN_FILENAMES="1"

$ export | cut -c 12-15

ANT_

ANT_

G_BR

grep

分析一行，有我们需要的信息就将该行拿出来

grep [-acinv] [--color=auto] '查询字符串' filename

-a

将二进制文件以text方式查询

-c

计算找到字符串的次数

-i

忽略大小写

-n

输出行号

-v

反向选择，显示不包含‘查询字符串’的行

表2-1 grep使用的正则表达式元字符

元字符

功能

示例

匹配对象

^

行首定位符

‘^love’

匹配所有以love开头的行

$

行尾定位符

‘love$’

匹配所有以love结尾的行

.

匹配单个字符

‘l..e’

匹配包含一个l，后面跟两个字符，再跟一个e的行

*

匹配0或者多个重复的位于*前的字符

‘*love’

匹配包含跟在0个或者多个字符后的love的行

[]

匹配一组字符中的任意一个

‘[Ll]ove’

匹配Love或者love

[^]

匹配不在指定组内的字符

’[^A-Z]’

匹配不在范围A至Z之间的任意一个字符

<

词首定位符

’

匹配包含以love开头的词的行

<

词尾定位符

‘love/>’

匹配包含以love结尾的词的行

(..)

标记匹配到的字符

’(love)ing’

模式love被保存在1号寄存器中，之后可用\1引用它

x{m}或x{m,}或x{m,n}

字符x的重复次数：m次、至少m次、至少m次但不超过n次

‘o{5}’,’o{5,}’ ,’o{5,10}’

匹配连续出现5个o、至少5个o或者5~10个o的行

其他方法：

1、使用多个 -e 参数

如：netstat -an | grep -E "ESTABLISHED|WAIT"

注意：netstat -an | grep -e EST -e WAIT 并列使用多个 -e参数可以实现或条件

2、使用扩展

如：netstat -an | grep -E "ESTABLISHED|WAIT"

注意：此处的 -E 是大写 ，匹配条件一定要加 引号

sort

sort [-fbMnrtuk] [file or stdin]

-f

忽略大小写

-b

忽略行前的空格

-M

以月份的名字来排序，JAN > DEC

-n

使用“纯数字”排序

-r

反向排序

-u

uniq

-t

指定分隔符，默认是TAB

-k

以分割之后的哪个field来排序

uniq

uniq [-ic]

-i

忽略大小写

-c

进行计数

$ last | cut -d ' ' -f1 | sort | uniq -c | sort -r -n

345 root

171 duanzhib

126 zouxidon

68 zhouqian

68 chenzhao

37 wangjinl

35 jiangwei

last命令列出最近登录的用户列表

第一列为用户名

最后的结果是按登录次数逆序的排名

综合使用案例：

一个文件similog中有很多行：

debug:[一汽%20夏利n5,一汽%20夏利n5][1,2] simi 100, interval 16

想要把simi后面的分数取出来，并统计分布

cat similog | cut -d ']' -f 3 | cut -d ' ' -f 3 | tr -d ',' | sort -n | uniq -c

cat similog 不解释

cut -d ']' -f 3 取出 simi 100, interval 16

cut -d ' ' -f 3 取出100,

tr -d ',' 删除,

sort -n 排序

uniq -c 统计出现的次数

tee

tee [-a] file

-a 对file进行续写，append文件模式

tee是将stdout转存一份到文件，又不影响stdout的输出，后面还可以被其他命令处理

字符转换命令 tr col join paste expand

tr [-ds] SET1 [SET2]

参数

解释

-d

删除str

-s

替换掉重复的字符

-t

将SET1按SET2的长度截断

tr '[a-z]' '[A-Z]'

upper case

col [-xb]

参数

解释

-x

将tab转成空格

-b

将/，仅保留/最后接的字符

join [-ti12] file1 file2

将两个文件的按照第一列合并

参数

解释

-t

指定列分隔符，默认是空格

-i

忽略大小写

-1 n

对文件1按第n列比较

-2 n

对文件2按第n列比较

join -1 3 file1 -2 4 file2

这是file1的第3列和file2的第4列，就会合并，然后放到第1列，后面接剩余的数据

注意：对比时两文件要sort

paste [-d] file1 file2

将两个文件的每行合并成一行，中间被分隔符分割

参数

解释

-d

指定分隔符

把file写成- 表示来自std input的意思

expand [-t] file

将tab转成空格，-t指定转成空格的个数

split

split [-bl] file PREFIX

将一个大文件切割成指定大小或指定行的小文件

参数

解释

-b

按大小分割，可加单位，b, k, m

-l

按行数分割

PREFIX

分割后文件名的前缀

-a

suffix length，默认为2，且是aa,ab,ac…命名

-d

以数字作为后缀

文件合并

使用重定向

如将file1，file2，file3合并成file

cat file1 file2 file3 >> file

cat file* >> file

xargs

xargs [-0epn] command

为command生成参数，并且执行command

因为有些command不支持直接使用管道，可以从stdin读入，使用空格分割，然后作为command的参数执行

参数

解释

-0

还原stdin中的特殊字符，如 ` \ 空格等，为一般字符

-e

后面接一个字符串，xargs分析到该字符串时就停止，该字符串不会被使用

-p

每次执行command，都询问

-n

command使用n个参数，更多的都会忽略

- 减号

可以用-表示stdin或stdout，放在应该写file的地方