前言

shell下经常需要处理数据，需要计算均值和标准差，最近在分析EXT4的r_await的分布情况，需要计算下在一定的读写模式下，块设备的读延迟分布。

这已不是第一次有类似的需求了，每次都要awk写一坨处理脚本，感觉不爽。

其实我要的东西比较简单， 就是读取多笔记录，通过管道传递给一个工具，该工具就可以将指定字段的均值和标准差计算出来。

...

sdb 0.00 0.00 21.00 93.00 4.02 22.88 483.23 0.31 2.70 9.52 1.16 0.88 10.00

sdb 0.00 0.00 56.00 64.00 12.03 16.00 478.40 1.91 15.90 32.57 1.31 3.67 44.00

sdb 0.00 0.00 55.00 100.00 12.03 25.00 489.24 0.78 5.01 11.42 1.48 1.45 22.40

sdb 0.00 0.00 20.00 87.00 4.02 21.52 488.75 0.34 3.18 11.40 1.29 0.86 9.20

sdb 0.00 166.00 34.00 4.00 8.01 0.66 467.37 0.22 5.79 6.47 0.00 1.58 6.00

sdb 0.00 0.00 42.00 176.00 8.04 35.61 410.06 0.55 2.51 10.67 0.57 0.70 15.20

sdb 0.00 0.00 22.00 128.00 4.02 32.00 491.84 0.50 3.07 13.09 1.34 1.07 16.00

sdb 0.00 0.00 21.00 68.00 4.02 17.00 483.69 0.51 5.89 20.38 1.41 1.26 11.20

sdb 0.00 0.00 36.00 64.00 8.02 16.00 491.84 0.49 4.92 10.56 1.75 1.20 12.00

sdb 0.00 191.00 26.00 424.00 5.02 18.24 105.87 1.63 3.40 25.23 2.07 1.29 58.00

sdb 0.00 0.00 30.00 9.00 7.01 2.25 486.15 0.32 9.23 11.33 2.22 1.64 6.40

sdb 0.00 0.00 5.00 173.00 0.02 42.75 492.05 1.06 6.04 176.80 1.11 3.53 62.80

sdb 0.00 0.00 37.00 4.00 8.02 1.00 450.37 0.38 9.17 10.16 0.00 2.34 9.60

sdb 0.00 0.00 36.00 97.00 8.02 16.12 371.73 0.60 4.51 11.56 1.90 0.84 11.20

sdb 0.00 163.00 0.00 155.00 0.00 38.40 507.41 0.05 0.34 0.00 0.34 0.03 0.40

sdb 0.00 0.00 55.00 126.00 12.03 31.25 489.72 0.72 3.98 11.27 0.79 1.06 19.20

sdb 0.00 0.00 34.00 0.00 8.01 0.00 482.35 0.39 11.41 11.41 0.00 2.12 7.20

sdb 0.00 0.00 19.00 84.00 4.01 21.00 497.32 0.28 2.72 12.84 0.43 0.58 6.00

sdb 0.00 0.00 54.00 112.00 12.02 28.00 493.78 1.52 9.16 26.96 0.57 1.71 28.40

...

上述内容是iostat -mx /dev/sd[bc] 1观察一段时间的输出，其中grep sdb 的部分，我关心的内容是第11列，即r_await的均值和方差。

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util

一直用awk处理，但是总觉的不方便，不能随心所欲，下一次还的写awk，本来想自己写一个tool来计算均值和方差，但是今天搜了一下，发现了宝贝 datamash，这个工具是GNU的，Linux和Mac都有这个工具

datamash 安装

安装的话，可以源码安装，也可以apt安装：

wget http://ftp.gnu.org/gnu/datamash/datamash-1.1.0.tar.gz

tar -xzf datamash-1.1.0.tar.gz

cd datamash-1.1.0

./configure

make

make check

sudo make install

wget http://files.housegordon.org/datamash/bin/datamash_1.0.6-1_amd64.deb

sudo dpkg -i datamash_1.0.6-1_amd64.deb

本来应该是apt-get install datamash，但是好像源里面没有这个包，Mac比较简单，

brew install datamash

datamash使用

还是我们的例子，有了这个工具，我们就可以计算均值和方差了：

root@node4:~/bean# grep sdb n_186.80 | datamash -W mean 11 sstdev 11

20.84330.743196441241

注意啊，一个或者多个空格，如果需要被当成单个空格来对待，就必须加上-W选项，我开始也吃了这个亏，如下：

root@node4:~/bean# grep sdb n_186.80 |awk '{print $11}' |datamash mean 1 sstdev 1

20.84330.743196441241

root@node4:~/bean# grep sdb n_186.80 |datamash mean 11 sstdev 11

datamash: invalid numeric input in line 1 field 11: ''

root@node4:~/bean#

之所以报这个错误，就是因为没有-W选项，导致多个空格并没有当成一个独立的分隔符。

当然了，可以通过 -t选项来指定分隔符。

printf '1,10,,100\n' | datamash -t, sum 4

100

事实上，datamash的能力远不止于此，我们都用过数据库，知道SQL中有group by的功能，datamash 也有类似 的功能：

$ cat scores.txt

Name Subject Score

Bryan Arts 68

Isaiah Arts 80

Gabriel Health-Medicine 100

Tysza Business 92

Zackery Engineering 54

...

注意第二列是科目名称，我们可以计算不同科目的平均分和标准差：

$ datamash --sort --headers --group 2 mean 3 sstdev 3 < scores.txt

GroupBy(Subject) mean(Score) sstdev(Score)

Arts 68.9474 10.4215

Business 87.3636 5.18214

Engineering 66.5385 19.8814

Health-Medicine 90.6154 9.22441

Life-Sciences 55.3333 20.606

Social-Sciences 60.2667 17.2273

出了均值和标准差，还可获取最大最小

sum

sum the of values

min

minimum value

max

maximum value

absmin

minimum of the absolute values

absmax

maximum of the absolute values

更多高阶的用法就参考官方文档吧