【Shell】awk命令--输出某列，列求和，列求平均值，列最大值，列去重复，取倒列，过滤行，匹配，不匹配，内置变量|定义分隔符|多个分隔符
目录
awk基本语法
awk输出某几列
awk遍历文件行处理
awk中运行shell命令
方法1：awk 内置函数system
方法2 通过awk print 交给bash
awk中运行shell命令并用awk的参数
awk命令获取文本的某一行，某一列
AWK 技巧（取倒列，过滤行，匹配，不匹配，内置变量等）
通过第一个域找出字符长度为4的
当第二列值大于3时，创建空白文件，文件名为当前行第一个域$1 (touch $1)
将文档中 liu 字符串替换为 hong
求第二列的和
求第二列的平均值
求第二列中的最大值
将第一列过滤重复后，列出每一项，每一项的出现次数，每一项的大小总和
定义分隔符|多个分隔符[]
使用awk取某一行数据中的倒数第N列：$(NF-(n-1))
将每一行中相同第一列对应的其他列进行拼接
Awk取文件中的指定数据
linux文件按大小来排序
awk 获取某些列的某些行（打印或不打印第几行）
awk中的"匹配"与"不匹配"
AWK的内置变量（NF、NR、FNR、FS、OFS、RS、ORS）
AWK对文件的"某一列进行去重"的做法 (命令: awk '{a[$n]=$0}END{for(i in a)print a[i]}' filename)
AWK 将列转为行的做法
shell将多行转为一行（或将多行中的某一列转化为行）的做法
shell去掉最后一个字符的做法
awk基本语法
awk 'BEGIN{//begin code } pattern1{//pattern1 code} pattern2{//pattern2 code} END{//end code }'
BEGIN部分的代码，最先执行
然后循环从管道中读取的每行文本，如果匹配pattern1 ，则执行pattern1 code的代码，匹配pattern2，则执行pattern2 code代码
最后，执行END部分的代码end code
如下所示，分别求奇数行与偶数行的和：
$ seq 1 5
1
2
3
4
5
$ seq 1 5|awk 'BEGIN{print "odd","even"} NR%2==1{odd+=$0} NR%2==0{even+=$0} END{print odd,even}'
odd even
9 6
原文链接：https://blog.csdn.net/weixin_31201737/article/details/113045998
awk输出某几列
有这样一个文本，需要截取前5列
[root@SH]# cat test.txt
2 3651415576 940761 0 0 0000000000000000
3 3532686312 939551 0 0 0000000000000000
4 3873453656 984285 0 0 0000000000000000
5 3884604640 970761 0 0 0000000000000000
6 2116906224 493295 0 0 0000000000000000
7 1760674752 480700 0 0 0000000000000000
8 0 0 29979808 6002 0000000000000000
10 0 0 3299944 1433 0000000000000000
11 0 0 2199434640 312565 0000000000000000
方法一：
awk '{print $1,$2,$3,$4,$5} #（别忘了“，”，否则黏在一起，$1 $2 $3与$1$2$3没什么不同.）
另外一种实现方法awk '{NF-=2}1',这里的1换成别的数字也可以，NF-=2表示倒数第二列
https://my.oschina.net/u/3746745/blog/1923899
linux下统计某个进程的CPU占用和内存使用
#!/bin/bash
# while loop
CpuMemStat=""
datemk=""
while true
do
CpuMemStat=` ps aux |grep -i server |grep redis |grep -v py`
datemk=`date "+%Y-%m-%d %H:%M:%S"`
echo $datemk $CpuMemStat >> result.txt
#echo $datemk $CpuMemStat
sleep 20s
done
上面的遇到CpuMemStat结果是多行的就歇菜了，改成
#!/bin/bash
# while loop
CpuMemStat=""
datemk=""
CpuMemStat=`ps aux |sed -n '1p'|awk '{print $1,$2,$3,$4,$5}'`
datemk=`date "+%Y-%m-%d %H:%M:%S"`
echo $datemk $CpuMemStat >> result.txt
while true
do
#CpuMemStat=` ps aux |grep -i redis-server|awk '{print $1,$2,$3,$4,$5}'`
datemk=`date "+%Y-%m-%d %H:%M:%S"`
ps aux |grep -i redis-server|awk '{print $1,$2,$3,$4,$5}'|while read line
do
echo $line
echo $datemk $line >> result.txt
#echo $datemk $CpuMemStat
done
sleep 1s
done
（一行一行读，不能用for 必须用while，因为in操作符以任意空白字符作为分割， 而read line是以回车符作为分割。）
有一文本文件如下，每行有两个字符串/空格分开。
$ cat list.txt
Gly G
Ala A
Val V
Leu L
Ile I
Phe F
for line in `cat list.txt`
do
echo $line
done
得到结果如下：
Gly
G
Ala
A
Val
V
Leu
L
Ile
I
Phe
F
============
while read line
do
echo $line
done list.txt
运行得到结果如下：
Gly G
Ala A
Val V
Leu L
Ile I
Phe F
awk遍历文件行处理
awk基本语法如下：
awk 'BEGIN{//begin code } pattern1{//pattern1 code} pattern2{//pattern2 code} END{//end code }'
BEGIN部分的代码，最先执行
然后循环从管道中读取的每行文本，如果匹配pattern1 ，则执行pattern1 code的代码，匹配pattern2，则执行pattern2 code代码
最后，执行END部分的代码end code
如下所示，分别求奇数行与偶数行的和：
$ seq 1 5
1
2
3
4
5
$ seq 1 5|awk 'BEGIN{print "odd","even"} NR%2==1{odd+=$0} NR%2==0{even+=$0} END{print odd,even}'
odd even
9 6
原文链接：https://blog.csdn.net/weixin_31201737/article/details/113045998
实战：
OSD 删除黑名单的命令是：ceph osd blacklist rm 192.168.31.66:6800/2776253500
OSD 列出黑名单的命令是： ceph osd blacklist ls
192.168.31.109:6800/3185421984
192.168.31.66:6800/2776253500
192.168.31.109:6800/1802746272
192.168.31.66:6800/3330484028
192.168.31.109:6800/3170500668
192.168.31.66:6849/4132697147
192.168.31.65:6849/579778875
我们需要 遍历黑名单执行 ceph osd blacklist rm xxxxx
ceph osd blacklist ls |awk '{system("ceph osd blacklist rm " $1)}'
(ceph osd blacklist rm 不是awk的内置命令，所有用system）
info.txt
-5 10.47839 root ssdpool
-25 10.47839 rack rack.ssdpool
-28 3.49280 host rdma61.ssdpool
18 ssd 0.87320 osd.18 up 1.00000 1.00000
21 ssd 0.87320 osd.21 up 1.00000 1.00000
24 ssd 0.87320 osd.24 up 1.00000 1.00000
28 ssd 0.87320 osd.28 up 1.00000 1.00000
-31 3.49280 host rdma63.ssdpool
20 ssd 0.87320 osd.20 up 1.00000 1.00000
22 ssd 0.87320 osd.22 up 1.00000 1.00000
25 ssd 0.87320 osd.25 up 1.00000 1.00000
27 ssd 0.87320 osd.27 up 1.00000 1.00000
-34 3.49280 host rdma64.ssdpool
19 ssd 0.87320 osd.19 up 1.00000 1.00000
23 ssd 0.87320 osd.23 up 1.00000 1.00000
26 ssd 0.87320 osd.26 up 1.00000 1.00000
29 ssd 0.87320 osd.29 down 0 1.00000
写一个shell脚本 run.sh，我给它参数61（或者63或64）， 它就读取host rdma61.ssdpool下面的行文字的第一个字段，并逐一输出log+字段,直至遇到下一个host rdma 停止。
如： run.sh 61
输出：
log18.txt
log21.txt
log24.txt
log28.txt如： run.sh 63
log20.txt
log22.txt
log25.txt
log27.txt
脚本
awk -v flag=0 '
/host rdma'$1'/ {flag=1; next}
flag == 1 && /host rdma/ {flage=0; exit}
flag == 1 {print "log"$1".txt"}
' info.txt
说明
-v flag=0 # 设置变量flag=0
/host rdma'$1'/ {flag=1; next} #匹配到host rdma'$1'执行flag=1; next，netx 表示不匹配本文本行后面的内容，直接跳到下一行文本
flag == 1 && /host rdma/ {flage=0; exit} #flag == 1 且匹配到host rdma，则执行{flage=0; exit} ，exit 退出结束
flag == 1 {print "log"$1".txt"} #flag == 1 且匹配到host rdma，则执行print "log"$1".txt"
原文链接：https://blog.csdn.net/bandaoyu/article/details/103190949
awk中运行shell命令
有两种方法：
1.awk内置函数system
2.通过awk print出要执行的命令 然后交给/bin/bash 执行
方法1：awk 内置函数system
执行方法 awk ‘BEGIN{system(“shell命令)}’ 就行
[root@CHSHA-CT-WWW-249 ~]# awk ‘BEGIN{system(“hostname”)}’
CHSHA-CT-WWW-249.360buy.com
[root@CHSHA-CT-WWW-249 ~]# awk ‘BEGIN{system(“df -h”)}’
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda1 19G 2.9G 16G 16% /
/dev/sda3 236G 215M 223G 1% /export
tmpfs 16G 0 16G 0% /dev/shm
[root@CHSHA-CT-WWW-249 ~]# awk ‘BEGIN {system(“echo \”input one number:\”"); getline d;print “you input number is”,d}’
input one number:
12
you input number is 12 #这个采用了awk getline取前面的输入
方法2 通过awk print 交给bash
[root@CHSHA-CT-WWW-249 ~]# awk ‘BEGIN{print “echo”,”cange”}’|sh
cange
[root@CHSHA-CT-WWW-249 ~]# awk ‘BEGIN{print “echo”,”cange”|”bash”}’
cange
[root@CHSHA-CT-WWW-249 ~]# awk ‘BEGIN{print “df -h”|”bash”}’
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda1 19G 2.9G 16G 16% /
/dev/sda3 236G 215M 223G 1% /export
tmpfs 16G 0 16G 0% /dev/shm
[root@CHSHA-CT-WWW-249 ~]# awk ‘BEGIN{print “hostname”|”bash”}’
CHSHA-CT-WWW-249.360buy.com
可能上面的例子很简单， 确实 但是原理就是这样 可能工作上你们的需求不同 整个过程不可能这么简单 但是按照这种方式进行处理就行 ， 例如对一下文件的重命名 那就可以
pirnt mv 一个原始文件 跟你要改成的文件 交给bash就行了。
[root@CHSHA-CT-WWW-249 test]# ls|awk ‘{print “mv “$0″ A_”$0}’
mv 1.jpp A_1.jpp
mv 2.jpp A_2.jpp
mv 3.jpp A_3.jpp
[root@CHSHA-CT-WWW-249 test]# ls|awk ‘{print “mv “$0″ A_”$0}’|bash
[root@CHSHA-CT-WWW-249 test]# ls
A_1.jpp A_2.jpp A_3.jpp
awk中运行shell命令并用awk的参数
awk '{system（“ls ” $1）'| some.txt
即 sytem（）括号内，加双引号的“”看待成shell命令，不加双引号的看待成awk环境变量，system("echo "$1"\"-->\""） shell命令内有双引号的，需要\转译。
ibv_devices
device node GUID
------ ----------------
rocep24s0f2 b69691fffea59b5e
rocep24s0f1 b69691fffea59b5d
rocep24s0f3 b69691fffea59b5f
rocep24s0f0 b69691fffea59b5c
ibv_devices|awk 'BEGIN{ echo "--"} /rocep/{system("echo "$1"\"-->\"`ls /sys/class/infiniband/"$1"/device/net`")} END{echo "--"}'
rocep24s0f2-->ens2f2
rocep24s0f1-->ens2f1
rocep24s0f3-->ens2f3
rocep24s0f0-->ens2f0
awk命令获取文本的某一行，某一列
NF代表一行的字段个数，NR代表文本文件的行数
1、打印文件的第一列(域) ： awk '{print $1}' filename
2、打印文件的前两列(域) ： awk '{print $1,$2}' filename
3、打印完第一列，然后打印第二列 ： awk '{print $1 $2}' filename
4、打印文本文件的总行数 ： awk 'END{print NR}' filename
5、打印文本第一行 ：awk 'NR==1{print}' filename
6、打印文本第二行第一列 ：sed -n "2, 1p" filename | awk 'print $1'
#(获取test文件的第4行)
#cat test| awk 'NR==4'或cat test|sed -n '4p'直接获取某一行的数据
shell里面的赋值方法有两种，格式为
1) arg=`(命令)`
2) arg=$(命令)
因此，如果想要把某一文件的总行数赋值给变量nlines，可以表达为：
1) nlines=`(awk 'END{print NR}' filename)`
或者
2) nlines=$(awk 'END{print NR}' filename)
AWK 技巧（取倒列，过滤行，匹配，不匹配，内置变量等）
wang 4
cui 3
zhao 4
liu 3
liu 3
chang 5
li 2
通过第一个域找出字符长度为4的
awk 'length($1)=="4"{print $1}'
当第二列值大于3时，创建空白文件，文件名为当前行第一个域$1 (touch $1)
执行系统命令
awk '{if($2>3){system ("touch "$1)}}'
将文档中 liu 字符串替换为 hong
gsub(/r/,"s",域) 在指定域(默认$0)中用s替代r (sed 's///g')
awk '{gsub(/liu/,"hong",$1);print $0}' a.txt
求第二列的和
列求和
df -h | awk '{a+=$2}END{print a}'
求第二列的平均值
列求平均值
df -h | awk '{a+=$2}END{print a/NR}'
df -h | awk '{a+=$2;b++}END{print a,a/b}'
求第二列中的最大值
列求最大值
df -h | awk 'BEGIN{a=0}{if($2>a) a=$2 }END{print a}'
将第一列过滤重复后，列出每一项，每一项的出现次数，每一项的大小总和
将第一列过滤重复列出每一项，每一项的出现次数，每一项的大小总和
awk '{a[$1]++;b[$1]+=$2}END{for(i in a){print i,a[i],b[i]}}'
定义分隔符|多个分隔符[]
ifconfig eth0|awk -F "[ :]+" 'NR==2{print $4 "/" $NF}'中"[ :]+" 是什么意思？
"[ :]+"这个是正则表达式（注意[]中的内容是 空格和：），+表示一个或多个，这里就表示一个或多个空格或冒号
1。内建变量FS保存输入域分隔符的值，默认是空格或tab。我们可以通过-F命令行选项修改FS的值。如$ awk -F: '{print $1,$5}' test将打印以冒号为分隔符的第一，第五列的内容。
2。-F指定分隔符，指定同时使用多个域分隔符时，应该把分隔符放到方括号中，如$awk -F'[ :\t]' '{print $1,$3}' test，表示以空格、冒号和tab作为分隔符。
下面我们来举个例子：
[root@master ~]# echo "inet addr:192.168.55.229 Bcast:192.168.55.255 Mask:255.255.255.0"|awk -F"[ :]" '{print $3}'
192.168.55.229
（[]中分别有 空格、： 两种分隔符）
ibv_devinfo|grep -A 17 rocep216s0f2 |grep active_mtu|awk '{print $3}'|awk -F "[()]" '{print $2}'
AWK 技巧（取倒列，过滤行，匹配，不匹配，内置变量等）
原文：AWK 技巧（取倒列，过滤行，匹配，不匹配，内置变量等） - 散尽浮华 - 博客园
使用awk取某一行数据中的倒数第N列：$(NF-(n-1))
比如取/etc/passwd文件中的第2列、倒数第1、倒数第2、倒数第4列（以冒号为分隔符）。（$NF表示倒数第一列，$(NF-1)表示倒数第二列）
[root@ipsan-node06 ~]# awk -F":" '{print $2,$(NF),$(NF-1),$(NF-3)}' /etc/passwd
将每一行中相同第一列对应的其他列进行拼接
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
|
Awk取文件中的指定数据
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
|
linux文件按大小来排序
|
1 2 3 4 5 6 |
|
定时删除resin日志的脚本，每小时删除一次
|
1 2 3 4 5 6 |
|
awk 获取某些列的某些行（打印或不打印第几行）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
|
awk中的"匹配"与"不匹配"
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
|
AWK的内置变量（NF、NR、FNR、FS、OFS、RS、ORS）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 |
|
AWK对文件的"某一列进行去重"的做法 (命令: awk '{a[$n]=$0}END{for(i in a)print a[i]}' filename)
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 |
|
AWK 将列转为行的做法
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 |
|
shell将多行转为一行（或将多行中的某一列转化为行）的做法
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 |
|
shell去掉最后一个字符的做法
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 |
|
shell取匹配行的前后n行
【shell】用 grep 查找包含字符串的文件|grep 过滤|取匹配行的前后n行_bandaoyu的note-CSDN博客_grep查询包含关键字的文件
awk如何调用带参数的自定义shell函数
刚刚有个网友问到在awk中如何调用shell自定义函数，之前没有用过，摸索了下，创建函数后只需要设置成全局函数就可以直接使用awk的两种方式调用了，代码如下：
点击(此处)折叠或打开
- #!/bin/bash
- a(){
- echo "hello admin";
- }
- export -f a
- awk 'BEGIN{"a"|getline test;print test }'
- awk 'BEGIN{system("a")}'
function add1()
{
result=`expr $1 + 1`
echo $result
}
export -f add1
awk 'BEGIN{p=3;"add1 "p|getline result;print result }'
awk格式化输出
和C语言的printf一样用
BEGIN { printf("%s:%-5.2f \n",“name”， 33.698); };
【Shell】awk命令--输出某列，列求和，列求平均值，列最大值，列去重复，取倒列，过滤行，匹配，不匹配，内置变量|定义分隔符|多个分隔符相关推荐
- 【Shell】awk命令--输出某列，列求和，列求平均值，列最大值，列去重复，取倒列，过滤行，匹配，不匹配，内置变量|定义分隔符|多个分隔符...
目录 awk基本语法 awk输出某几列 awk遍历文件行处理 awk中运行shell命令 方法1:awk 内置函数system 方法2 通过awk print 交给bash awk中运行shell命 ...
- awk取文本列_awk命令结构/内置变量/获取文本某行或某列
awk脚本基本结构 awk 'BEGIN{ print "start" }pattern{ commands }END{ print "end" }' file ...
- shell awk命令详解
shell awk命令详解 awk原理 格式 实操 相关内建变量 简易需求 进阶操作 高阶操作 awk原理 逐行读取文本,默认时以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中, ...
- linux awk拼接字符串,shell awk命令字符串拼接
摘要 腾兴网为您分享:shell awk命令字符串拼接,智联招聘,心视界,同花顺,手机管家等软件知识,以及一师一优课一课一名师登录,去视频水印,防沉迷解除,兼职猫招聘网,c4d渲染插件,社会实践活动登 ...
- 命令 —— awk内置变量（NF,NR,FS,FILENAME)
关于awk命令的几个内置变量(NF,NR,FS,FILENAME) 1.NF:支持记录域个数,在记录被读之后再设置例1 [root@redhat wilsontest]# pwd /tmp/wilso ...
- linux awk 内置变量实例
awk 是一门非常优秀的文本处理工具,甚至可以上升作为一门程序设计语言. 它处理文本的速度是快得惊人的,现在很多基于shell 日志分析工具都可以用它完成.特点是设计简单,速度表现很好,本文将介绍aw ...
- awk 内置变量与自定义变量
点击上方"生信科技爱好者",马上关注真爱,请置顶或星标 作者:ghostwu 原文:https://www.cnblogs.com/ghostwu/p/9085653.html A ...
- linux awk 内置变量使用介绍
awk是个优秀文本处理工具,可以说是一门程序设计语言.下面是awk内置变量. 一.内置变量表 属性 说明 $0 当前记录(作为单个变量) $1~$n 当前记录的第n个字段,字段间由FS分隔 FS 输入 ...
- linux内置变量大全,（转）linux awk 内置变量使用介绍
awk是个优秀文本处理工具,可以说是一门程序设计语言.下面是awk内置变量. 一.内置变量表 属性 说明 $0 当前记录(作为单个变量) $1~$n 当前记录的第n个字段,字段间由FS分隔 FS 输入 ...
最新文章
- C#读写xml文件最简单方法（操作配置文件）
- linux下iptables讲解
- BZOJ 2045 容斥原理
- 理论基础 —— 线性表 —— 顺序表
- STM8单片机 PWM无波形输出解决方法
- 关于hadoop2.4.1伪分布式系统的搭建
- mysql单个表_mysql – 哪个更有效：一个长单表还是分布表？为什么？
- sprint冲刺(第二天)
- 企业如何选择SSL证书?
- win版mysql下载_MYSQL下载及安装--windows版本
- 75道面试逻辑智力测试题内附详细答案
- C/C++语言经典、实用、趣味程序设计编程百例精解
- CCS 报警告 #10247-D
- 微服务网关SIA-GateWay使用指南 ===
- redis之AOF和RDB持久化
- 解决wordcloud导出图片不清楚
- matlab nlm,NLM.m · hr_yang/MatlabCode - Gitee.com
- “如果没有从事研发，学习自动化的我可能在装水表”
- python去掉两边空格,Python去除字符串两端空格的方法
- mysql8.0源代码解析_源码解读：MySQL 8.0 InnoDB无锁化设计的日志系统