Linux学习—

习题

awk打印奇/偶数行

/* sed实现 */
seq 10|sed -n "1~2p"
seq 10|sed -n "2~2p"
/* awk实现 */
seq 10|awk 'i=!i'
seq 10|awk '!(i=!i)'

筛选访问量超过80的ip（）

awk '{print $1}' ./access_log|sort|uniq -c|sort -nr|awk '$1>=80{print}'

随机取100个数，找出最大和最小值

/* 生成随机数 */(echo -n "$RANDOM";for((i=0;i<100;i++));do echo -n ",$RANDOM";done )>./random.txt
/* 比较 */awk -F"," '{max=$1;min=$1;i=2;while(i<=NF){if($i>max){max=$i}else if($i<min){min=$i};i++;}} END {print "Max="max"\n""Min="min}' random.txt
/* 检查 */cat random.txt|tr "," "\n" |sort -nr

awk实现1+2+..+100

/* 第一种方法 */awk 'BEGIN{sum=0;i=1;while(i<=100){sum+=i;i++}{print sum}}'
/* 第二种 */echo {1..100}|awk -F"+" awk'{sum=0;i=1;while(i<=100){sum+=i;i++;}{print sum}}'

计算平均成绩（先准备号文件并先筛选出需要的列）

/* 四个参数 */awk '!/^name/{if($3=="m"){score_m+=$2;num_m++}else if($3=="f"){score_f+=$2;num_f++}}END{print "av_m="score_m/num_m,"av_f="score_f/num_f}' ./score.txt
/* 两个参数 */awk '!(NR==1){score[$3]+=$2;num[$3]++}END{for(sex in num){if(sex=="m"){print "av_m="score[sex]/num[sex]}else if(sex=="f"){print "av_f="score[sex]/num[sex]}}}' ./score.txt awk 'NR!=1{score[$3]+=$2;num[$3]++}END{for(sex in num){print sex":av="score[sex]/num[sex]}}' ./score.txt

统计/etc/fstab文件中每个单词出现的次数

    awk '{for(i=1;i<=NF;i++)word[$i]++}END{for(i in word){print word[i],i}}' /etc/fstab

AWK

grep过滤文件
sed不光可以过滤，还可以写正则表达式修改文件
awk能格式化文本输出，让结果按着我们定义的语法格式输出

GNU awk（gawk）

基本用法
- awk [options] ‘program’ var=value file…，这里program是awk自己的格式
- awk [options] -f programfile var=value file…，也可以把内容写到文件中，再调用文件
- awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ...
awk 程序通常由：BEGIN语句块、能够使用模式匹配的通用语句块、 END语句块，共3部分组成
program被单/双引号引中，一般用单引号，program中的分隔符可以用双引号
选项
- -F 指明输入时用到的字段分隔符
- -v var=value: 自定义变量

awk语言

awk [options] 'program' file…

program:pattern{action statements;..}
pattern和action
- pattern部分决定动作语句何时触发及触发事件
- action statements对数据进行处理，放在{}内指明
分割符、域和记录
- 与shell中的$符号意义不同，awk执行时，由分隔符分隔的字段（域）标记$1,$2..$n称为域标识。 $0为所有域
- 文件的每一行称为记录
- 省略action，则默认执行 print $0 的操作
- 默认分隔符是空格

awk工作原理

第一步：执行BEGIN{action;… }语句块中的语句
第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
第三步：当读至输入流末尾时，执行END{action;…}语句块
BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

awk简单使用

awk '{print "hello,awk"}'

不说明内用来源的话，awk会根据接收的键盘输入来输出

awk –F: '{print}' /etc/passwd

打印/etc/passwd下的全部内容，不给定print的内容，默认全部打印$0

awk –F: ‘{print “wang”}’ /etc/passwd

根据条件筛选

awk –F: ‘{print $1}’ /etc/passwd

这里的$不是位置变量，而是域标识

awk –F: ‘{print $0}’ /etc/passwd

全部打印

awk –F: ‘{print $1” \t”$3}’ /etc/passwd

中间加入一个tab分隔符

tail –3 /etc/fstab |awk ‘{print $2,$4}'

awk支持接收管道输入

awk变量

变量：内置变量

FS：输入字段分隔符，默认为空白字符

awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd
awk –F: '{print $1,$3,$7}’ /etc/passwd

OFS：输出字段分隔符，默认为空白字符

awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd

RS：输入记录分隔符，指定输入时的换行符

awk -v RS=' ' ‘{print }’ /etc/passwd

ORS：输出记录分隔符，输出时用指定符号代替换行符

awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd 5.NF：字段数量
awk -F： ‘{print NF}’ /etc/fstab,引用内置变量不用$
awk -F: '{print $(NF-1)}' /etc/passwd

NR：记录号

awk '{print NR}' /etc/fstab ; awk END'{print NR}' /etc/fstab

FNR：各文件分别计数,记录号

awk '{print FNR}' /etc/fstab /etc/inittab

FILENAME：当前文件名

awk '{print FILENAME}’ /etc/fstab

ARGC：命令行参数的个数

awk '{print ARGC}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab

ARGV：数组，保存的是命令行所给定的各参数

awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

awk自定义变量（区分字符大小写）

-v var=value

awk -v test='hello gawk' '{print test}' /etc/fstab
awk -v test='hello gawk' 'BEGIN{print test}

在program中直接定义

awk 'BEGIN{test="hello,gawk";print test}'
awk –F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd
cat awkscript ;{print script,$1,$2} ;awk -F: -f awkscript script=“awk” /etc/passwd

printf

格式化输出：printf “FORMAT” , item1, item2, ...

必须指定FORMAT
不会自动换行，需要显式给出换行控制符，\n
FORMAT中需要分别为后面每个item指定格式符

格式符：与item一一对应

%c: 显示字符的ASCII码 -%d, %i: 显示十进制整数
%e, %E:显示科学计数法数值
%f：显示为浮点数
%g, %G：以科学计数法或浮点形式显示数值
%s：显示字符串
%u：无符号整数
%%: 显示%自身

修饰符

#[.#]：第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f
-: 左对齐（默认右对齐） %-15s
+：显示数值的正负符号 %+d

示例

awk -F: ‘{printf "%s",$1}’ /etc/passwd
awk -F: ‘{printf "%s\n",$1}’ /etc/passwd
awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd
awk -F: ‘{printf "Username: %s\n",$1}’ /etc/passwd
awk -F: ‘{printf “Username: %s,UID:%d\n",$1,$3}’ /etc/passwd
awk -F: ‘{printf "Username: %15s,UID:%d\n",$1,$3}’ /etc/passwd
awk -F: ‘{printf "Username: %-15s,UID:%d\n",$1,$3}’ /etc/passwd

操作符

算术操作符

+,-,*,/,^,%
-x转化为负数
+x转换为数值

赋值操作符

=, +=, -=, *=, /=, %=, ^=,++, --
注意分别i和i的区别

比较操作符

==, !=, >, >=, <, <=

模式匹配符

~：左边是否和右边匹配包含 !~：是否不匹配

df |awk -F" +|%" '$0 ~ /^\/dev\/sd/{print $1,$5}'

示例
- awk –F: '$0 ~ /root/{print $1}‘ /etc/passwd
- awk '$0~“^root"' /etc/passwd
- awk '$0 !~ /root/‘ /etc/passwd
- awk –F: ‘$3==0’ /etc/passwd

逻辑操作符

与&&,或||,非!；与shell表达式不同
示例
- awk –F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd
- awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd
- awk -F: ‘!($3==0) {print $1}' /etc/passwd
- awk -F: ‘!($3>=500) {print $3}’ /etc/passwd

三目（条件）表达式（条件？真...:假...）

awk -F: '{$3>=1000?a="common user":a="system user";printf("%-30s,%-s\n",$1,a)}' /etc/passwd

awk '/pattern/{...}'

未指定模式，那就匹配每一行
/pattern/仅处理pattern能够模式匹配到的行
- awk '/^UUID/{print $1}' /etc/fstab
- awk '!/^UUID/{print $1}' /etc/fstab
关系表达式，根据结果真假来处理，为真才会处理
- 真：满足条件；结果不为0；非空字符串，这些都是真
- 假：不满足条件；结果为0；空字符串，这些是假

/* 这里i=1后面省略了{print $0} */
1. awk -F: 'i=1;j=1{print i,j}' /etc/passwd
/* 为真值处理，为假值不处理 */
2. awk ‘!0’ /etc/passwd awk ‘!1’ /etc/passwd
/* 结果为真，输出1-10 */seq 10 |awk ‘i=1’
/* 结果为假，不处理 */
seq 10 |awk ‘i=0’
/* i初值为空，所以此时的实际条件是非空，即真，输出，下一步是非真，即假，不处理；最后输出奇数行 */
seq 10 | awk 'i=!i‘
seq 10 | awk '{i=!i;print i}‘
/* 输出偶数行 */
seq 10 | awk ‘!(i=!i)’
/* 先给i赋初值使其不为空，所以结果显示为偶数行 */
seq 10 |awk -v i=1 'i=!i'

line ranges行范围，与sed不同，不能直接用行号来匹配，需要NR记录号来进行匹配，也可以正则表达式匹配
- awk -F: 'NR>=1 && NR<=3' /etc/passwd
- sed -n '1,3p' /etc/passwd
- awk -F":" '/b/,/d/' /etc/passwd
- sed -n '/b/,/d/p' /etc/passwd
BEGIN/END模式
- BEGIN{}:仅在开始处理文件中的文本之前执行一次
- END{}:仅在文本处理完成之后执行一次

/* begin/end示例 */awk -F : 'BEGIN {print "USER USERID"} {print $1":"$3} END{print "end file"}'
/etc/passwd
/* begin和end单独使用 */awk -F : '{print "USER USERID“;print $1":"$3} END{print "end file"}' /etc/passwdawk -F: 'BEGIN{print " USER UID \n--------------- "}{print $1,$3}' /etc/passwdawk -F: 'BEGIN{print " USER UID \n--------------- "}{print $1,$3}'END{print
"=============="} /etc/passwd

awk action

组合语句{ statements;… }，支持多个命令输入，分号隔开

awk控制语句

{ statements;… } 组合语句，statements只有一个时，可以不加{}
if(condition) {statements;…}
if(condition) {statements;…} else {statements;…}
while(conditon) {statments;…}
do {statements;…} while(condition)
for(expr1;expr2;expr3) {statements;…}
break
continue
delete array[index]
delete array
exit

awk控制语句if-else

只有一个statements，{}可以不加

/* 筛选文件中出现连接50次以上的IP */awk -F" " '{print $1}' ./access_log |sort|uniq -c|sort -nr|awk '{if($1>50){print $0}}'
/* 其它示例 */awk -F: '{if($3>=1000)print $1,$3}' /etc/passwdawk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwdawk '{if(NF>5) print $0}' /etc/fstabawk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or Sysuser: %s\n",$1}}'
/etc/passwdawk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or Sysuser: %s\n",$1}'
/etc/passwddf -h|awk -F% '/^\/dev/{print $1}'|awk '$NF>=80{print $1,$5}‘awk 'BEGIN{ test=100;if(test>90){print "very good“}else if(test>60){ print "good"}else{print "no pass"}}'

awk控制语句while

语法：while(condition){statement;…}，条件为真进入循环，为假退出
使用场景

对一行内的多个字段逐一类似处理时使用
对数组中的各元素逐一处理时使用

do-while循环

do {statement;…}while(condition)
意义：无论真假，至少执行一次循环体

示例

awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i); i++}}' /etc/grub2.cfg
awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print
awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’ $i,length($i)}; i++}}’ /etc/grub2.cfg

for

语法：for(expr1;expr2;expr3) {statement;…}
特殊用法，可以遍历数组
示例

awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg

性能比较，awk>bc>while>for

switch

语法：switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2; ...; default: statementn}

其它控制语句

break和continue

/* 奇数和 */awk ‘BEGIN{sum=0;for(i=1;i<=100;i++)
{if(i%2==0)continue;sum+=i}print sum}‘
/# i=66结束循环输出结果#/awk ‘BEGIN{sum=0;for(i=1;i<=100;i++)
{if(i==66)break;sum+=i}print sum}

提前结束对本行处理而直接进入下一行处理（awk自身带的循环）

/* 跳过奇数行显示 */awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd

awk关联数组array[index-expression]

index-expression

可使用任意字符串；字符串要使用双引号括起来
如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”，不需要事先声明数组
若要判断数组中是否存在某元素，要使用“index in array” 格式进行遍历
- 使用for(var in array){for-body}循环遍历
- awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"] ="Tuesday";for(i in weekdays) {print weekdays[i]}}‘

示例

/* 不用声明自动创建数组 */awk 'BEGIN{weekdays["mon"]="Monday";
weekdays["tue"]="Tuesday";print weekdays["mon"]}‘
/* 去除冗余 */awk '!arr[$0]++' testfilesort -u testfile

键值对

arr["key"]=value

/* 使用相同属性作为下标标签 */netstat -tan | awk '/^tcp/{state[$NF]++}END
{for(i in state) { print i,state[i]}}'awk '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log

awk函数

数值处理

rand()：返回0-1之间的一个随机数，但是要实现随机，要先srand()

/* 生成一个随机数 */awk 'BEGIN{srand();print rand()}'
/* 取0-100之间的一个随机数 */awk 'BEGIN{srand();print rand()*100}'
/* 取随机数整数部分 */awk 'BEGIN{srand();print int(rand()*100)}'

字符串处理

length([s])：返回指定字符串的长度
sub(r,s,[t])，在t字符串中搜索r模式能匹配到的字符，并将第一个搜索到的结果用s替代
- echo "2008:08:08 08:08:08"|awk 'sub(/:/,"-",$1)'
- echo "2008:08:08 08:08:08"|awk 'sub(":","-",$1)'
gsub(r,s,[t])：在t字符串中搜索r模式能匹配到的字符内容，并全部替换为s所表示的内容
- echo "2008:08:08 08:08:08"|awk 'gsub(/:/,"-",$1)'
- echo "2008:08:08 08:08:08"|awk 'gsub(/:/,"-",$0)'

split(s,array,[r]):以r作为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，系统默认第一个索引值为1,第二个索引值为2,…

/* 两个数组,ip、count，实现查看IP地址连接情况 */netstat -nt|awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in count){print count[i],i}}'

自定义函数

    function name ( parameter, parameter, ... ) {statementsreturn expression

示例

    cat fun.awkfunction max(x,y) {x>y?var=x:var=yreturn var}BEGIN{a=3;b=2;print max(a,b)}awk –f fun.awk

awk中调用shelk命令

用system命令实现
除了awk的变量外其他一律用""引用起来

/* awk独自实现筛选异常数量连接的ipbing放到防火墙中 */awk '{ip[$1]++}END{for( i in ip){if(ip[i]>=1000)system("iptables -A INPUT -s "i" -j REJECT")}}' /var/log/httpd/access_log

awk脚本和向awk脚本中传递参数

把awk命令放到文件中，再用awk -f file调用就行了

    vim f1.awk{if($3>=1000)print $1,$3}
/* 保存退出 */awk -F: -f f1.awk /etc/passwd

写成脚本，附加执行权限

    cat f2.awk
/* 用的是/bin/awk */
#!/bin/awk –f
#this is a awk script{if($3>=1000)print $1,$3}
chmod +x f2.awk
path/f2.awk –F: /etc/passwd

向awk脚本中传递参数

awkfile var=value var2=value2... Inputfile
- 在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通过-v 参数，让awk在执行BEGIN之前得到变量的值。不过命令行中每一个指定的变量前都需要一个-v参数

cat test.awk
#!/bin/awk –f{if($3 >=min && $3<=max)print $1,$3}
chmod +x test.awk
test.awk -F: min=100 max=200 /etc/passwd
/* 也可以加上-v */
test.awk -F: -v min=100 -v max=200 /etc/passwd

Linux学习——awk相关推荐

Linux学习 - awk使用
欢迎关注微信公众号生信宝典:http://mp.weixin.qq.com/s/8wD14FXt7fLDo1BjJyT0ew Linux学习系列文章是生信宝典最开始主推的一块,力图从一个新额视角帮助初 ...
LINUX学习—AWK(LINUX三剑客）
awk是一个报告生成器,拥有强大的文本格式化能力: 也是一种文本处理工具,但其主要功能是从处理文件中按照输入的信息格式后显示的工具 awk是一种编程语言,支持条件判断.数组.循环等功能.用于在linu ...
linux学习-awk工具
awk是基于列的文本处理工具,它的工作方式是按行读取文本并视为一条记录,每条记录以字段分割成若干字段,然后输出个字段的值,事实上,awk是一种编程语言.awk认为文件都是结构化的,也就是说由单词和各种 ...
linux之awk命令学习笔记
Linux之awk命令学习笔记前言 AWK 是一种处理文本文件的语言,是一个强大的文本分析工具. 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, ...
Linux学习 - 常用和不太常用的实用awk命令
欢迎关注生信宝典:http://mp.weixin.qq.com/s/8wD14FXt7fLDo1BjJyT0ew Linux学习系列文章是生信宝典最开始主推的一块,力图从一个新额视角帮助初学者快速入 ...
java 执行 awk_3.1 biostar lesson3 linux学习日记;java版本;awk
又学一招,来自组织的微信群如果.bashrc 无法保存,解决方案删掉.swp 删掉.bashrc.bak 就OK conda 查看当前环境下,都安装了哪些软件 conda list 发现有一篇很好 ...
在Linux里awk与sed的区别,linux awk和sed讲解
sed 工具简介在了解了一些正规表示法的基础应用之后,再来呢?呵呵-两个东西可以玩一玩的,那就是 sed 跟 awk 了! 这两个家伙可是相当的有用的啊!举例来说,鸟哥写的 logfile.sh 分 ...
生信宝典Linux学习系列文章整理
欢迎关注天下博客:http://blog.genesino.com/2017/10/sxbd-linux-summary/ 生信宝典推出的Linux从入门到常用命令.软件安装方法.数据处理方法都在这了 ...
Linux学习笔记12——配置ftp、squid、Tomcat、Samba、MySQL主从
Linux学习笔记12 Linux学习笔记12 配置FTP服务配置pure-ftpd 开机启动上传下载文件配置vsftpd CentOS 70安装配置Vsftp服务器搭好vsftp之后出现55 ...

Linux学习——awk

习题

AWK

GNU awk（gawk）

awk语言

awk工作原理

awk简单使用

awk变量

变量：内置变量

awk自定义变量（区分字符大小写）

printf

操作符

awk action

awk控制语句if-else

awk控制语句while

for

switch

其它控制语句

awk关联数组array[index-expression]

awk函数

awk中调用shelk命令

awk脚本和向awk脚本中传递参数

Linux学习——awk相关推荐

最新文章

热门文章