文本处理工具 awk-- 报告生成器

一、grep

grep
grep -E = egrep

grep 格式

grep 匹配条件处理文件

grep root passwd	过滤root关键字
grep ^root passwd	以root开头
grep root$ passwd	以root结尾
grep -i root passwd	忽略大小写
grep -E "\<root" passwd	root字符之前不能有字符
grep -E "root\>" passwd	root字符之后不能有字符
grep -数字	显示过滤行以及上面几行和下面几行
grep -n	显示匹配的行所在行号
grep -A	显示过滤行以及下面几行
grep -B	显示过滤行以及上面几行
grep -v	反向过滤

grep字符数量匹配规则
^westos	以westos开头
westos$	以westos结尾
w....s	w开头s结尾中间4个任意字符
.....s	s结尾前面5个任意字符
*	字符出现任意
?	0到1次
+	1次到任意次
{n}	n次
{m,n}	m到n次
{0,n}	0-n次
{,n}	0-n次
{m,}	最少m次
(lee){2}	lee字符串出现2次

练习脚本：
请显示系统中能被su命令切换的用户名称

#!/bin/bash
grep -E "$(cat /etc/shells)" /etc/passwd | cut -d : -f 1

二、sed

命令格式：
sed 参数 命令 处理对象
sed 参数 处理对象 -f 处理规则文件

对字符的处理
p	显示
sed -n 5p westos	显示第五行
sed -n 3,5p westos	显示3到5行
sed -ne "3p;5p westos	显示3和5行
sed -ne 1,5p westos	1-5行
sed -ne '5,$p' westos	5到最后以行
sed -n '/^#/p' fstab	显示以#开头的行

d	删除
sed 5d westos	删除第五行
sed '/^#/d' fstab	把#开头的行删除
sed '/^UUID/!d' fstab	除了UUID以外的行都删除
sed -e '5,$d' westos
-e 多行策略

a	添加
sed -e '$a hello world' fstab
sed -e '$a hello\nworld' fstab
sed -e '/^#/a hello world' fstab

c	替换
sed -e '/^#/c hello world' fstab
sed '5chello world' westos

w	把符合的行写到指定文件中
sed '/^UUID/w westofile' westos ##把westos中UUID开头的行写入westosfile中

i	插入
sed '5ihello westos' westos

r	整合文件
sed '5r haha' westos

sed	字符替换
sed 's/:/###/g' westos
sed 's/:/###/' westos
sed 's/:/###/g' westos
sed '1,5s/:/###/g' westos
sed '1s/:/###/g' westos
sed '1s/:/###/g;5s/:/###/g' westos
sed '/lp/,/shutdown/s/:/###/g' westos
sed 's/\//####/g' westos
sed 's@/@####@g' westos

sed 's@/@####@g' -i westos 把sed处理的内容保存到westos文件中

练习及脚本
Apache_port.sh
此脚本后介入数字
http的端口就改为此数字
假设selinux为关闭状态

#!/bin/bash
[ -z $1 ] && {echo -e "\033[31mError:Please input port following script\033[0m"exit
}
rpm -q httpd &> /dev/null || {echo -e "\033[31mError:Apache is not installed !! \033[0m"exit
}
[ "$USER" != "root" ] && {echo -e "\033[31mError:Please run script with root !!\033[0m"exit
}
netstat -antlpue | grep -E ":$1\>" &> /dev/null &&{echo -e "\033[31mError:Port $1 is in used !!\033[0m"exit
}sed "/^Listen/cListen $1" -i /etc/httpd/conf/httpd.confsystemctl restart httpd

三、awk

wk:报告生成器
处理机制：awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后一行做一些总结性质的工作，在命令格式上分别体现如下
BEGIN{}:读入第一行文本之前执行，一般用来做初始化操作
{}： 逐行处理，逐行读入文本执行相应的处理，是最常见的编辑指令块
END{}:处理完最后一行文本之后执行，一般用来输出处理结果

awk -F 分隔符 BEGIN{}{}END{} FILENAMENR     #行数
NF      #列数
FILENAME    #文件名称本身
westos      #westos变量值
“westos”    #westos字符串/bash$/           #条件
/条件1|条件2/       #条件1或者条件2
/条件1/||/条件2/    #条件1或者条件2
/条件1/&&/条件2/    #条件1并且条件2$0         #所有的列
$1          #第一列
$2          #第二列
$3          #第三列

#/etc/passwd文件的第六列没有home关键字并且以bash结尾的行
awk -F : '$6!~/home/&&/bash$/{print}' /etc/passwd

课后练习：

1、抓取主机ip的方法：

2、统计杂在系统中能su切换的并且用户加目录不在/home下的用户数量

awk -F : 'BEGIN{n=0}$6~/home/&&/bash$/{n++}END{print n}' /etc/passwd

文本处理工具 awk-- 报告生成器相关推荐

shell编程之文本处理工具awk
shell编程之文本处理工具awk 文章目录 shell编程之文本处理工具awk 一.awk介绍 1. awk概述 2. awk能干啥? 二.awk使用方式 1. ==命令行模式使用== ㈠语法结构 ...
文本处理工具AWK详解
awk简介 awk: 中文意思是报告生成器能够根据我们输入的信息,将信息格式化以后显示,将定义好的信息以比较美观(直观)的方式显示出来出现比较早,继而出现了new awk(nawk)在windows ...
Linux命令：文本处理工具awk详解
awk命令简介: awk是一个强大的文本分析工具,通常,awk是以文件的每一行,为处理单位的.awk每接收文件的一行,然后执行相应的命令,来处理文本. 1．命令格式: awk 'pattern {a ...
linux文本分析工具awk解读
awk是一个强大的文本分析工具,相对于grep的查找.sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.awk把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. ...
2019-8-20 [Linux] 6.Shell的基本操作查看改变列出阅读开头/结尾循环查看阅读工具less 查找文件内容文本分析工具AWK 文本编辑工具SED文件find 帮助man
文章目录 6.linuxShell的基本操作 6.1 查看目录和文件 6.1.1 显示当前目录:pwd 6.1.2 改变目录:cd 6.1.3 列出目录内容:ls 1) 查看列表信息以及详细信息 2 ...
shell mysql awk_今日推荐：shell 三剑客之文本处理工具awk
背景 awk 是一个文本处理工具,通常用于处理数据并生成结果报告. awk 的命名是它的创始人 Alfred Aho.Peter Weinberger 和 Brian Kernighan 姓氏的首个字 ...
ceb 抽取 linux 工具,Linux 文本处理工具awk(示例代码)
很好用的文本处理工具,尤其是变量跟控制语句,使用超赞. 个人理解大致流程如下 1.正常输出 # $0表示正行默认是按照行分割 $1 $2 #----------------------------- ...
【Linux学习】强大的文本分析工具AWK
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符. 调用AWK: 1.命令行 ...
linux——awk 报告生成器
awk awk 基本用法 linux 系统中默认使用gawk awk命令形式: awk [-F|-f|-v] 'BEGIN{} //{command1; command2} END{}' file [ ...
awk文本分析工具用法
文本分析工具 awk awkawk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将 ...

文本处理工具 awk-- 报告生成器

一、grep

二、sed

三、awk

文本处理工具 awk-- 报告生成器相关推荐

最新文章

热门文章