三剑客(grep,awk,sed)+正则表达式
grep
grep -v 取反
除了root用户,显示其他用户
grep -m 数字 多个匹配的,只取第几个
grep -i 不区分大小写
grep -c 显示过滤的个数
grep -o 只显示匹配的内容
grep -q 静默模式,不显示匹配的内容
如果想展示匹配的内容,可以将他重定向到一个新的文件中
grep -A 数字 只要匹配到一个,就把后面的几行一起展示出来
grep -B 数字 只要匹配到一个,就把前面的几行一起展示出来
grep -C 数字 只要匹配到一个,就把前面和后面的几行一起展示
grep -e 逻辑或
grep -w 精确匹配整个单词
grep -E 使用扩展正则表达式
grep-F 不支持扩展正则表达式
grep -f 以第一个文件为参照物,匹配文件2中所有包括文件1的内容
grep -r 递归目录,但不处理软链接
grep -R 递归目录,可以处理软链接
sort
以行为单位对文件内容进行排序,也可以根据不同的数据类型来排序
sort -f 忽略大小写,默认会大写字母排在前面
sort -b 忽略每行前面的空格
sort-n:按照数字进行排序
sort -r 反向排序
sort -u 去重
sort -t 指定字段分隔符,默认使用tab键分隔
sort -k 指定排序字段
sort -o 将排序的结果转存至指定文件
uniq
uniq命令用于报告或者忽略文件中连续的重复行,常与sort命令结合使用。
uniq -c 统计连续重复的行的次数,并且合并重复的行
uniq -u显示仅出现一次的行(包括不连续的重复行)
uniq -d 仅显示重复出现的行(的重复行)
tr
常用于对来自标准输入的字符进行替换、压缩和删除
tr -c 保留字符集1的字符,其他的字符(包括换行符\n)用字符集2替换
tr -d :删除所有属于字符集1的字符
tr -s : 将重复出现的字符串压缩为一个字符串,用字符集2 替换 字符集1
-t:字符集2 替换 字符集1,不加也行
cut
对字段进行截取和剪裁
cut -d 指定分隔符(默认分隔符为Tab)
cut -f 按字段进行截取
以":"作为分隔符,指定第一个到第三个字段进行输出
cut -b 以字节为单位进行截取
cut -c 以字符为单位进行截取
cut –complement 排除所指定的字段
以:为分隔符,打印除了第二个字段
cut -output-delimiter 更改输出内容的分隔符
以:为分隔符,将1-5列的分隔符替换成#,并打印出来
split
split命令用于在Linux下将大文件拆分为若干小文件。
格式:split 选项 参数 原始文件 拆分后文件名前缀
split -l 指定行数拆分
split -b 指定文件大小
paste
按照字段来进行文件的合并
paste是左右合并
cat是上下合并
paste -d用于指定文件的分隔符(默认情况下为制表符"\n")
paste -s将列和行的内容进行互相交换
通配符
*:通配符匹配任意一个或多个字符
?:匹配一个任意字符(只能匹配一个)
[ ] 匹配列表中的任意单个字符
基本正则表示式
[a-zA-Z] #同时匹配大小写
. 匹配任意单个字符,可以是一个汉字
\. 转义字符+. 表示单个一个点
匹配空格 [[:space:]]
表示次数
* 匹配前面的字符任意次,包括0次
o不管有多少个,都能匹配出来,没有也可以匹配
.* 任意长度的任意字符,不包括0次,也就是匹配所有
o出现>=1次
\? 匹配其前面的字符出现0次或1次,即:可有可无
o只能有1个或者没有
\+ 匹配其前面的字符出现最少1次,即:肯定有且 >=1 次
o至少出现一次
\{n\} 匹配前面的字符n次
o只能出现2次
\{m,n\} 匹配前面的字符至少m次,至多n次
o出现至少2次,最多5次
\{,n\} 匹配前面的字符至多n次,<=n
g出现的次数必须小于4次,包含0次
\{n,\} 匹配前面的字符至少n次
o出现2次以上
位置锚定
^ 行首锚定, 用于模式的最左侧
grep "^root$" 过滤出只有root的这一行
过滤出不是以“#”开头的
^$ 只取空行 grep "^[[:space:]]*$"
$ 行尾锚定,用于模式的最右侧
\< 或 \b 词首锚定,用于单词模式的左侧(连续的数字,字母,下划线都算单词内部)
\> 或 \b 词尾锚定,用于单词模式的右侧
只能用于单词的匹配
分组
() 将多个字符捆绑在一起,当作一个整体处理
后面的数,是前面所要分组的字符串的倍数
\| :或者
匹配1或者2bc,有一个即可
匹配1abc或者2abc,有一个即可
扩展正则表示式
没有\,用grep -E ,用法与基本正则表示式类似
举例
匹配座机号
025-83346023
0510-8776655
0527-9888899
匹配手机号
15251391719
18851996919
15264307896
匹配邮箱
y@126.com
544564317@qq.com
CICIfireway@126.com
aabb556644@163.com
192AAAbc44@189.com
sed
主要是对文件内容按照行的方式进行增删改查
工作流程
sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,
称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,
把缓冲区的内容送往屏幕。
接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。
Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等
sed 流编辑器的工作过程
sed的工作流程主要包括读取、执行和显示三个过程:
读取: sed从输入流 (文件、管道、标准输入) 中读取一行内容并
存储到临时的缓冲区中(又称模式空间,pattern space )。
执行: 默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,
否则sed命令将会在所有的行上依次执行。
显示: 发送修改后的内容到输出流。在发送数据后,
模式空间将会被清空。在所有的文件内容都被处理完成之前,上述过程将重复执行,
直至所有内容被处理完。
在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完。
注意:默认情况下所有的sed命令都是在模式空间内执行的,
因此输入的文件并不会发生任何变化,除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。
sed命令的常用选项
-e 或--expression=:表示用指定命令来处理输入的文本文件,只有一个操作命令时可省略,一般在执行多个操作命令使用
-f 或--file=:表示用指定的脚本文件来处理输入的文本文件。
-h 或--help:显示帮助。
-i 直接修改目标文本文件
-n 仅显示script处理后的结果
sed命令的操作符
s:替换,替换指定字符。ky27 kyy27
d:删除,删除选定的行。
a:增加,在当前行下面增加一行指定内容。
i:插入,在选定行上面插入一行指定内容。
c:替换,将选定行替换为指定内容。
y:字符转换,转换前后的字符长度必须相同。
p:打印,如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容;如果有非打印字符,则以 ASCII 码输出。其通常与“-n”选项一起使用。
=:打印行号。
l(小写L):打印数据流中的文本和不可打印的ASCII字符(比如结束符$、制表符\t)
r:高级正则表达式
查找
按照行号寻址打印
sed有一个默认输出,加上P,会打印两遍,因此需要加上-n,禁止默认输出
只打印第二行
只显示行号
显示行号及内容
只打印最后一行
进行行号范围区间的打印
打印1-3行
打印第二行到最后一行
打印2-4行
指定间隔打印
打印第二行和最后一行
对奇数行和偶数行的打印
打印偶数行(n:跳过第一行,打印第二行)
打印奇数行(n:打印第一行,跳过下一行,继续打印)
文本模式过滤行内容
对包含的字符串进行过滤打印
打印包含a的所有行
应用基础正则表达式进行打印
打印以root开头的行
打印以bash结尾的行
从第四行开始,一直打印到第一个以bash为结尾的所在行
使用扩展正则表达式进行打印
sed -r 支持扩展正则表达式。同时在 使用{n}、{n,}、{n,m}时,括号{}前不需要加反斜杠\ 。
包含有两个99:的内容所在行
删除
通过行号进行删除
删除所有,什么也不打印
只删除第三行
删除2-4行
删除第2行到最后一行
除了2-4行,别的都删除
匹配字符串内容删除
删除包含111的行
删除包含111和222的行
除了111和222,别的行都删了
字符串搭配正则进行删除
删除空行
删除空行的三种方法
grep -v "^$" test1.txt ----过滤出非空行
cat test1.txt |tr -s "\n" ----压缩换行符
sed '/^$/d' test1.txt ----删除空行
替换
s:替换字符串(替换内容长度可不一致)
c:整行替换
y:字符替换,替换前后的字符串长度必须相同
指定第二个root,替换为了test
把所有的root改成test
把root开头的空格替换成#注释掉
把大写改成小写(l&是转换小写的一种特殊的符号,前面要加转义符“\”)
把小写改成大写(u&是转换首字母大写的一种特殊的符号,前面要加转义符“\”)
把有aaa的行全部整行替换成qzz
把单字符a和6分别替换成q和z
增加
a:在下一行添加内容
i:在上一行插入内容
r:在行后读入文件内容
在111这行下面插入three
在333的前一行插入four
先读取test1里面的内容,把他插入到test2的行后
sed命令中字符串和字符的位置交换
awk
工作原理:
sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后再进行处理,
且默认情况下字段的分隔符为空格或 tab 键。
awk 执行结果可以通过 print 的功能将字段数据打印显示
awk的基本格式及其内置变量:
awk 选项 '模式或条件 {操作}' 文件1 文件2...
-F “分隔符” 指明输入时用到的字段分隔符,默认的分隔符是若干个连续空白符
-v(小v) var=value 变量赋值
注意一定是单引号:'模式或条件 {操作}'
{ }外指定条件,{ }内指定操作。
用逗号指定连续的行,用 || 指定不连续的行。&&表示”且“。
内建变量,不能用双引号括起来,不然系统会把它当成字符串。
内置变量
$0:当前处理的行的整行内容
$n:当前处理行的第n个字段(第n列)
NR:当前处理的行的行号(序数)
NF:当前处理的行的字段个数。$NF代表最后一个字段
FS:列分割符。指定每行文本的字段分隔符,输入内容的分隔符,
默认为空格或制表位。与"-F"作用相同 用-F可以不加单引号 -F:,用FS必须用=""
OFS:输出内容的列分隔符
FILENAME:被处理的文件名
RS:行分隔符。awk从文件中读取资料时,
将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录进行处理。预设值是"\n"
直接打印所有内容
取每一行的第一列
打印行号,及所有内容
打印第三行
打印2-4行
打印第2行和第4行
用正则表达式打印2-4行
打印偶数行
打印奇数行
awk的运算
可以进行小数和整数的运算,还能进行幂的计算
算100+200的和
求3的2次方
getline
getline的工作过程:
1、当getline左右无重定向符号(“<”)或者管道符号(“|”)时,
awk首先读取的是第一行,而getline获取的是光标跳转至下一行的内容(也就是第二行)。
2、当getline左右有管道符号或重定向符时,
getline则作用定向输入文件,由于文件是刚打开,并没有被awk读入一行,
而只是getline读入,所以getline返回的是文件的第一行,而不是跳转至一行输入
原因:getline运行之后awk会改变NF,NR,$0,FNR等内部变量,所以此时读取$0的行号不再为1,而是2
打印偶数行
打印奇数行
把test1的内容传给函数getline,getline获取后把他打印出来并传给test
把ls的结果传给函数getline后,赋值给变量line,并把line的值打印出来
文本内容匹配过滤打印
打印出以root开头的
打印出以bash结尾的
BEIGIN模式指定BEGIN打印模式
格式:awk 'BEGIN{...};{...};END{...}' 文件
处理过程:
1、在awk处理指定的文本之前,需要先执行BEGIN{...}模式里的命令操作
2、中间的{...} 是真正用于处理文件的命令操作
3.在awk处理完文件后才会执行END{...}模式里的命令操作。END{ }语句块中,往往会放入打印结果等语句。
x的变量范围是根据文本中内容的行数来的
对字段进行处理打印
以:为分隔符,打印第一列
-v的用法:变量赋值
将输入的时候的分隔符:改成+输出,打印第一列和第三列
以:为分隔符,换行输出
#默认就是换行输出,不需要改
BEIGIN模式指定打印内容
以:为分隔符打印第一列
条件判断打印
如果第三列uid大于500,打印出来
如果第三列uid不大于500,打印出来
awk的三元表达式与精准筛选用法
awk的三元表达式继承了java的用法,格式与Java相似
格式:awk '(条件表达式)?(A表达式或者值):(B表达式或者值)'
以:为分隔符,如果$3大于$4,则打印$3,否则打印$4
awk的精准筛选:
$n(> < ==): 用于对比数值
$n~"字符串": 代表第n个字段包含某个字符串
$n!~"字符串": 代表第n个字段不包含某个字符串
$n=="字符串": 代表第n个字段为某个字符串
$n!="字符串": 代表第n个字段不为某个字符串
$NF: 代表最后一个字段
输出第七个字段包含“bash”所在行的第一个字段和最后一个字段
输出第七个字段不包含“nologin”所在行的第一个字段和最后一个字段
输出第六个字段为/home/qiao,第七个字段为/bin/bash的这些行的第一列和最后一列
指定输出的分隔符
OFS:输出内容的列分隔符。($n=$n用于激活,否则不生效,n必须存在)
对于输出时改变分隔符,我们常用到tr,awk,它们都可以实现在输出内容改变原本的分隔符
输出时将分隔符改成:
数组
定义数组打印
awk中的数组形成遍历,在awk中打印变量不需要加$
数组去重
索引号可以是数字,字符
统计索引号出现的次数
遍历行数
索引号是文本里面的内容,对索引号进行计数
三剑客(grep,awk,sed)+正则表达式相关推荐
- 五分钟入门文本处理三剑客grep awk sed
点击上方 好好学java ,选择 星标 公众号 重磅资讯.干货,第一时间送达 今日推荐:Spring Boot + Vue 如此强大?竟然可以开发基于 C/S 架构的应用个人原创+1博客:点击前往,查 ...
- awk处理带有空格的字符串_五分钟入门文本处理三剑客grep awk sed
介绍 grep awk sed是Linux下文本处理常用的命令,能完成很多神奇的操作,今天就分享一下这三个命令最常见的用法 grep 使用一般有如下两种形式 第一种形式 grep [option] [ ...
- 利器 | 测试必会之 Linux 三剑客 ( grep / awk / sed )
本文为霍格沃兹测试学院优秀学员课程学习系列笔记,想一起系统进阶的同学文末加群交流. Linux 给人的印象是黑乎乎的神秘窗口,文本操作和数据处理似乎没有 Windows 窗口界面直观方便.其实Linu ...
- Linux文本三剑客(grep、sed、awk)
目录 grep 1.什么是grep和rgrep? 2.使用grep 2.1.命令格式 2.2.命令功能 2.3.命令参数 3.实战演示 sed 1.认识sed 2.使用sed 2.1.命令格式 2.2 ...
- Linux文本三剑客--grep、sed、awk
Linux文本三剑客–grep.sed.awk 文章目录 Linux文本三剑客--grep.sed.awk 1.grep 1.1什么是grep 1.2使用grep 命令格式 命令参数 基本正则表表达式 ...
- cut\grep\awk\sed命令详解
cut\grep\awk\sed命令详解 1.cut命令详解及实例 (1)作用:提取文件中指定的列 语法格式:cut 选项 文件名 (2)选项作用: -d 分隔符 按照指定的 ...
- 【Linux上分之路】第十二篇:Linux三剑客grep、sed、awk
文章目录 Linux三剑客 三剑客特点及应用场景 grep grep命令的基本格式 grep范例 grep命令选项 -A.-B -c.-v -n.-w sed sed命令基本格式 sed命令功能 se ...
- 28.文本处理三剑客grep,sed,awk
三剑客的功能非常强大,但我们只需要掌握他们分别擅长的领域即可:grep擅长查找功能,sed擅长取行和替换,awk擅长取列. 目录 一.grep 二.sed sed选项 sed内置常用命令字符 sed匹 ...
- grep awk sed 实例
原文地址:http://blog.chinaunix.net/uid-16987232-id-3592539.html 文本过滤 5.1正则表达式 一种用来描述文本模式的特殊语法 由普通字符(例如字符 ...
- Linux三剑客:grep、sed、awk
通配符 通配符 含义 * 匹配任意长度的字符 ? 匹配任 ...
最新文章
- 乔布斯诞辰67周年,他的这些思想仍值得我们学习
- Java实现队列 链式存储结构
- composer 修改为 国内镜像
- Struts2 数据标签
- cr3格式怎么转换成jpg_pdf怎么转换成jpg图片?成为办公大神的第一步!
- 使用WinSetupFromUSB来U盘安装windowsXP(不使用win PE系统)
- python bottle部署g_python bottle框架(WEB开发、运维开发)教程 | linux系统运维
- #前端# 解决前端页面滑动不顺畅的问题
- ipsec *** 的总结性谈论
- kali字典_Web渗透测试——暴力破解字典制作工具的使用2
- 串口通信软件AccessPort
- Gitblit安装遇到的一些问题
- 再不跳槽,应届毕业生拿的都比我多了!
- P1526 [NOI2003] 智破连环阵 题解
- python中颜色红色的表示_matplotlib中的绿色到红色的颜色映射,以d的中值为中心...
- php处理emoji表情方法,PHP实战:3种方法轻松处理php开发中emoji表情的问题
- Python写简单的拼图小游戏
- 前端工程化-基于Taro的Web端Monorepo架构改造
- 《克隆人的进攻》面向对象Java版
- Rasbian系统 树莓派Python环境搭建
热门文章
- GIT基本操作指南搜集
- 支持第三方认证用户开启MFA认证流程,支持工单申请Redis数据库应用,JumpServer堡垒机v2.19.0发布
- ColossalAI-Chat训练手册(RLHF)
- 【机器学习算法实战3】产品营销模型之建置及预测(CDA赛题)
- 分享海思hi3516DV300开发核心板4MP@30fps@1.0Tops神经加速引擎集成AI
- 小知识:店(てん)、屋(や)、店(みせ)有什么区别
- 算法竞赛入门经典第4章 【uvaoj习题(一)】
- [centos]centos7卸载显卡驱动
- SICP--Scheme语言编辑器Racket安装和配置
- 微型计算机原理与应用田瑞庭,可编程控制器原理与应用-教学大纲.doc