AI基础:正则表达式
本文来源:https://github.com/ziishaned/learn-regex
作者:Zeeshan Ahmad
导语
正则表达式是一组由字母和符号组成的特殊文本,它可以用来从文本中找出满足你想要的格式的句子。本集讲解正则表达式。
我正在编写AI基础系列,目前已经发布:
AI 基础:简易数学入门
AI 基础:Python开发环境设置和小技巧
AI 基础:Python 简易入门
AI 基础:Numpy 简易入门
AI 基础:Pandas 简易入门
AI 基础:Scipy(科学计算库) 简易入门
AI基础:数据可视化简易入门(matplotlib和seaborn)
AI基础:机器学习库Scikit-learn的使用
AI基础:机器学习简易入门
AI基础:机器学习的损失函数
AI基础:机器学习和深度学习的练习数据
AI基础:特征工程-类别特征
AI基础:特征工程-数字特征处理
AI基础:自然语言处理基础之序列模型
AI基础:特征工程-文本特征处理
AI基础:词嵌入基础和Word2Vec
AI基础:图解Transformer
AI基础:一文看懂BERT
AI基础:入门人工智能必看的论文
AI基础:走进深度学习
AI基础:优化算法
AI基础:卷积神经网络
AI基础:经典卷积神经网络
AI基础:深度学习论文阅读路线(127篇经典论文下载)
AI基础:数据增强方法综述
AI基础:论文写作工具
后续持续更新
举例
一个正则表达式是一种从左到右匹配主体字符串的模式。“Regular expression”这个词比较拗口,我们常使用缩写的术语“regex”或“regexp”。正则表达式可以从一个基础字符串中根据一定的匹配模式替换文本中的字符串、验证表单、提取字符串等等。
想象你正在写一个应用,然后你想设定一个用户命名的规则,让用户名包含字符、数字、下划线和连字符,以及限制字符的个数,好让名字看起来没那么丑。我们使用以下正则表达式来验证一个用户名:
以上的正则表达式可以接受 john_doe
、jo-hn_doe
、john12_as
。但不匹配Jo
,因为它包含了大写的字母而且太短了。
目录
1. 基本匹配
2. 元字符
2.8.1 ^ 号
2.8.2 $ 号
2.3.1 * 号
2.3.2 + 号
2.3.3 ? 号
2.2.1 否定字符集
2.1 点运算符 .
2.2 字符集
2.3 重复次数
2.4 {} 号
2.5 (...) 特征标群
2.6 | 或运算符
2.7 转码特殊字符
2.8 锚点
3. 简写字符集
4. 零宽度断言(前后预查)
4.1 ?=... 正先行断言
4.2 ?!... 负先行断言
4.3 ?<= ... 正后发断言
4.4 ?<!... 负后发断言
5. 标志
5.1 忽略大小写(Case Insensitive)
5.2 全局搜索(Global search)
5.3 多行修饰符(Multiline)
额外补充
贡献
1. 基本匹配
正则表达式其实就是在执行搜索时的格式,它由一些字母和数字组合而成。例如:一个正则表达式 the
,它表示一个规则:由字母t
开始,接着是h
,再接着是e
。
"the" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/dmRygT/1)
正则表达式123
匹配字符串123
。它逐个字符的与输入的正则表达式做比较。
正则表达式是大小写敏感的,所以The
不会匹配the
。
"The" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/1paXsy/1)
2. 元字符
正则表达式主要依赖于元字符。元字符不代表他们本身的字面意思,他们都有特殊的含义。一些元字符写在方括号中的时候有一些特殊的意思。以下是一些元字符的介绍:
元字符 | 描述 |
---|---|
. | 句号匹配任意单个字符除了换行符。 |
[ ] | 字符种类。匹配方括号内的任意字符。 |
[^ ] | 否定的字符种类。匹配除了方括号里的任意字符 |
* | 匹配>=0个重复的在*号之前的字符。 |
+ | 匹配>=1个重复的+号前的字符。 |
? | 标记?之前的字符为可选. |
{n,m} | 匹配num个大括号之间的字符 (n <= num <= m). |
(xyz) | 字符集,匹配与 xyz 完全相等的字符串. |
| | 或运算符,匹配符号前或后的字符. |
\ |
转义字符,用于匹配一些保留的字符 [ ] ( ) { } . * + ? ^ $ \ |
|
^ | 从开始行开始匹配. |
$ | 从末端开始匹配. |
2.1 点运算符 .
.
是元字符中最简单的例子。.
匹配任意单个字符,但不匹配换行符。例如,表达式.ar
匹配一个任意字符后面跟着是a
和r
的字符串。
".ar" => The car parked in the garage.
在线练习:(https://regex101.com/r/xc9GkU/1)
2.2 字符集
字符集也叫做字符类。方括号用来指定一个字符集。在方括号中使用连字符来指定字符集的范围。在方括号中的字符集不关心顺序。例如,表达式[Tt]he
匹配 the
和 The
。
"[Tt]he" => The car parked in the garage.
在线练习:(https://regex101.com/r/2ITLQ4/1)
方括号的句号就表示句号。表达式 ar[.]
匹配 ar.
字符串
"ar[.]" => A garage is a good place to park a car.
在线练习:(https://regex101.com/r/wL3xtE/1)
2.2.1 否定字符集
一般来说 ^
表示一个字符串的开头,但它用在一个方括号的开头的时候,它表示这个字符集是否定的。例如,表达式[^c]ar
匹配一个后面跟着ar
的除了c
的任意字符。
"[^c]ar" => The car parked in the garage.
在线练习:(https://regex101.com/r/nNNlq3/1)
2.3 重复次数
后面跟着元字符 +
,*
or ?
的,用来指定匹配子模式的次数。这些元字符在不同的情况下有着不同的意思。
2.3.1 *
号
*
号匹配 在*
之前的字符出现大于等于0
次。例如,表达式 a*
匹配0或更多个以a开头的字符。表达式[a-z]*
匹配一个行中所有以小写字母开头的字符串。
"[a-z]*" => The car parked in the garage #21.
在线练习:(https://regex101.com/r/7m8me5/1)
*
字符和.
字符搭配可以匹配所有的字符.*
。*
和表示匹配空格的符号\s
连起来用,如表达式\s*cat\s*
匹配0或更多个空格开头和0或更多个空格结尾的cat字符串。
"\s*cat\s*" => The fat cat sat on the concatenation.
在线练习:(https://regex101.com/r/gGrwuz/1)
2.3.2 +
号
+
号匹配+
号之前的字符出现 >=1 次。例如表达式c.+t
匹配以首字母c
开头以t
结尾,中间跟着至少一个字符的字符串。
"c.+t" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/Dzf9Aa/1)
2.3.3 ?
号
在正则表达式中元字符 ?
标记在符号前面的字符为可选,即出现 0 或 1 次。例如,表达式 [T]?he
匹配字符串 he
和 The
。
"[T]he" => The car is parked in the garage.
在线练习:(https://regex101.com/r/cIg9zm/1)
"[T]?he" => The car is parked in the garage.
在线练习:(https://regex101.com/r/kPpO2x/1)
2.4 {}
号
在正则表达式中 {}
是一个量词,常用来一个或一组字符可以重复出现的次数。例如, 表达式 [0-9]{2,3}
匹配最少 2 位最多 3 位 0~9 的数字。
"[0-9]{2,3}" => The number was 9.9997 but we rounded it off to 10.0.
在线练习:(https://regex101.com/r/juM86s/1)
我们可以省略第二个参数。例如,[0-9]{2,}
匹配至少两位 0~9 的数字。
"[0-9]{2,}" => The number was 9.9997 but we rounded it off to 10.0.
在线练习:(https://regex101.com/r/Gdy4w5/1)
如果逗号也省略掉则表示重复固定的次数。例如,[0-9]{3}
匹配3位数字
"[0-9]{3}" => The number was 9.9997 but we rounded it off to 10.0.
在线练习:(https://regex101.com/r/Sivu30/1)
2.5 (...)
特征标群
特征标群是一组写在 (...)
中的子模式。例如之前说的 {}
是用来表示前面一个字符出现指定次数。但如果在 {}
前加入特征标群则表示整个标群内的字符重复 N 次。例如,表达式 (ab)*
匹配连续出现 0 或更多个 ab
。
我们还可以在 ()
中用或字符 |
表示或。例如,(c|g|p)ar
匹配 car
或 gar
或 par
.
"(c|g|p)ar" => The car is parked in the garage.
在线练习:(https://regex101.com/r/tUxrBG/1)
2.6 |
或运算符
或运算符就表示或,用作判断条件。
例如 (T|t)he|car
匹配 (T|t)he
或 car
。
"(T|t)he|car" => The car is parked in the garage.
在线练习:(https://regex101.com/r/fBXyX0/1)
2.7 转码特殊字符
反斜线 \
在表达式中用于转码紧跟其后的字符。用于指定 { } [ ] / \ + * . $ ^ | ?
这些特殊字符。如果想要匹配这些特殊字符则要在其前面加上反斜线 \
。
例如 .
是用来匹配除换行符外的所有字符的。如果想要匹配句子中的 .
则要写成 \.
以下这个例子 \.?
是选择性匹配.
"(f|c|m)at\.?" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/DOc5Nu/1)
2.8 锚点
在正则表达式中,想要匹配指定开头或结尾的字符串就要使用到锚点。^
指定开头,$
指定结尾。
2.8.1 ^
号
^
用来检查匹配的字符串是否在所匹配字符串的开头。
例如,在 abc
中使用表达式 ^a
会得到结果 a
。但如果使用 ^b
将匹配不到任何结果。因为在字符串 abc
中并不是以 b
开头。
例如,^(T|t)he
匹配以 The
或 the
开头的字符串。
"(T|t)he" => The car is parked in the garage.
在线练习:(https://regex101.com/r/5ljjgB/1)
"^(T|t)he" => The car is parked in the garage.
在线练习:(https://regex101.com/r/jXrKne/1)
2.8.2 $
号
同理于 ^
号,$
号用来匹配字符是否是最后一个。
例如,(at\.)$
匹配以 at.
结尾的字符串。
"(at\.)" => The fat cat. sat. on the mat.
在线练习:(https://regex101.com/r/y4Au4D/1)
"(at\.)$" => The fat cat. sat. on the mat.
在线练习:(https://regex101.com/r/t0AkOd/1)
3. 简写字符集
正则表达式提供一些常用的字符集简写。如下:
简写 | 描述 |
---|---|
. | 除换行符外的所有字符 |
\w |
匹配所有字母数字,等同于 [a-zA-Z0-9_]
|
\W |
匹配所有非字母数字,即符号,等同于:[^\w]
|
\d |
匹配数字:[0-9]
|
\D |
匹配非数字:[^\d]
|
\s |
匹配所有空格字符,等同于:[\t\n\f\r\p{Z}]
|
\S |
匹配所有非空格字符:[^\s]
|
\f | 匹配一个换页符 |
\n | 匹配一个换行符 |
\r | 匹配一个回车符 |
\t | 匹配一个制表符 |
\v | 匹配一个垂直制表符 |
\p |
匹配 CR/LF(等同于 \r\n ),用来匹配 DOS 行终止符
|
4. 零宽度断言(前后预查)
先行断言和后发断言都属于非捕获簇(不捕获文本 ,也不针对组合计进行计数)。先行断言用于判断所匹配的格式是否在另一个确定的格式之前,匹配结果不包含该确定格式(仅作为约束)。
例如,我们想要获得所有跟在 $
符号后的数字,我们可以使用正后发断言 (?<=\$)[0-9\.]*
。这个表达式匹配 $
开头,之后跟着 0,1,2,3,4,5,6,7,8,9,.
这些字符可以出现大于等于 0 次。
零宽度断言如下:
符号 | 描述 |
---|---|
?= | 正先行断言-存在 |
?! | 负先行断言-排除 |
?<= | 正后发断言-存在 |
?<! | 负后发断言-排除 |
4.1 ?=...
正先行断言
?=...
正先行断言,表示第一部分表达式之后必须跟着 ?=...
定义的表达式。
返回结果只包含满足匹配条件的第一部分表达式。定义一个正先行断言要使用 ()
。在括号内部使用一个问号和等号:(?=...)
。
正先行断言的内容写在括号中的等号后面。例如,表达式 (T|t)he(?=\sfat)
匹配 The
和 the
,在括号中我们又定义了正先行断言 (?=\sfat)
,即 The
和 the
后面紧跟着 (空格)fat
。
"(T|t)he(?=\sfat)" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/IDDARt/1)
4.2 ?!...
负先行断言
负先行断言 ?!
用于筛选所有匹配结果,筛选条件为 其后不跟随着断言中定义的格式。正先行断言
定义和 负先行断言
一样,区别就是 =
替换成 !
也就是 (?!...)
。
表达式 (T|t)he(?!\sfat)
匹配 The
和 the
,且其后不跟着 (空格)fat
。
"(T|t)he(?!\sfat)" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/V32Npg/1)
4.3 ?<= ...
正后发断言
正后发断言 记作(?<=...)
用于筛选所有匹配结果,筛选条件为 其前跟随着断言中定义的格式。例如,表达式 (?<=(T|t)he\s)(fat|mat)
匹配 fat
和 mat
,且其前跟着 The
或 the
。
"(?<=(T|t)he\s)(fat|mat)" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/avH165/1)
4.4 ?<!...
负后发断言
负后发断言 记作 (?<!...)
用于筛选所有匹配结果,筛选条件为 其前不跟随着断言中定义的格式。例如,表达式 (?<!(T|t)he\s)(cat)
匹配 cat
,且其前不跟着 The
或 the
。
"(?<!(T|t)he\s)(cat)" => The cat sat on cat.
在线练习:(https://regex101.com/r/8Efx5G/1)
5. 标志
标志也叫模式修正符,因为它可以用来修改表达式的搜索结果。这些标志可以任意的组合使用,它也是整个正则表达式的一部分。
标志 | 描述 |
---|---|
i | 忽略大小写。 |
g | 全局搜索。 |
m |
多行修饰符:锚点元字符 ^ $ 工作范围在每行的起始。
|
5.1 忽略大小写(Case Insensitive)
修饰语 i
用于忽略大小写。例如,表达式 /The/gi
表示在全局搜索 The
,在后面的 i
将其条件修改为忽略大小写,则变成搜索 the
和 The
,g
表示全局搜索。
"The" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/dpQyf9/1)
"/The/gi" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/ahfiuh/1)
5.2 全局搜索(Global search)
修饰符 g
常用于执行一个全局搜索匹配,即(不仅仅返回第一个匹配的,而是返回全部)。例如,表达式 /.(at)/g
表示搜索 任意字符(除了换行)+ at
,并返回全部结果。
"/.(at)/" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/jnk6gM/1)
"/.(at)/g" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/dO1nef/1)
5.3 多行修饰符(Multiline)
多行修饰符 m
常用于执行一个多行匹配。
像之前介绍的 (^,$)
用于检查格式是否是在待检测字符串的开头或结尾。但我们如果想要它在每行的开头和结尾生效,我们需要用到多行修饰符 m
。
例如,表达式 /at(.)?$/gm
表示小写字符 a
后跟小写字符 t
,末尾可选除换行符外任意字符。根据 m
修饰符,现在表达式匹配每行的结尾。
"/.at(.)?$/" => The fatcat saton the mat.
在线练习:(https://regex101.com/r/hoGMkP/1)
"/.at(.)?$/gm" => The fatcat saton the mat.
在线练习:(https://regex101.com/r/E88WE2/1)
6. 贪婪匹配与惰性匹配(Greedy vs lazy matching)
正则表达式默认采用贪婪匹配模式,在该模式下意味着会匹配尽可能长的子串。我们可以使用 ?
将贪婪匹配模式转化为惰性匹配模式。
"/(.*at)/" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/AyAdgJ/1)
"/(.*?at)/" => The fat cat sat on the mat.
在线练习:(https://regex101.com/r/AyAdgJ/2)
贡献
ziishaned@gmail.com
往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习在线手册深度学习在线手册AI基础下载(pdf更新到25集)备注:加入本站微信群或者qq群,请回复“加群”获取一折本站知识星球优惠券,请回复“知识星球”喜欢文章,点个在看
AI基础:正则表达式相关推荐
- AI基础:数据划分、超参数调整、正则化
本文来源于吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 导语 本文讲解机器学习的策略方面,包括数据划分.超参数调整.正则化等. 我正在编写AI基础系列,目前已经发布: AI 基础:简易 ...
- AI基础架构Pass Infrastructure
AI基础架构Pass Infrastructure • Operation Pass o OperationPass : Op-Specific o OperationPass : Op-Agnost ...
- 中国的“Databricks”们:打造AI基础架构,我们是认真的
AI落地最大的驱动因素是基础架构的升级. 近年来,大数据分析.AI等领域一直备受关注,常有引人关注的融资事件发生.美国数据科学公司Databricks刚刚在今年8月底完成了16亿美元H轮融资,其最新估 ...
- 金融业加速智能化,解析360金融AI基础架构和应用
传统金融信贷业务中,催收.客服及电销人员占比超过 60%,人员素质参差不齐的现状造成了管理成本过高的问题,由此衍生的客户体验差,也成为困扰金融业的一大通病. 8 月 15 日,在 360金融 AI 媒 ...
- AI基础:入门人工智能必看的论文【附下载链接】
0.导语 AI领域的发展会是IT中最快的.我们所看到的那些黑科技,其后面无不堆积了大量的论文.而且都是最新.最前沿的论文. 从某种调度来讲,他们所用的技术跟书籍里的内容确实不是一个时代.要想与时俱进, ...
- 快手刘霁:AI基础能力决定每个公司AI的迭代和落地效率丨MEET2020
快手这家短视频内容公司,已经成为人工智能C端落地的代表者. 面对海量的内容和内容生产者.消费者,快手无论是从对内容理解把控.消费分发还是各类商业化延伸应用,都将AI运用到了业务之中. 在短视频内容平台 ...
- 华为聚焦AI基础平台,加速行业智能化落地
https://www.toutiao.com/a6688975045215126020/ 2019-05-09 18:39:46 今日,在2019全球人工智能产品应用博览会上,华为公司云BU副总裁朱 ...
- IEEE Fellow、AI大牛田奇加入华为云!他为何而来?“加速AI基础研究落地”
金磊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 云+AI正在驱动的数字化.智能化变革趋势,现如今与新基建相辅相成,早已深入人心. 作为面向企业.行业和产业的基础变革,华为云入局时,最被外界 ...
- 入围CVPR最佳论文,这项AI基础研究让我们对虎牙刮目相看
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI AI正在变革视频行业,玩法越来越丰富. 近年来,越来越多的AI技术开始应用到视频网站中: 从简单的图像和行为识别,可以像文字搜索一样搜索图 ...
最新文章
- 3*3卷积+1*3卷积+3*1卷积=白给的精度提升
- c语言运动会分数统计系统_初学C语言Bug大赏
- 数字电路技术基础一二章
- numpy.argmax详解
- 用事件队列解决GUI的操作顺序问题(Qt中处理方法)
- 有研究irrlicht引擎的吗,交流交流
- 火柴人小程序linux,火柴人你瞅啥小程序
- Interval(区间类问题)
- 图标字体制作,mock数据
- 游戏目标的三个核心组成部分
- 樽海鞘算法(Salp Swarm Algorithm: SSA)
- Opencv-cvtColor
- —— GPS测量原理及应用复习-6 ——
- 恩布企业IM 1.8 版本,企业内部通讯软件
- Source Insight4.0字体大小及护眼背景配置
- unity2020新特性_Unity Hackweek 2020 –无论我们身在何处,
- 利用随机森林对特征重要性进行评估 方法一
- 通过docker搭建lamp+wordpress+ELK监控
- 汽车油门踏板传感器信号测量-汽修示波器
- 微软拼音输入法团队博客搬家通知
热门文章
- 如何用conda安装软件|处理conda安装工具的动态库问题
- java中日期格式转换
- OC中runtime的使用
- Apache CXF实现Web Service(3)——Tomcat容器和不借助Spring的普通Servlet实现JAX-RS(RESTful) web service...
- PHP-SESSION深入理解
- 我才知道wordpress还有com和org的区别呢
- python getopts_getopts用法
- html border阴影效果_一篇文章教会你使用html+css3制作炫酷效果
- ab plc软件_回收拆机拆厂二手机械设备回收PLC自动化物资回收【研发吧】
- 北斗导航 | 基于RTK的GNSS与多源融合定位技术发展与挑战