在正则式中使用 Unicode

问题

你正在使用正则表达式处理文本，但是关注的是 Unicode 字符处理。

解法

默认情况下 re 模块已经对一些 Unicode 字符类有了基本的支持。比如， \d 已经匹配任意的 unicode 数字字符了：

>>> import re
>>> num = re.compile('\d+')
>>> # ASCII digits
>>> num.match('123')
<_sre.SRE_Match object at 0x1007d9ed0>
>>> # Arabic digits
>>> num.match('\u0661\u0662\u0663')
<_sre.SRE_Match object at 0x101234030>
>>>

如果你想在模式中包含指定的 Unicode 字符，你可以使用 Unicode 字符对应的转义序列 (比如 nuFFF 或者 nUFFFFFFF )。比如，下面是一个匹配几个不同阿拉伯编码页面中所有字符的正则表达式：

>>> arabic = re.compile('[\u0600-\u06ff\u0750-\u077f\u08a0-\u08ff]+')
>>>

当执行匹配和搜索操作的时候，最好是先标准化并且清理所有文本为标准化格式。但是同样也应该注意一些特殊情况，比如在忽略大小写匹配和大小写转换时的行为。

>>> pat = re.compile('stra\u00dfe', re.IGNORECASE)
>>> s = 'straße'
>>> pat.match(s) # Matches
<_sre.SRE_Match object at 0x10069d370>
>>> pat.match(s.upper()) # Doesn't match
>>> s.upper() # Case folds
'STRASSE'
>>>

讨论

混合使用 Unicode 和正则表达式通常会让你抓狂。如果你真的打算这样做的话，最好考虑下安装第三方正则式库，它们会为 Unicode 的大小写转换和其他大量有趣特性提供全面的支持，包括模糊匹配。

《Python Cookbook 3rd》笔记（2.10）：在正则式中使用 Unicode相关推荐

《Python Cookbook 3rd》笔记汇总
文章目录一.数据结构二.字符串和文本三.数字.日期和时间四.迭代器与生成器五.文件与IO 一.数据结构标题关键词 1.1:拆分序列后赋值给多个变量可迭代对象.拆分赋值 1.2:拆分任意 ...
《Python cookbook》笔记二
<Python cookbook>笔记二第二章字符串和文本 -使用多个界定符分割字符串- 你需要将一个字符串分割为多个字段,但是分隔符 (还有周围的空格) 并不是固定的. # str ...
Machine Learning with Python Cookbook 学习笔记第9章
Chapter 9. Dimensionality Reduction Using Feature Extraction 前言本笔记是针对人工智能典型算法的课程中Machine Learning w ...
《Python Cookbook 3rd》笔记（1.4）：查找最大或最小的N个元素
<Python Cookbook 3rd>1.4:查找最大或最小的N个元素问题怎样从一个集合中获得最大或者最小的N个元素列表? 解法 heapq 模块有两个函数:nlargest()和 ...
Python Cookbook 3rd Edition Documentation
Python Cookbook 3rd Edition Documentation 文章目录第一章:数据结构和算法 1.1 解压序列赋值给多个变量问题解决方案讨论 1.2 解压可迭代对象赋值给 ...
Machine Learning with Python Cookbook 学习笔记第8章
Chapter 8. Handling Images 前言本笔记是针对人工智能典型算法的课程中Machine Learning with Python Cookbook的学习笔记学习的实战代码都放 ...
北理工嵩天Python语言程序设计笔记（10 Python计算生态概览）
前言本文是对<北理工嵩天/黄天宇/礼欣 Python语言程序设计>的学习笔记,供自己查阅使用. 文章目录北理工嵩天Python语言程序设计笔记(目录) 北理工嵩天Python语言程序 ...
Machine Learning with Python Cookbook 学习笔记第6章
Chapter 6. Handling Text 本笔记是针对人工智能典型算法的课程中Machine Learning with Python Cookbook的学习笔记学习的实战代码都放在代码压缩 ...
《Python Cookbook 3rd》笔记（2.4）：字符串匹配和搜索
字符串匹配和搜索问题你想匹配或者搜索特定模式的文本解法如果你想匹配的是字面字符串,那么你通常只需要调用基本字符串方法就行,比如 str.find() , str.endswith() , st ...

《Python Cookbook 3rd》笔记（2.10）：在正则式中使用 Unicode

在正则式中使用 Unicode

问题

解法

讨论

《Python Cookbook 3rd》笔记（2.10）：在正则式中使用 Unicode相关推荐

最新文章

热门文章