2.9Unicode 文本标准化

问题

你正在处理Unicode字符串，需要确保所有字符串在底层有相同的表示。

解决方案

在Unicode中，某些字符能够用多个合法的编码表示。为了说明，考虑下面的这个列子：

s1='Spicy Jalape\u00f1o'
s2='Spicy Jalapen\u0303o'
print(s1) # ->Spicy Jalapeño
print(s2)   # ->Spicy Jalapeñoprint(len(s1))  # ->14
print(len(s2))  # ->15
print(s1==s2)   # ->False

这里的文本Spicy Jalapeño使用了两种形式来显示。第一种使用整数字符“ñ”（U+00F1)，第二种使用拉丁文字母“n”后面跟一个“~”的组合字符（U+0303)。

在需要比较字符串的程度中使用字符的多种表示会产生问题。为了修正这个问题，你可以使用unicodedata模块先将文本标准化：

import unicodedatat1=unicodedata.normalize('NFC',s1)
t2=unicodedata.normalize('NFC',s2)
print(t1==t2) # ->True
print(ascii(t1))  # ->'Spicy Jalape\xf1o'
t3=unicodedata.normalize('NFD',s1)
t4=unicodedata.normalize('NFD',s2)
print(t3==t4)  # ->True

normalize（）第一个参数指定字符串标准化的方式。NFC表示字符应该是整体组成（比如可能的话就使用单一的编码），而NFD表示字符应该分解为多个组合字符表示。

python同样支持扩展的标准化形式NFKC和NFKD，它们在处理某些字符的时候增加看额外的兼容特性。比如：

s='\ufb01'
print(s) #->fi
print(unicodedata.normalize('NFD',s))  # ->ﬁ
print(unicodedata.normalize('NFKD',s))  # ->fi
print(unicodedata.normalize('NFKC',s))  # ->fi

讨论

标准化对于任何需要以一致的方式处理Unicode文本的程序都是非常重要的。当处理来自用户输入的字符串而你很难去控制编码的时候尤其如此。

在清理和过滤文本的时候字符的标准化也是很重要的。比如，假设你想清楚掉一些文本上面的变音符的时候（可能是为了搜索和匹配）：

t1=unicodedata.normalize('NFD',s1)
print(''.join(c for c in t1 if not unicodedata.combining(c)))  # ->Spicy Jalapeno

最后一个例子展示了unicodedata模块的另一个重要方面，也就是测试字符类的工具函数。combining（）函数可以测试一个字符是否为和音字符。在这个模块中还有其他函数用于查找字符类别。测试是否为数字字符等等。

2.9Unicode 文本标准化相关推荐

中文停用词文档_使用Python中的NLTK和spaCy删除停用词与文本标准化
译者 | VK 来源 | Analytics Vidhya [磐创AI 导读]:本文介绍了如何使用Python中的NLTK和spaCy删除停用词与文本标准化,欢迎大家转发.留言.想要更多电子杂志的机器 ...
《Python Cookbook 3rd》笔记（2.9）：将Unicode文本标准化
将 Unicode 文本标准化问题你正在处理 Unicode 字符串,需要确保所有字符串在底层有相同的表示. 解法在 Unicode 中,某些字符能够用多个合法的编码表示.为了说明,考虑下面的这 ...
[转载] 使用Python中的NLTK和spaCy删除停用词与文本标准化
参考链接: Python | 用NLTK进行词干分析概述了解如何在Python中删除停用词与文本标准化,这些是自然语言处理的基本技术探索不同的方法来删除停用词,以及讨论文本标准化技术,如词干化 ...
正则表达式数字和小数点_《自然语言处理综论》第三版笔记（二）之正则表达式，文本标准化和编辑距离...
概要早期有一种叫ELIZA的自然语言处理系统能够与用户进行有限的对话交流.它的原理是通过模式匹配来识别词组,譬如"YOU are X",然后将其转换为合适的回答,如"W ...
使用Python中的NLTK和spaCy删除停用词与文本标准化
概述了解如何在Python中删除停用词与文本标准化,这些是自然语言处理的基本技术探索不同的方法来删除停用词,以及讨论文本标准化技术,如词干化(stemming)和词形还原(lemmatizatio ...
文本标准化之去除重音符号
文章目录题目代码运行结果题目 ''' Description: 文本标准化之去除重音符号 Autor: 365JHWZGo Date: 2021-12-15 16:58:15 LastEdit ...
python字符串与文本处理技巧(2)：大小写敏感搜索、最短匹配、多行匹配、Unicode标准化
1. 字符串忽略大小写的搜索替换 re.findall(patter, string, flags=re.IGNORECASE) 当我们需要忽略字符串中的字母大小写进行模式搜索时可以采用如下方案: i ...
NLP任务中的文本预处理步骤、工具和示例
作者 | Viet Hoang Tran Duong 来源 | DeepHub IMBA 头图 | CSDN付费下载于视觉中国数据是新的石油,文本是我们需要更深入钻探的油井.文本数据无处不在,在实际 ...
练手扎实基本功必备：非结构文本特征提取方法
作者 | Dipanjan (DJ) Sarkar 编译 | ronghuaiyang 来源 | AI公园(ID:AI_Paradise) [导读]本文介绍了一些传统但是被验证是非常有用的,现在都还在 ...
独家 | NLP详细教程：手把手教你用ELMo模型提取文本特征（附代码论文）
作者:PRATEEK JOSHI 翻译:韩国钧校对:李浩本文约3500字,建议阅读15分钟. 本文将介绍ELMo的原理和它与传统词嵌入的区别,然后通过实践来展示其效果. 简介我致力于研究自然 ...

2.9Unicode 文本标准化

2.9Unicode 文本标准化相关推荐

最新文章

热门文章