Stemming词干提取和 Lemmatization 词形还原

词干提取：基于规则、相对原始的操作，使用一些基本规则，可以有效地将任何token进行削减，得到其主干；比如eat具有不同地变体，e.g.eating eaten eats。在大部分时候，在这些变体之间做区分没有意义。因此需要stemming将单词归结到单词的根。

对于一些复杂的NLP任务，有必要使用词形还原lemmatization代替stemming，词形还原更健壮，结合语法变体，得到单词的根

词形还原：使用一种更有条理的方式，根据给每个单词的词性，应用不同的标准化规则，得到词根单元（词元）

区别：

词干提取（stemming）是抽取词的词干或词根形式（不一定能够表达完整语义）

词形还原（lemmatization），是把一个任何形式的语言词汇还原为一般形式（能表达完整语义）

词形还原和词干提取是词形规范化的两类

注意：当使用一些NLP标注器的时候，词干提取和词形还原会修改token所以会产生不同的结果，这时候就以应该避免使用词干提取和词形还原

Stemming/Lemmatization in NLTK

WORD

#词干提取
from nltk import PorterStemmer
pst=PorterStemmer()
print(pst.stem("eating"))
print(pst.stem("ate"))#词形还原
from nltk.stem import WordNetLemmatizer
wlem=WordNetLemmatizer()
print(wlem.lemmatize("eating"))
print(wlem.lemmatize("ate"))output:
PS C:\Users\HUST> & python "d:/NLTK Spacy学习/NLTK_learning.py"
eat
ate
eating
ate

SENTENCE

import nltkfrom nltk.stem import PorterStemmer
from nltk.stem import WordNetLemmatizernltk.download('punkt')text= "Dancing is an art. Students should be taught dance as a subject in schools . I danced in many of my school function. Some people are always hesitating to dance."stemmed_token=[]
pts=PorterStemmer()
for i in nltk.word_tokenize(text):stemmed_token.append(pts.stem(i))
print(' '.join(stemmed_token))
print()lemma_token=[]
wnl=WordNetLemmatizer()
for i in nltk.word_tokenize(text):lemma_token.append(wnl.lemmatize(i))
print(' '.join(lemma_token))output:
stemming:
danc is an art . student should be taught danc as a subject in school . I danc in mani of my school function . some peopl are alway hesit to danc .lemmatization:
Dancing is an art . Students should be taught dance a a subject in school . I danced in many of my school function . Some people are always hesitating to dance .

Stemming词干提取和 Lemmatization 词形还原相关推荐

自然语言表达处理笔记01—— 1.正则表达式 2.文本标记化 3.词干提取和词形还原 4.中文分词
正则表达式正则表达式使用某种预定义的模式匹配具有共同特征的字符串:主要用于处理字符串.完成复杂的查找.替换等要求对字符串和特殊字符操作的逻辑公式单个字符串描述匹配一系列复合某个句法规则的字符 ...
自然语言处理——词性标注、词干提取、词形还原
目录词性标注方法工具实例词干提取和词形还原算法步骤词性标注一般而言,文本里的动词可能比较重要,而助词可能不太重要: 我今天真好看我今天真好看啊甚至有时候同一个词有着不同的意思: ...
NLTK(3）处理文本、分词、词干提取与词形还原
文章目录访问文本 @字符串处理 @编码 @正则表达式分词 @正则表达式分词(不好) Tokenize命令 @自定义函数规范化文本将文本转换为小写查找词干 @自定义函数(不好) NLTK词干提 ...
NLP：自然语言处理技术之词语级别相关术语解释(如上位词/WordNet)、基于词汇层面的词法分析六大任务(分词/词性标注/词干提取-词形还原/新词发现/形态分析/拼写校正)的简介及其应用
NLP:自然语言处理技术之词语级别相关术语解释(如上位词/WordNet).基于词汇层面的词法分析(Lexical Analysis)六大任务(分词/词性标注/词干提取-词形还原/新词发现/形态分析/ ...
词形变换和词干提取工具（英文）
转载自: http://www.cnblogs.com/kaituorensheng/p/3437807.html 词形变换和词干提取工具(英文) 在信息检索和文本挖掘中,需要对一个词的不同形态进行归 ...
java lucene词干提取_词形变换和词干提取工具（英文）
在信息检索和文本挖掘中,需要对一个词的不同形态进行归并,即词形规范化,从而提高文本处理的效率.例如:词根run有不同的形式running.ran另外runner也和run有关.这里涉及到两个概念: 词 ...
java 分词获取词性,英文分词的关键：词性还原和词干提取
人工智能时代,能让计算机自动化进行文字语义理解非常重要,因此,进行语义理解的第一步--如何正确地根据语义完成词语切分(即分词)就是一个非常具有挑战性的任务,一旦切词发生失误,会导致后续的文本处理产生连 ...
3.3.1-取词干和词形还原
目录取词干和词形还原取词干实例词形还原取词干和词形还原是词形归并. 目的:减少词的变化形式,将派生词转化为基本形式. 优点1:字典中词条的数量就会降低,用于表示文档的向量维度更低,模型的数 ...
（1）英文分词——波特词干提取算法
英文分词相比中文分词要简单得多,可以根据空格和标点符号来分词,然后对每一个单词进行词干还原和词形还原,去掉停用词和非英文内容.词干还原算法最经典的就是波特算法(Porter Algorithm官网ht ...
Java基于stanford-corenlp实现英文词形还原
本文作者:合肥工业大学管理学院钱洋 email:1563178220@qq.com 内容可能有不到之处,欢迎交流. 未经本人允许禁止转载. 文章目录简介 stanford-corenlp jav ...

Stemming词干提取和 Lemmatization 词形还原

Stemming词干提取和 Lemmatization 词形还原相关推荐

最新文章

热门文章

Stemming词干提取 和 Lemmatization 词形还原

Stemming词干提取 和 Lemmatization 词形还原相关推荐

最新文章

热门文章

Stemming词干提取和 Lemmatization 词形还原

Stemming词干提取和 Lemmatization 词形还原相关推荐