python 自然语言处理形态学

下面将包含以下的主题：词干提取器、词性还原、

一、形态学简介

形态学可以定义为在语素的帮助下对标识符的构成进行研究，语素是承载含义的基本语言单位。语素有两种类型：词根和词缀。

词根也被称之为自由语素，他们可以在不添加词缀的情况下而存在，比如unbelievable,这里的believe被称为词根，这里的un

和able被称为词缀

二、理解词干提取器

词干提取被定义为一个通过除单词中的词缀以获取词干的过程。以单词raining为例，词干提取器通过从raining中去除词缀来返回词根rain。

有几种返回词干提取器的方法：PorterStemmer()、LancasterStemmer()、RegexpStemmer()、SnowballStemmer()

import nltk
from nltk.stem import PorterStemmer
stemmerporter = PorterStemmer()
print(stemmerporter.stem('working'))
print(stemmerporter.stem('happiness'))

import nltk
from nltk.stem import LancasterStemmer
stemmerlan=LancasterStemmer()
print(stemmerlan.stem('working'))
print(stemmerlan.stem('happiness'))

import nltk
from nltk.stem import RegexpStemmer
stemmerregexp=RegexpStemmer('ing')
print(stemmerregexp.stem('working'))
print(stemmerregexp.stem('happiness'))
print(stemmerregexp.stem('pairing'))

import nltk
from nltk.stem import SnowballStemmer
print(SnowballStemmer.languages)
spanishstemmer=SnowballStemmer('spanish')
print(spanishstemmer.stem('comiendo'))
frenchstemmer=SnowballStemmer('french')
print(frenchstemmer.stem('manger'))

三、理解词型还原

import nltk
from nltk.stem import WordNetLemmatizer
lemmatizer_output=WordNetLemmatizer()
print(lemmatizer_output.lemmatize('working'))
print(lemmatizer_output.lemmatize('working',pos='v'))
print(lemmatizer_output.lemmatize('works'))

#词干还原和词型还原的区别

import nltk
from nltk.stem import PorterStemmer
from nltk.stem import WordNetLemmatizer
stemmer_output=PorterStemmer()
print(stemmer_output.stem('happiness'))
lemmatizer_output=WordNetLemmatizer()
print(lemmatizer_output.lemmatize('happiness'))

四、为非英文语言开发词干提取器

Polyglot是一个提供被称作morfessor模型的软件，该模型用于从标识符中获取语素。在Polyglot的词汇帮助下，已经使用了涉及不同语言的50000个标识符的morfessor模型

python 自然语言处理形态学相关推荐

《精通Python自然语言处理（ Deepti Chopra)》读书笔记（第三章）：形态学
<精通Python自然语言处理> Deepti Chopra(印度) 王威译第三章形态学:在实践中学习 3.1形态学简介形态学可以定义为在语素的帮助下对标识符的构造进行研究. 语素 ...
python自然语言处理书籍_精通Python自然语言处理pdf
自然语言处理(NLP)是有关计算语言学与人工智能的研究领域之一.NLP主要关注人机交互,它提供了计算机和人类之间的无缝交互,使得计算机在机器学习的帮助下理解人类语言. 本书详细介绍如何使用Python ...
【Python自然语言处理】读书笔记：第五章：分类和标注词汇
jupyter 版请见我的github:https://github.com/JackKuo666/Python_nlp_notes [Python自然语言处理]读书笔记:第五章:分类和标注词汇本章 ...
精通python自然语言处理pdf_学习NLP《自然语言处理综论第2版》中文PDF+英文PDF+对比分析...
对于从事自然语言处理.文本分析的专业人士来说,建议参考学习<自然语言处理综论第2版>.对于第一版做了全面的改写,增加了大量反映自然语言处理最新成就的内容,特别是增加了语音处理和统计技术方面 ...
《Python自然语言处理（第二版）-Steven Bird等》学习笔记：第05章分类和标注词汇
第05章分类和标注词汇 5.1 使用词性标注器 5.2 标注语料库表示已标注的标识读取已标注的语料库简化的词性标记集名词动词形容词和副词未简化的标记探索已标注的语料库 5.3 使用P ...
python自然语言处理_Python自然语言处理
Python自然语言处理作者:(印)雅兰·萨纳卡(Jalaj Thanaki) 著出版日期:2018年08月文件大小:30.79M 支持设备: ￥50.00在线试读适用客户端: 言商书局 iP ...
《Python自然语言处理-雅兰·萨纳卡(Jalaj Thanaki)》学习笔记：03 理解句子的结构
03 理解句子的结构 3.1 理解NLP的组成 3.1.1 自然语言理解 3.1.2 自然语言生成 3.1.3 NLU和NLG的区别 3.1.4 NLP的分支 3.2 上下文无关文法 3.3 形态分析 ...
python编程词典_编程字典-Python自然语言处理
原标题:编程字典-Python自然语言处理自然语言处理(NLP)是指使用诸如英语之类的自然语言与智能系统通信的AI方法. 当您希望像机器人这样的智能系统按照您的指示执行,当您想要听取基于对话的临床专 ...
Python自然语言处理
Python自然语言处理作者:Steven Bird 出版时间:2014-07-01 出版社:人民邮电出版社

python 自然语言处理形态学

python 自然语言处理形态学相关推荐

最新文章

热门文章

python 自然语言处理 形态学

python 自然语言处理 形态学相关推荐

最新文章

热门文章

python 自然语言处理形态学

python 自然语言处理形态学相关推荐