语料库python_NLPPython笔记—

什么是语料库？文本语料库是一个大型结构化文本的集合。

NLTK包含了许多语料库：

(1)古滕堡语料库

(2)网络和聊天文本

(3)布朗语料库

(4)路透社语料库

(5)就职演讲语料库

(6)标注文本语料库

词汇列表语料库

(1)词汇列表：nltk.corpus.words.words()

词汇语料库是Unix 中的/usr/dict/words 文件，被一些拼写检查程序使用。下面这段代码的功能是：过滤文本，留下罕见或拼写错误的词汇，删除在词汇列表中出现过的词汇。

#coding:utf-8

import nltk

def unusual_words(text):

text_vocab=set(w.lower() for w in text if w.isalpha())

english_vocab=set(w.lower() for w in nltk.corpus.words.words())

unusual=text_vocab.difference(english_vocab) #求差集

return sorted(unusual)

print(unusual_words(nltk.corpus.gutenberg.words('austen-sense.txt')))

print(unusual_words(nltk.corpus.nps_chat.words()))

(2)停用词语料库：nltk.corpus.stopwords.words()

停用词语料库包含一些高频词，在处理时可以从文档中过滤掉，以便区分文本。下面这段代码实现了计算文本中不包含在停用词语料库中的词所占的比例。

import nltk

def content_fraction(text):

stopwords=nltk.corpus.stopwords.words('english')

content=[w for w in text if w.lower() not in stopwords]

return len(content)*1.0/len(text)

print(content_fraction(nltk.corpus.reuters.words()))

语料库python_NLPPython笔记——语料库相关推荐

python语料库代码_NLPPython笔记——语料库
什么是语料库?文本语料库是一个大型结构化文本的集合. NLTK包含了许多语料库: (1)古滕堡语料库 (2)网络和聊天文本 (3)布朗语料库 (4)路透社语料库 (5)就职演讲语料库 (6)标注文本语 ...
菜鸟学习C++练笔之整理搜狗2008版语料库--获取分类语料库
注:此篇博客无法提供源代码下载,读者可自行从博文上拷贝代码. 作者:finallyliuyu(博文转载请注明作者和出处) 注:有网友提出来说直接把抽取之后的搜狗2008版新闻语料库发布,根据搜狗实验室 ...
《Python自然语言处理-雅兰·萨纳卡(Jalaj Thanaki)》学习笔记：02 语料库和数据集
什么是语料库? 为什么我们需要语料库? 理解语料库分析? 数据属性的类型语料库的不同文件格式免费语料库的资源为NLP应用准备数据集网页爬取什么是语料库? 在语料库中,大数据集合可以采用以下格 ...
自然语言处理（4）——语料库和语言知识库
NLP学习笔记(4)--语料库和语言知识库 1. 基础知识 2.语料库技术的发展第一个阶段:早期,20世纪五十年代中期之前二个阶段:沉寂时期,1957-20世纪八十年代初第三个阶段:复苏与发展时 ...
【NLP】语料库和词汇知识库
语料库(corpus) 语料库(corpus)就是存放语言材料的仓库(语言数据库),基于语料库进行语言学研究–语料库语言学(corpus linguistics). 语料库语言学研究的内容语料库的建 ...
如何建语料库_如何建设语料？
语料库的建设与开发 (一)总体设计首先语料库的建设目的要明确,建库的目的决定着语料的选取. 如由广东外语外贸大学桂诗春教授和上海交通大学杨惠中教授等主持建设的中国学习者英语语料库(CLEC)建库目的 ...
一起来学自然语言处理----语料库和词汇资源
语料库和词汇资源 1.自然语言工具包(NLTK) 2.获取文本语料 1.语料库古腾堡语料库网络和聊天文本布朗语料库路透社语料库就职演说语料库标注文本语料库在其他语言的语料库语料库结构 ...
第四章语料库与语言知识库
文章目录语料库技术概述* 研究内容* 语料库语言学的发展* 早期的语料库语言学沉寂时代复苏与发展时期语料库的类型* 平衡语料库和平行语料库* 共时语料库和历时语料库* 汉语语料库建设中的问题 ...
Gensim官方教程翻译（二）——语料库与向量空间（Corpora and Vector Spaces）
仅供我自己学习方便,翻译了原教程,原文地址:http://radimrehurek.com/gensim/tut2.html ====================正==========文===== ...

语料库python_NLPPython笔记——语料库

语料库python_NLPPython笔记——语料库相关推荐

最新文章

热门文章