python语料库代码_NLPPython笔记—

什么是语料库？文本语料库是一个大型结构化文本的集合。

NLTK包含了许多语料库：

(1)古滕堡语料库

(2)网络和聊天文本

(3)布朗语料库

(4)路透社语料库

(5)就职演讲语料库

(6)标注文本语料库

词汇列表语料库

(1)词汇列表：nltk.corpus.words.words()

词汇语料库是Unix 中的/usr/dict/words 文件，被一些拼写检查程序使用。下面这段代码的功能是：过滤文本，留下罕见或拼写错误的词汇，删除在词汇列表中出现过的词汇。

#coding:utf-8

import nltk

def unusual_words(text):

text_vocab=set(w.lower() for w in text if w.isalpha())

english_vocab=set(w.lower() for w in nltk.corpus.words.words())

unusual=text_vocab.difference(english_vocab) #求差集

return sorted(unusual)

print(unusual_words(nltk.corpus.gutenberg.words('austen-sense.txt')))

print(unusual_words(nltk.corpus.nps_chat.words()))

(2)停用词语料库：nltk.corpus.stopwords.words()

停用词语料库包含一些高频词，在处理时可以从文档中过滤掉，以便区分文本。下面这段代码实现了计算文本中不包含在停用词语料库中的词所占的比例。

import nltk

def content_fraction(text):

stopwords=nltk.corpus.stopwords.words('english')

content=[w for w in text if w.lower() not in stopwords]

return len(content)*1.0/len(text)

print(content_fraction(nltk.corpus.reuters.words()))

python语料库代码_NLPPython笔记——语料库相关推荐

Python 开发代码片段笔记
作者编写的一些代码片段,本版本为残废删减版,没有加入多线程,也没有实现任何有价值的功能,只是一个临时记事本,记录下本人编写代码的一些思路,有价值的完整版就不发出来了,自己组织吧,代码没啥技术含量,毕竟 ...
python优秀代码写法笔记
1.变量交换交换两个变量的值,正常都会想利用一个中间临时变量来过渡. tmp = a a = b b = tmp 为了让代码看起来更简洁,能用一行绝不用两行. a,b = b,a 2.列表推导简单 ...
基于python的语料库数据处理电子版_基于 Python 自然语言处理工具包在语料库研究中的运用...
基于 Python 自然语言处理工具包在语料库研究中的运用刘旭 [摘要] 摘要:国内当前以语料库为基础的研究,在研究工具方面,多以 AntConc . PowerGREP 为主,使用 Pytho ...
语料库python_NLPPython笔记——语料库
什么是语料库?文本语料库是一个大型结构化文本的集合. NLTK包含了许多语料库: (1)古滕堡语料库 (2)网络和聊天文本 (3)布朗语料库 (4)路透社语料库 (5)就职演讲语料库 (6)标注文本语 ...
LaTex实战笔记 4-插入 Python 程序代码块
LaTex插入 Python 程序代码块 1. 需求描述和解决方案 2. minted 包的安装与配置 2.1 安装 Python 第三方库 Pygments 2.2 下载和安装 minted 宏包 ...
Andrew Ng-机器学习基础笔记（下）-Python实现代码
目录前言: 10. 应用机器学习的建议 10.1 决定下一步做什么 10.2 评估一个假设 10.3 模型选择和交叉验证集 10.4 诊断误差和方差 10.5 正则化和偏差/方差 10.6 学习曲线 ...
Python项目：《外星人入侵》代码及笔记 via：《Python变成入门到实战》
Python项目:<外星人入侵>代码及笔记 (via:<Python变成入门到实战>) [项目代码] alien_invasion.py import pygame from ...
python嵩天课堂笔记_[Python机器学习]强化学习笔记（嵩天礼欣老师mooc第三周）
[Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) [Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) 目录强化学习定义马尔科夫决策过程基本元素值函数最优值 ...
Python初学者零碎基础笔记（一）
Python初学者零碎基础笔记一行代码输入多个参数方法1.) a,b,c=map(类型,input("请输入").split()) #默认空格分隔,若要转其他类型,把类型换成需 ...

python语料库代码_NLPPython笔记——语料库

python语料库代码_NLPPython笔记——语料库相关推荐

最新文章

热门文章