python 语料_用python从语料库中提取最常用的词

也许这是个愚蠢的问题，但是我在用Python从语料库中提取十个最常见的单词时遇到了问题。这就是我目前所掌握的。(顺便说一句，我使用NLTK阅读一个语料库，每个10.txt文件有两个子类别)import re

import string

from nltk.corpus import stopwords

stoplist = stopwords.words('dutch')

from collections import defaultdict

from operator import itemgetter

def toptenwords(mycorpus):

words = mycorpus.words()

no_capitals = set([word.lower() for word in words])

filtered = [word for word in no_capitals if word not in stoplist]

no_punct = [s.translate(None, string.punctuation) for s in filtered]

wordcounter = {}

for word in no_punct:

if word in wordcounter:

wordcounter[word] += 1

else:

wordcounter[word] = 1

sorting = sorted(wordcounter.iteritems(), key = itemgetter, reverse = True)

return sorting

如果我用我的语料库打印这个函数，它会给我一个后面有“1”的所有单词的列表。它给了我一本字典，但我所有的价值观都是一本。我知道例如“宝贝”这个词在我的语料库里是五到六倍。。。但还是有“宝贝：1”。。。所以它不能按我想要的方式工作…

有人能帮我吗？

python 语料_用python从语料库中提取最常用的词相关推荐

python中需要用到的英文词汇-使用python从语料库中提取最常用的单词
也许这是一个愚蠢的问题,但是我在使用Python从语料库中提取十个最常见的单词时遇到了问题.这就是到目前为止. (顺便说一句,我与NLTK一起阅读一个带有两个子类别的语料库,每个子类别有10个.txt ...
python 语料_用python将语料转化为可计算的形式
1.[用python将语料转化为可计算的形式代码]语料向量化 #-*- coding:utf-8 -*- #语料向量化表示方法 #以下代码参考 Natural Language Processing ...
Python基础_第3章_Python中的循环结构
Python基础_第3章_Python中的循环结构文章目录 Python基础_第3章_Python中的循环结构 Python中的循环结构一.回顾分支练习题 1.判断是否为一个合法三角形 2.求世界 ...
Python基础_第5章_Python中的数据序列
Python基础_第5章_Python中的数据序列文章目录 Python基础_第5章_Python中的数据序列 Python中的数据序列一.字典--Python中的==查询==神器 1.为什么需要 ...
python：实现从img及其坐标中提取文本(附完整源码)
python:实现从img及其坐标中提取文本 import cv2 import pytesseract img = cv2.imread("img.png") # We need ...
第一章第一节：Python基础_认识Python
Python基础入门(全套保姆级教程) 第一章第一节:Python基础_认识Python 1. 什么是编程通俗易懂,编程就是用代码编写程序,编写程序有很多种办法,像c语言,javaPython语言 ...
中文word2vec的python实现_利用Python实现wiki中文语料的word2vec模型构建
本实例主要介绍的是选取wiki中文语料,并使用python完成Word2vec模型构建的实践过程,不包含原理部分,旨在一步一步的了解自然语言处理的基本方法和步骤.文章主要包含了开发环境准备.数据的获取 ...
python声明_在Python中什么是全局声明？
python中的每个"变量"都限于某个范围. python"文件"的范围是模块范围.考虑以下: #file test.py myvariable = 5 # m ...
python 语料_语料访问
本篇文章帮大家学习语料访问,包含了语料访问使用方法.操作技巧.实例演示和注意事项,有一定的学习价值,大家可以用来参考. Corpora是一个展示多个文本文档集合的组. 单个集合称为语料库. 其中一个着 ...

python 语料_用python从语料库中提取最常用的词

python 语料_用python从语料库中提取最常用的词相关推荐

最新文章

热门文章