python删除重复单词_Python - 过滤重复的单词

很多时候，我们需要仅针对文件中存在的唯一单词分析文本。因此，我们需要从文本中删除重复的单词。这是通过使用nltk中可用的单词标记化和设置功能来实现的。

没有保留订单

在下面的例子中，我们首先将句子标记为单词。然后我们应用set（）函数创建一个无序的唯一元素集合。结果具有不排序的唯一单词。

import nltk

word_data = "The Sky is blue also the ocean is blue also Rainbow has a blue colour."

# First Word tokenization

nltk_tokens = nltk.word_tokenize(word_data)

# Applying Set

no_order = list(set(nltk_tokens))

print no_order

当我们运行上面的程序时，我们得到以下输出 -

['blue', 'Rainbow', 'is', 'Sky', 'colour', 'ocean', 'also', 'a', '.', 'The', 'has', 'the']

保留订单

要在删除重复项之后获取单词但仍然保留句子中单词的顺序，我们会读取单词并通过附加单词将其添加到列表中。

import nltk

word_data = "The Sky is blue also the ocean is blue also Rainbow has a blue colour."

# First Word tokenization

nltk_tokens = nltk.word_tokenize(word_data)

ordered_tokens = set()

result = []

for word in nltk_tokens:

if word not in ordered_tokens:

ordered_tokens.add(word)

result.append(word)

print result

当我们运行上面的程序时，我们得到以下输出 -

['The', 'Sky', 'is', 'blue', 'also', 'the', 'ocean', 'Rainbow', 'has', 'a', 'colour', '.']

python删除重复单词_Python - 过滤重复的单词相关推荐

python随机抽取人名_python实现艾宾浩斯背单词功能，实现自动提取单词、邮件发送，再也不用担心背单词啦...
已经完成了利用python爬虫实现定时QQ邮箱推送英文文章,辅助学习英语的项目,索性就一口气利用python多做一些自动化辅助英语学习的项目,对自己的编程能力和英文水评也有一定的帮助,于是在两天的努 ...
python删除特定文件_python删除特定文件的方法
python删除特定文件的方法本文实例讲述了python删除特定文件的方法.分享给大家供大家参考.具体如下: #!/usr/bin/python # -*- coding: utf-8 -*- im ...
python删除过期文件_Python删除指定目录下的过期文件的代码
在代码过程中,将代码过程中比较常用的一些代码段做个备份,如下的代码是关于Python删除指定目录下的过期文件的代码,应该能对小伙伴也有帮助. import os import sys import t ...
python删除过期文件_python删除过期文件的方法
本文实例讲述了python删除过期文件的方法.分享给大家供大家参考.具体实现方法如下: # remove all jpeg image files of an expired modification ...
python 删除文件通配符_python 实现删除文件或文件夹实例详解
python 实现删除文件或文件夹最近自己学习Python 的知识,自己学习抓取网页的内容知识等,在学习的时候Python 删除文件夹或者文件知识的时候,觉得本篇内容不错,推荐给大家. 实例代码,仔 ...
python删除特定文件_python删除特定文件的方法 -电脑资料
作者:技术芝麻点字体:[增加减小] 类型:转载这篇文章主要介绍了python删除特定文件的方法,涉及Python文件查找及删除的相关技巧,需要的朋友可以参考下本文实例讲述了python删除特定 ...
python判断是否有重复单词_Python判断两个单词的相似度
本文要点在于算法的设计:如果两个单词中不相同的字母足够少,并且随机选择几个字母在两个单词中具有相同的前后顺序,则认为两个单词是等价的. 目前存在的问题:可能会有误判. from random impo ...
python删除排序数组中的重复项
给你一个有序数组 nums ,请你原地删除重复出现的元素,使每个元素只出现一次 ,返回删除后数组的新长度.不要使用额外的数组空间,你必须在原地修改输入数组并在使用 O(1) 额外空间的条件 ...
python去重复记录_python如何处理重复值数据？
一起学习,一起成长! 前言在实际数据采集.数据处理和数据分析中,经常会遇到的一个问题就是:重复数据.重复数据在进行数据分析或数据挖掘的过程中,对其输出结果有重要的影响.比如,在逻辑回归分析中,重复数 ...
python列表添加重复值_python 列表重复添加数据库
<Python 3程序开发指南(第2版•修订版)>--1.4 总结本节书摘来自异步社区<Python 3程序开发指南(第2版•修订版)>一书中的第1章,第1.4节,作者[英] ...

python删除重复单词_Python - 过滤重复的单词

python删除重复单词_Python - 过滤重复的单词相关推荐

最新文章

热门文章