python去重txt文本_Python文本去重

用法：命令行python unique.py -f file.txt

输出：去除重复字符后的output.txt# -*- coding:utf-8 -*-

#auther_cclarence_2016_4_6

#open file and read out the characters

from optparse import OptionParser

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

def readfile(filename):

try:

f = open(filename)

except Exception, e:

print "No such file"

exit(0)

text = f.readlines()

f.close()

for i in range(0,len(text)-1):

text[i] = text[i][:-1]

return text

#deduplication

def unique(arr):

arr1 = list(set(arr))

arr1.sort(key = arr.index)

return arr1

def main():

parser = OptionParser()

parser.add_option("-f", "--file", dest="filename",help="write report to FILE", metavar="FILE")

(options, args) = parser.parse_args()

filename = options.filename

text = readfile(filename)

text_dealed = unique(text)

for i in range(0,len(text_dealed)-1):

text_dealed[i] = text_dealed[i] +'\n'

f = open("output.txt","w")

f.writelines(text_dealed)

f.close()

deduplication_num = len(text) - len(text_dealed)

print "success"

print "The num of data from the source file :" + str(len(text))

print "The num of data from the preprocessed file: :" + str(len(text_dealed))

print "The num of data removed :" + str(deduplication_num)

if __name__ == '__main__':

main()

python去重txt文本_Python文本去重相关推荐

python去重txt文本_Python 文件去重（转载）
原博文 2020-02-14 13:20 − Python实现的txt文件去重功能示例更新时间:2018年07月07日 09:00:36 作者:人饭子我要评论这篇文章主要介绍了Python实现的 ...
python写txt数据_python 如何将数据写入本地txt文本文件的实现方法
一.读写txt文件 1.打开txt文件file_handle=open('1.txt',mode='w') 上述函数参数有(1.文件名,mode模式) mode模式有以下几种:#w 只能操作写入 r ...
python 写txt 换行_python中写入txt文件需要换行,以及\r 和\n
在Python中,用open()函数打开一个txt文件,写入一行数据之后需要一个换行如果直接用 f.write('\n') 只会在后面打印一个字符串'\n',而不是换行' 需要用 f.write(' ...
python朗读文本_python文本操作—读、写
文本文件存储的数据有很多,我们需要把这些文本里的内容读出来,然后在浏览器上面显示. 1.读取整个文本文件格式: with open(路径) as 变量: 变量.read() 关键字with作用:在不 ...
python中文相似度_python文本相似度计算
步骤分词.去停用词词袋模型向量化文本 TF-IDF模型向量化文本 LSI模型向量化文本计算相似度理论知识两篇中文文本,如何计算相似度?相似度是数学上的概念,自然语言肯定无法完成,所有要把文本转 ...
python新闻评论分析_Python文本数据分析与处理(新闻摘要)
分词使用jieba分词, 注意lcut只接受字符串过滤停用词 TF-IDF得到摘要信息或者使用LDA主题模型TF-IDF有两种jieba.analyse.extract_tags(content, ...
python数据分类聚类案例_python 文本聚类分析案例——从若干文本中聚类出一些主题词团...
说明实验要求:对若干条文本进行聚类分析,最终得到几个主题词团. 实验思路:将数据进行预处理之后,先进行结巴分词.去除停用词,然后把文档生成tfidf矩阵,再通过K-means聚类,最后得到几个类的主 ...
python词频统计西游记_Python文本统计功能之西游记用字统计操作示例
本文实例讲述了Python文本统计功能之西游记用字统计操作.分享给大家供大家参考,具体如下: 一.数据 xyj.txt,<西游记>的文本,2.2MB 致敬吴承恩大师,4020行(段) 二. ...
python 多分类情感_python 文本情感分类
对于一个简单的文本情感分类来说,其实就是一个二分类,这篇博客主要讲述的是使用scikit-learn来做文本情感分类.分类主要分为两步:1)训练,主要根据训练集来学习分类模型的规则.2)分类,先用已知 ...
python格式化读取文件_python文本读写与格式化
作为一个IC攻城狮,除了Verilog,还需要使用python等脚本语言做一些简单的文本处理,提高工作效率,这里记录一下自己常用的文本读写,方便查询. 只做简单说明,因为我只用python做一些简单的 ...

python去重txt文本_Python文本去重

python去重txt文本_Python文本去重相关推荐

最新文章

热门文章