python文件去重软件_Python实现的txt文件去重功能示例

本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：

# -*- coding:utf-8 -*-

#! python2

import shutil

a=0

readDir = "/Users/Administrator/Desktop/old.txt" #old

writeDir = "/Users/Administrator/Desktop/new.txt" #new

# txtDir = "/home/Administrator/Desktop/１"

lines_seen = set()

outfile = open(writeDir, "w")

f = open(readDir, "r")

for line in f:

if line not in lines_seen:

a+=1

outfile.write(line)

lines_seen.add(line)

print(a)

print('\n')

outfile.close()

print("success")

其中old.tx如下：

www.jb51.net

www.baidu.com

www.sina.com.cn

www.jb51.net

www.google.com

www.sohu.com

www.jb51.net

www.163.com

运行后new.txt内容如下：

www.jb51.net

www.baidu.com

www.sina.com.cn

www.google.com

www.sohu.com

www.163.com

PS：这里再为大家提供几款相关工具供大家参考使用：

在线去除重复项工具：http://tools.jb51.net/code/quchong

在线文本去重复工具：http://tools.jb51.net/aideddesign/txt_quchong

更多关于Python相关内容感兴趣的读者可查看本站专题：《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》

希望本文所述对大家Python程序设计有所帮助。

您可能感兴趣的文章:Python统计文件中去重后uuid个数的方法python批量查询、汉字去重处理CSV文件Python实现对文件进行单词划分并去重排序操作示例对python读写文件去重、RE、set的使用详解python 高效去重复支持GB级别大文件的示例代码Python过滤txt文件内重复内容的方法python去除文件中重复的行实例python删除本地夹里重复文件的方法Python3 实现随机生成一组不重复数并按行写入文件Python实现的删除重复文件或图片功能示例【去重】

python文件去重软件_Python实现的txt文件去重功能示例相关推荐

python将txt文件转为字符串_python如何将txt文件转成json数据
python如何将txt文件转成json数据,首先我们要明白json的数据格式是如何的,实际上和python的字典格式几乎是一样的,也是需要一个大括号给括起来,知道了这点我们就知道怎么处理了. 工具/ ...
pythontxt文件怎么读_python怎么读txt文件
python怎么读txt文件? 首先,在桌面上建立一个txt文档,在上面输入以下内容:你好. Hello. abcdefg 啊不错的风格查看文件的属性,获取文件的绝对路径:D:\HintSoft\H ...
搜索python题目的软件_Python编程快速上手——正则表达式查找功能案例分析
本文实例讲述了Python正则表达式查找功能.分享给大家供大家参考,具体如下: 题目如下: 编写一个程序,打开文件夹中所有的.txt文件,查找匹配用户提供的正则表达式的所有行.结果应该打印到屏幕上. ...
python给excel排序_Python实现EXCEL表格的排序功能示例
Python实现EXCEL表格的排序功能示例 EXCEL的数值排序功能还是挺强大的,升序.降序,尤其自定义排序,能够对多个字段进行排序工作. 那么,在Python大法中,有没有这样强大的排序功能呢?答 ...
python微信红包代码_Python实现的微信红包提醒功能示例
本文实例讲述了Python实现的微信红包提醒功能.分享给大家供大家参考,具体如下: #coding=utf-8 import itchat from itchat.content import TEX ...
python 文件路径格式化_python 存储为txt文件路径
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
python编程图片大全_Python编程实现的图片识别功能示例
本文实例讲述了Python编程实现的图片识别功能.分享给大家供大家参考,具体如下: 1. 安装PIL,官方没有WIN64位,Pillow替代 pip install Pillow-2.7.0-cp27 ...
python自定义二元一次函数_Python实现的拟合二元一次函数功能示例【基于scipy模块】...
本文实例讲述了Python实现的拟合二元一次函数功能.分享给大家供大家参考,具体如下: 背景: 使用scipy拟合一元二次函数. 参考: HYRY Studio-<用Python做科学计算> ...
python 写文件换行_python中写入txt文件需要换行,以及\r 和\n
原博文 2019-09-25 16:16 − 在Python中,用open()函数打开一个txt文件,写入一行数据之后需要一个换行如果直接用 f.write('\n')只会在后面打印一个字符串'\n ...

python文件去重软件_Python实现的txt文件去重功能示例

python文件去重软件_Python实现的txt文件去重功能示例相关推荐

最新文章

热门文章