注意,本文代码是使用在txt文档上,同时txt文档中的内容每一行代表的是图片的名字。

#coding:utf-8

import shutil

readDir = "原文件绝对路经"

writeDir = "写入文件的绝对路径"

#txtDir = "/home/fuxueping/Desktop/1"

lines_seen = set()

outfile=open(writeDir,"w")

f = open(readDir,"r")

for line in f:

if line not in lines_seen:

outfile.write(line)

lines_seen.add(line)

outfile.close()

print "success"

最终结果在在写入文件内容中,没有重复内容。

以上这篇使用python读取txt文件的内容,并删除重复的行数方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持易采站长站。

python删除重复值所在的行数_使用python读取txt文件的内容,并删除重复的行数方法...相关推荐

  1. python csv文件读取行列_使用Numpy读取CSV文件,并进行行列删除的操作方法

    Numpy是Python强大的数据计算和处理模块,其操作数据非常迅速且简单易行. 首先读取CSV文件 >>> import numpy as np#导入numpy模块 >> ...

  2. 学python看什么书好1002无标题-如何使用pandas读取txt文件中指定的列(有无标题)

    最近在倒腾一个txt文件,因为文件太大,所以给切割成了好几个小的文件,只有第一个文件有标题,从第二个开始就没有标题了. 我的需求是取出指定的列的数据,踩了些坑给研究出来了. import pandas ...

  3. python读取txt文件特定内容,并绘制折线图

    本文内容参考以下博文并作出改动:python学习--读取txt文件数据并画图_知北行的博客-CSDN博客_对每个txt的语调变量画图 原始数据: [epoch: 0] train_loss: 1.11 ...

  4. 水文日常~~Python如何按行读取txt文件中的数据并去除每行末尾的回车符\n

    #从文件中读取数据 with open ('data.txt') as file_object:lines = file_object.read().splitlines()#去除每行末尾的回车符

  5. python读取txt文件的行数_python读取txt文件符合条件的行数-女性时尚流行美容健康娱乐mv-ida网...

    女性时尚流行美容健康娱乐mv-ida网 mvida时尚娱乐网 首页 美容 护肤 化妆技巧 发型 服饰 健康 情感 美体 美食 娱乐 明星八卦 首页 > 高级搜索 python 关系网图 pyth ...

  6. R语言 数据清洗 重复值所在的行 重复 的筛选与去除,唯一ID出现重复 no重复处理

    住院号 姓名 等唯一值变量的检查与筛选 重复值所在的行 使用本地数据 鸢尾花(yuān wěi huā)做示例 [R语言][数据清洗]重复ID数据获取比对 #加载内置数据 data(iris) dat ...

  7. 怎么退出python命令行cd找到txt文档_《python怎么读取txt文件》

    python怎么创建一个txt文件 python怎么创建txt文件的方法. 如下参考: 1.首用内置的空闲编辑器编辑(单击并选择copy),如下图所示. 2.您可以下载记事本和其他编辑软件,以支持多种 ...

  8. python读取txt文件如何按数字分隔_python 读txt文件,按‘,’分割每行数据操作

    按行读取TXT文件 fname = './新建文件夹/yob2010.txt' //文件夹路径 with open(fname,'r+',encoding='utf-8') as f: for lin ...

  9. 读取TXT文件,删除指定开头的行,保留关键信息

    #读取TXT文件,删除指定开头的行,保留关键信息 path=(r'C:\Users\jxu\Desktop\新建文本文档.txt') newpath=(r'F:\选图\武夷山\录入未确定') impo ...

最新文章

  1. Android Training - 使用IntentService运行任务(Lesson 2 - 发送任务给IntentService)
  2. 从CES 2017看今年智能汽车发展趋势之一:车联网有望率先实现
  3. centos6 图形界面root免密直接登录问题
  4. UVA - 1588 ​​​​​​​Kickdown
  5. dj电商-数据库的远程连接
  6. matlab 0x1表示什么意思,(x ^ 0x1)!= 0是什么意思?(What does (x ^ 0x1) != 0 mean?)
  7. python微控制器编程从零开始 豆瓣_从零开始(什么是编程)认识python
  8. ShortcutMapper 是应用程序的键盘快捷键
  9. UML序列图总结(转)
  10. 线程安全的几种单例模式
  11. 获取每日 联想电脑 开机锁屏壁纸
  12. 期货高手的交易方法总结,
  13. 教学小结:我这样帮助学生提出疑问
  14. python 标准库库
  15. Android应用开发-小巫CSDN博客客户端总结篇
  16. html鼠标经过状态,30种炫酷html5鼠标滑过图片标题显示效果
  17. 物联卡需要实名认证吗?物联网卡实名认证有什么用?
  18. “我让这个世界更酷”2022华清远见研发产品发布会圆满成功
  19. MATLAB小提琴仿真(数学物理方程)大作业人工智能
  20. 18 模块划分4步骤——EDD

热门文章

  1. 宏基因组合种树第290期—油松
  2. html动画效果开源代码,8款强大的CSS3/HTML5动画及应用源码
  3. pandas使用apply函数和lambda函数、把所有行指定的数据列进行相加(use apply and lambda to add value in dataframe rows)
  4. R语言ggplot2可视化:通过水平半小提琴图(Horizontal Half Violin Plots)和抖动数据点( jittered data)可视化雨云图(Rain Cloud plots)
  5. R语言基于自定义函数构建xgboost模型并使用LIME解释器进行模型预测结果解释:基于训练数据以及模型构建LIME解释器解释多个iris数据样本的预测结果、使用LIME解释器进行模型预测结果解释
  6. R语言数据热力图绘制实战(基于原生R函数、ggplot2包、plotly包)
  7. 回归分析评估指标均方对数误差(MSLE)详解及其意义:Mean Squared Log Error
  8. GATK 无法下载的问题
  9. Question: Short And Long Read Sequencing
  10. Toward perfect reads: self-correction of short reads via mapping on de Bruijn graphs