python删除重复文字_python如何删除文件中重复的字段
本文实例为大家分享了python如何删除文件中重复字段的具体代码,供大家参考,具体内容如下
原文件内容放在list中,新文件内容按行查找,如果没有出现在list中则写入第三个文件中。
import csv
filetxt1 = 'E:/gg/log/log1.txt'
filecsv1 = 'E:/gg/log/log1.csv'
filecsv2 = 'E:/gg/log/log2.csv'
filecsv3 = 'E:/gg/log/log3.csv'
class operFileCsv():
def __init__(self, filename=None):
self.filename = filename
def readCsvFile(self):
readCsvHandler = open(self.filename, 'r')
filelines = csv.reader(readCsvHandler, dialect='excel')
for fileline in filelines:
print(fileline)
readCsvHandler.close
def writeCsvFile(self, writeline):
writeCsvHandler = open(self.filename, 'a', newline='')
csvWrite = csv.writer(writeCsvHandler, dialect='excel', )
csvWrite.writerow(writeline)
writeCsvHandler.close()
class getLogBuffFromFile():
def __init__(self):
self.logBuff1 = []
def getLog1Buff(self, filename):
with open(filename) as filehandler:
while True:
logOneLine = filehandler.readline().strip()
if not logOneLine:
break
self.logBuff1.append(logOneLine)
# print('TRACE: The log1 has ', len(self.logBuff1), ' lines.')
return self.logBuff1
def getLog2Buff(self, logOneLine):
pass
class deleteIterantLog():
def __init__(self):
self.logBuff1List = None
self.logBuff2OneLine = None
def deleteProcedure(self, oldlog, newlog, createlog):
self.logBuff1List = getLogBuffFromFile().getLog1Buff(oldlog)
self.dealProcedure(newlog, createlog)
def dealProcedure(self, file1name, file2name):
with open(file1name, 'r') as readCsvHandler:
filelines = csv.reader(readCsvHandler, dialect='excel')
for fileline in filelines:
if fileline[1] not in self.logBuff1List:
operFileCsv(file2name).writeCsvFile(fileline)
if __name__ == '__main__':
deleteIterantLog().deleteProcedure(filetxt1, filecsv2, filecsv3)
小编再为大家分享一段Python用集合把文本中重复的字去掉的方法:
import os,sys,datetime
import codecs
with open('aaaaa.txt', 'r') as f: #读入文本中的文件
l = f.readlines() # txt中所有字符串读入data
x=set(l[0])
for i in range(1,len(l)):
x.update(l[i])
s="".join(list(x))
print(s)
with open('result.txt','wb') as f1: #把结果写到文件result中
b=bytes(s,encoding="utf-8")
f1.write(b)
更多关于python安装教程的文章请参考《python各版本安装教程》
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
python删除重复文字_python如何删除文件中重复的字段相关推荐
- python列表去重并删除重复那个_Python实现去除列表中重复元素的方法总结【7种方法】...
如何用python实现剔除列表中相同的元素 >>> a = [1, 2, 3, 1, 2, 3] >>> list(set(a)) [1, 2, 3] 先转成 se ...
- python print(len(pi_string))_Python如何从文件中读取数据
从文件中读取数据 1. 读取整个文件 要读取文件,首先来创建一个文件: 然后打开并读取这个文件,再将其内容显示到屏幕上:file_reader.py with open('pi_digits.txt' ...
- python去重复元素_Python实现去除列表中重复元素的方法总结【7种方法】
这里首先给出来我很早之前写的一篇博客,Python实现去除列表中重复元素的方法小结[4种方法],感兴趣的话可以去看看,今天是在实践过程中又积累了一些方法,这里一并总结放在这里. 由于内容很简单,就不再 ...
- python对csv去除重复行_Python 去重csv文件中相同的重复行
读取CSV 读取CSV文件由两种方式: 第一种 import csvwith open('data.csv','r',encoding = 'utf8') as fp: reader = csv.re ...
- uniq :删除文件中重复出现的行
语 法:uniq[必要参数][选择参数][文件] 功 能uniq 命令:用来检查文件中重复出现的行列.并将重复的部分删除 参数必要参数 -c 显示重复次数 -d 显示重复行 -u ...
- python去重复行_python去除文件中重复的行实例
python去除文件中重复的行,我们可以设置一个一个空list,res_list,用来加入没有出现过的字符行! 如果出现在res_list,我们就认为该行句子已经重复了,可以再加入到记录重复句子的li ...
- python docx 合并文档 图片_Python检查Word文件中包含特定关键字的所有页码
推荐教材:<Python程序设计基础与应用>(ISBN:9787111606178),董付国,机械工业出版社图书详情:配套资源:用书教师可以联系董老师获取教学大纲.课件.源码.教案.考试系 ...
- python使用logging打印信息到日志文件中
python使用logging打印信息到日志文件中 参考 Python输出日志信息 Python + logging 输出到屏幕,将log日志写入文件 使用logging打印日志到文件中的目的是: 解 ...
- shell echo单行和多行文字定向写入到文件中
转自:http://www.mamicode.com/info-detail-3078705.html shell echo单行和多行文字定向写入到文件中 单行文本: #!/bin/bash echo ...
最新文章
- 三维感知,这些干货足够了!(自动驾驶/三维重建/SLAM/点云/标定/深度估计/3D检测)...
- Java 洛谷 P1150 Peter的烟
- 最新Butterknife集成 全部方法(完整版)
- 5 zabbix 添加host_Zabbix 快速上手——添加 Agent 主机
- Linux管道和重定向 ---多命令协作
- Java基础中按值传递和引用传递详解
- php 天气小偷程序,天气小偷程序,自动采集信息入库
- VBA自动创建数据透视表
- 2019年年终总结及明年的期望
- 南京师范大学计算机考研2021,南京师范大学2021考研分数线已公布
- 【GDKOI2013】琪露诺的完美算法课
- Python最强干货,建议收藏!!
- 机器学习项目泰坦尼克号问题陈述
- android wifi p2p框架,7.2.1 P2P架构
- 信息学奥赛一本通C++语言-----1087:级数求和
- python如何截长图_利用 Python + Selenium 实现对页面的指定元素截图(可截长图元素)...
- 在视频编辑软件中使用调音台的方法
- android usb 检测工具,Android:如何检测已连接的USB设备?
- 使用ffmpeg将GoPro长延时的jpg照片转换成视频文件(一条命令)
- LED温湿度传感器大屏可视化随时掌握温湿度数据变化
热门文章
- 侬娜·杰尔_杰尔·地狱
- jpa 忽略bean_在WildFly上将JPA和CDI Bean与骆驼一起使用
- 基于按位与的 就散策略_比较散列策略
- gradle排除依赖_如何从Gradle中的所有依赖项中排除库
- javafx 剪切板_JavaFX技巧18:路径剪切
- javafx 浏览器_浏览器中的JavaFX
- javafx中的tree_JavaFX中的塔防(5)
- Oracle ADF和Oracle Jet一起工作。 建筑模式
- 使用RabbitMQ进行消息传递
- 仔细看看_仔细看看,您会发现需要改进的地方