pytho读文件| python文件去重 | python去除重复行

今天的文章较水，这两天在学信息搜集还有写专业课的大作业，已经搞得晕头转向了，休闲之余还被短视频给绑架了，唉，我对短视频的抵抗力还是这么差。之前想的每天都学一点，然后记录下来，但是最近的学习内容很松散也不知道该记录什么东西，今天水一篇python去重的。
代码如下：

import sys,re
# try:
path = sys.argv[1]
print(path)
str1 = []
with open(path,'r') as f:for line in f.readlines():if line not in str1:str1.append(line)for str in str1:with open(path[0:len(path)-4]+'_remove_same.txt',"a+") as f:f.write(str)
# except:
#   print("请输入合法的文件夹路径！")

使用方法主要是python 这个文件的文件名.py 想要去重文件的绝对路径，因为是水一篇文章，所以我就把try给注释掉了，然后其他应该标准的写法我也不会，所以就这么潦潦草草了！

这个关键的地方就是:sys

import sys
sys.argv[1]

这个是获取输入的第一个值

with open('firename','r') as f:pass

这个主要就是打开这个filename文件，并且是只读状态的。

pytho读文件| python文件去重 | python去除重复行相关推荐

【python】删除excel表格重复行，数据预处理
使用python删除excel表格重复行. # 导入pandas包并重命名为pd import pandas as pd# 读取Excel中Sheet1中的数据 data = pd.DataFrame ...
python3 文本文件内容去除重复行
环境:python3.8 import shutil# 文件去除重复行 def remove_duplicates(path):lines_seen = set()outfile = open(f&q ...
menisa mysql_实例详细说明linux下去除重复行命令uniq
一,uniq干什么用的文本中的重复行,基本上不是我们所要的,所以就要去除掉.linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个.使用uniq的时候要注意以下二点 1,对文本操 ...
shell脚本--awk数组实现去除重复行
去除重复行的方法有很多,这里介绍三种. 测试文本: [root@172-0-10-222 myscripts]# cat testfile andy 123456 hanna 123456 hello ...
linux排列去重复的命令,实例详细说明linux下去除重复行命令uniq
一,uniq干什么用的文本中的重复行,基本上不是我们所要的,所以就要去除掉.linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个.使用uniq的时候要注意以下二点 1,对文本操 ...
文本去除重复行（sublime Text3 ,正则表达式）
文本去除重复行(sublime Text3 ,正则表达式) 去除重复行的方法很多,这里通过正则表达式实现: 农林牧渔子类农林牧渔子类农林牧渔子类农林牧渔子类卫生和社会工作子类卫生和社会工作 ...
Pandas 模块-操纵数据(8)-去除重复行 .drop_duplicates()
目录 8. 去除重复行 .drop_duplicates() 8.1 .drop_duplicates() 语法 8.1.1 .drop_duplicates() 语法结构 8.1.2 .drop_d ...
python对csv去除重复行_Python 去重csv文件中相同的重复行
读取CSV 读取CSV文件由两种方式: 第一种 import csvwith open('data.csv','r',encoding = 'utf8') as fp: reader = csv.re ...
水文日常~~Python如何按行读取txt文件中的数据并去除每行末尾的回车符\n
#从文件中读取数据 with open ('data.txt') as file_object:lines = file_object.read().splitlines()#去除每行末尾的回车符
python列表去重并删除重复那个_Python实现去除列表中重复元素的方法总结【7种方法】...
如何用python实现剔除列表中相同的元素 >>> a = [1, 2, 3, 1, 2, 3] >>> list(set(a)) [1, 2, 3] 先转成 se ...

pytho读文件| python文件去重 | python去除重复行

pytho读文件| python文件去重 | python去除重复行相关推荐

最新文章

热门文章