python逐行读取字符串_python3.4.3下逐行读入txt文本并去重的方法

读写文件时应注意的问题包括：

1.字符编码

2.操作完成即时关闭文件描述符

3.代码兼容性

几种方法：

#!/bin/python3

original_list1=[" "]

original_list2=[" "]

original_list3=[" "]

original_list4=[" "]

newlist1=[" "]

newlist2=[" "]

newlist3=[" "]

newlist4=[" "]

newtxt1=""

newtxt2=""

newtxt3=""

newtxt4=""

#first way to readline

f = open("duplicate_txt.txt","r+") # 返回一个文件对象

line = f.readline() # 调用文件的 readline()方法

while line:

original_list1.append(line)

line = f.readline()

f.close()

#use "set()" remove duplicate str in the list

# in this way,list will sort randomly

newlist1 = list(set(original_list1))

#newlist1 = {}.fromkeys(original_list1).keys() #faster

#rebuild a new txt

newtxt1="".join(newlist1)

f1 = open("noduplicate1.txt","w")

f1.write(newtxt1)

f1.close()

###################################################################

#second way to readline

for line in open("duplicate_txt.txt","r+"):

original_list2.append(line)

newlist2 = list(set(original_list2))

newlist2.sort(key=original_list2.index) #sort

#newlist2 = sorted(set(original_list2),key=l1.index) #other way

newtxt2="".join(newlist2)

f2 = open("noduplicate2.txt","w")

f2.write(newtxt2)

f2.close()

###################################################################

#third way to readline

f3 = open("duplicate_txt.txt","r")

original_list3 = f3.readlines() #读取全部内容，并以列表方式返回

for i in original_list3: #遍历去重

if not i in newlist3:

newlist3.append(i)

newtxt3="".join(newlist3)

f4 = open("noduplicate3.txt","w")

f4.write(newtxt3)

f4.close()

###################################################################

#fourth way

f5 = open('duplicate_txt.txt',"r+")

try:

original_list4 = f5.readlines()

[newlist4.append(i) for i in original_list4 if not i in newlist4]

newtxt4="".join(newlist4)

f6 = open("noduplicate4.txt","w")

f6.write(newtxt4)

f6.close()

finally:

f5.close()

结果：

去重前：

去重后（无序）：

去重后（有序）：

总结

这段下程序涉及文件读写操作以及链表List的操作，文章开头提到的几个问题，由于并没有使用中文，所以不关心编码，但这里还是要提一提:

f = open("test.txt"，"w")

f.write(u"你好")

上面这段代码如果在python2中运行会报错

报错是因为程序没办法直接保存unicode字符串，要经过编码转换成str类型的二进制字节序列才可以保存。

write（）方法会自动编码转换，默认使用ascii编码格式，而ascii不能处理中文，所以出现UnicodeEncodeError。

正确方式是在调用write（）方法前，手动格式转换，用utf-8或者gbk转换成str。

f = open("test.txt"，"w")

text=u"你好"

text=text.encode(encoding='utf-8')

f.write(text)

关于close()问题:

不关闭会有什么影响呢？操作完成后，不关闭文件，会对系统资源造成浪费，因为系统可打开的文件描述符数量是有限的。Linux是65535。

一般来说close之后就OK了，但是也会存在特殊情况，比如说，在调用open（）函数时就已经发生错误，权限不足，调用close（）肯定报错。还有一种是在write（）时，如果磁盘空间不足，报错，close（）就没有机会执行了。正确的做法就是使用 try except 对异常进行捕获：

f = open("test.txt"，"w")

try:

text=u"你好"

text=text.encode(encoding='utf-8')

f.write(text)

except: IOError as e:

print("oops,%s"%e.args[0])

finally:

f.close()

更优雅的写法是用 with…as。

with open("test.txt"，"w") as f:

text=u"你好"

f.write(text.encode(encoding='utf-8'))

文件对象实现上下午管理器协议，程序进入with语句时，会把文件对象赋值给变量f，在程序退出with时会自动的调用close()方法。

关于兼容性问题:

python2和python3的open（）函数是不一样的，后者可以在函数中指定字符编码格式。

如何解决python2和python3的兼容open（）问题呢？

使用io模块下的open（）函数，python2中的io.open等价与python3的open函数

from io import open

with open("test.txt"，"w",encoding='utf-8') as f:

f.write(u"你好")

以上这篇python3.4.3下逐行读入txt文本并去重的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

本文标题: python3.4.3下逐行读入txt文本并去重的方法

本文地址: http://www.cppcns.com/jiaoben/python/226663.html

python逐行读取字符串_python3.4.3下逐行读入txt文本并去重的方法相关推荐

python文本去重函数_python3.4.3下逐行读入txt文本并去重的方法
读写文件时应注意的问题包括: 1.字符编码 2.操作完成即时关闭文件描述符 3.代码兼容性几种方法: #!/bin/python3 original_list1=[" "] or ...
python 逐行读取文件_Python fileinput模块：逐行读取多个文件
前面章节中,我们学会了使用 open() 和 read()(或者 readline().readlines() )组合,来读取单个文件中的数据.但在某些场景中,可能需要读取多个文件的数据,这种情况下, ...
python复制指定字符串_python3.4学习笔记(十五) 字符串操作（string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等）...
python3.4学习笔记(十五) 字符串操作(string替换.删除.截取.复制.连接.比较.查找.包含.大小写转换.分割等) python print 不换行(在后面加上,end=''),prin ...
python os读取文件名_Python3基础 os.path.splitext 处理文件名，得到文件名+扩展名
Python : 3.7.0 OS : Ubuntu 18.04.1 LTS IDE : PyCharm 2018.2.4 Conda : 4.5.11 typesetting : Markdown ...
python自动读取excel文件邮箱列表，自动批量发送邮件项目（附使用方法+代码）
python自动发送邮件项目项目简介使用方法项目结构完整项目代码结语项目简介该项目功能是利用python自动读取excel文件中的邮箱列表,并批量发送邮件到目标邮箱,进行客户挖掘的.该项 ...
python怎么输入两行_python交互模式下输入换行/输入多行命令的方法
先给大家介绍下python交互模式下输入换行/输入多行命令的方法换行方法 \ 如: >>> print 'aaa'; \ ... print 'bbb'; \ ... print ...
python驱动级模拟按键_Python实现windows下模拟按键和鼠标点击的方法
本文实例讲述了Python实现windows下模拟按键和鼠标点击的方法.分享给大家供大家参考.具体如下: 这段代码可以模拟在窗口上按下按键.鼠标左键点击.鼠标右键点击.鼠标双击等等 # # _*_ c ...
python去重复字符串_python3取出重复3次的字符串保存为3列
python3 取出重复 3 次的字符串保存为 3 列 .py python-IIS7.5-web.config-rewrite 规则转 .ht , 读取配置文件对比文件 MD5.py , 读取文件 ...
Python 批量读取多个文件夹下的图片
对不同文件夹下的特定图片进行处理 import cv2 import ospath = "F:\pycharm project\de\su" # path必须是英文 for fil ...

python逐行读取字符串_python3.4.3下逐行读入txt文本并去重的方法

python逐行读取字符串_python3.4.3下逐行读入txt文本并去重的方法相关推荐

最新文章

热门文章