文件操作（IO技术）

第八章文件操作技术（IO技术）

 一个完整的程序一般都包括数据的存储和读取，实际开发中，我们经常需要从外部存

储介质（硬盘、光盘、U 盘等）读取数据，或者将程序产生的数据存储到文件中，实现“持久化”保存。

文本文件和二进制文件

 1. 文本文件文本文件存储的是普通“字符”文本，python 默认为 unicode 字符集（两个字节表示一个字符，最多可以表示：65536 个），可以使用记事本程序打开。但是，像 word 软件编辑的文档不是文本文件。2. 二进制文件二进制文件把数据内容用“字节”进行存储（不同类型数据用不同字节存储），无法用记事本打开。必须使用专用的软件解码。常见的有：MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等**文件操作相关模块概述**

创建文件对象open()

 open()用于创建文件对象，基本语法格式：open（文件名，[打开方式]）果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如：D:\a\b.txt。为了减少“\”的输入，可以使用原始字符串：r“d:\b.txt”。示例如下：f = open(r"d:\b.txt","w")打开的方式有以下几种：

模式	描述
r	读read模式
w	写write模式
a	追加append模式，文件存在则创建，不存在则在文件末尾追加
b	二进制binary模式
+	读、写模式

文本文件对象和二进制文件对象的创建：
如果我们没有增加模式“b”，则默认创建的是文本文件对象，处理的基本单元是“字符”。如果是二进制模式“b”，则创建的是二进制文件对象，处理的基本单元是“字节”

文本文件的写入

基本的文件写入操作
文本文件的写入包括三个步骤：

创建文件对象
写入数据
关闭文件对象
【操作】文本写入操作测试

#文件的写入操作
f=open(r"f:\MateriaofANN\aa.txt","a")#a模式记得加双引号
s="chuchuaixuexi"
f.write(s)
f.close()

执行结果如下：

常用编码的解释

在操作文本文件时，经常会操作中文，这时候就经常会碰到乱码问题。各种编码之间的关系如下：

ASCII
全称为 American Standard Code for Information Interchange，美国信息交换标准代码，这是世界上最早最通用的单字节编码系统，主要用来显示现代英语及其他西欧语言。
ASCII 码用 7 位表示，只能表示 128 个字符。只定义了 2
7=128 个字符，用7bit 即可完全编码，而一字节 8bit 的容量是 256，所以一字节 ASCII 的编码最高位总是 0。
0～31 表示控制字符如回车、退格、删除等；32～126 表示打印字符即可以通过键盘输入并且能显示出来的字符；其中 48～57 为 0 到 9 十个阿拉伯数字，65～90 为 26 个大写英文字母，97～122 号为 26 个小写英文字母，其余为一些标点符号、运算符号等，具体可以参考 ASCII 标准表
ISO8859-1
ISO-8859-1 又称 Latin-1，是一个 8 位单字节字符集，它把 ASCII 的最高位也利用起来，并兼容了 ASCII，新增的空间是 128，但它并没有完全用完。在 ASCII 编码之上又增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号，它是向下兼容 ASCII 编码
GB2312,GBK,GB18030
GB2312:
GB2312 全称为信息交换用汉字编码字符集，是中国于 1980 年发布，GB2312 全称为信息交换用汉字编码字符集，是中国于 1980 年发布，GB2312覆盖了汉字的大部分使用率，但不能处理像古汉语等特殊的罕用字，所以后来出现了像 GBK、GB18030 这种编码。
GB2312 完全兼容 ISO8859
·GBK:
全称为 Chinese Internal Code Specification，即汉字内码扩展规范，于 1995 年制定。
它主要是扩展了 GB2312，在它的基础上又加了更多的汉字，它一共收录了 21003 个汉字.目前windows系统采用的就是GBK编码

Unicode
Unicode 编码设计成了固定两个字节，所有的字符都用 16 位(2^16=65536)表示，包括之前只占 8 位的英文字符等，所以会造成空间的浪费，UNICODE 在很长的一段时间内都没有得到推广应用
Unicode 完全重新设计，不兼容 iso8859-1，也不兼容任何其他
UTF-8
对于英文字母，unicode 也需要两个字节来表示。所以 unicode 不便于传输和存储。因此而产生了 UTF 编码，UTF-8 全称是（8-bit UnicodeTransformation Format）。UTF 编码兼容 iso8859-1 编码，同时也可以用来表示所有语言的字符，不过，UTF 编码是不定长编码，每一个字符的长度从 1-4 个字节不等。其中，英文字母都是用一个字节表示，而汉字使用三个字节
中文乱码问题
windows 操作系统默认的编码是 GBK，Linux 操作系统默认的编码是 UTF-8，而python用的是utf-8。当我们用 open()时，调用的是操作系统打开的文件，默认的编码是 GBK
[示例]中文字符文件，乱码出现测试

#测试写入中文
f=open(r"b.txt","a")
f.write("楚楚\n 百战程序员\n")
f.close()

运行结果如下：（Linux环境不存在这个问题）

我们在文件编辑区单击右键，选择 FileEncoding，选择 GBK 即可

运行结果如下：

write（）/writelines（）写入数据

write(a)：把字符串a写入文件中
writelines(b):把字符串列表写入文件中，不添加换行符
【操作】添加字符串列表数据到文件中

#添加字符串到文件中
f=open(r"F:\PythonProjects\mypthon1\myfile\aa.txt","a",encoding="utf-8")
s=["楚楚\n","莹莹\n","月月\n"]
try:f.write(s)
except BaseException as e:f.writelines(s)print(e)
finally:f.close()

执行结果：

注意write只能写字符串不能写字符串列表，writelines都可以

close()关闭文件流

由于文件底层是由操作系统控制，所以我们打开的文件对象必须显式调用 close()方法
关闭文件对象。当调用 close()方法时，首先会把缓冲区数据写入文件(也可以直接调用 flush()方法)，再关闭文件，释放文件对象。
为了确保打开的文件对象正常关闭，一般结合异常机制的 finally 或者 with 关键字实现
无论何种情况都能关闭打开的文件对象。具体可以看上一节测试writelines语句

with语句（上下文管理器）

with 关键字（上下文管理器）可以自动管理上下文资源，不论什么原因跳出 with 块，都能确保文件正确的关闭，并且可以在代码块执行完毕后自动还原进入该代码块时的现场
【练习】测试with语句块

#测试with语句
m=["CC\n","莹莹\n","月月\n"]
with open(r"F:\PythonProjects\mypthon1\myfile\aa.txt") as h:h.writelines(m)

执行错误因为open没有设置模式，异常提示如下：

修改后的程序如下：

#测试with语句
m=["CC\n","莹莹\n","月月\n"]
with open(r"F:\PythonProjects\mypthon1\myfile\aa.txt","a") as h:h.writelines(m)

文本文件的读取

文件读取一般使用以下三个方法：
1. read([size])
从文件中读取 size 个字符，并作为结果返回。如果没有 size 参数，则读取整个文件。
读取到文件末尾，会返回空字符串。
2. readline()
读取一行内容作为结果返回。读取到文件末尾，会返回空字符串。
3. readlines()
文本文件中，每一行作为一个字符串存入列表中，返回该列表
(1)操作：读取前四个字符

#读取一个文件前4个字符
with open(r"F:\PythonProjects\mypthon1\myfile\b.txt","r",encoding="utf-8") as f:print(f.read(4))

注意一开始文件是GBK重载后的，则出现以下错误，

utf-8重载文件即可
(2)操作：文件较小时读取所有的字符

在这里插入代码片
#读取一个文件
with open(r"F:\PythonProjects\mypthon1\myfile\b.txt","r",encoding="utf-8") as f:print(f.read())

执行结果如下：

（3）按行读取一个文件

with open(r"F:\PythonProjects\mypthon1\myfile\b.txt","r",encoding="utf-8") as f:while True:fragment=f.readline()if not fragment:breakelse:print(fragment)

如果不加end=""则会隔行打印
执行结果：

（4）使用迭代器读取文本文件

with open(r"F:\PythonProjects\mypthon1\myfile\b.txt","r",encoding="utf-8") as f:for a in f:print(a,end="")

（5）enumerate函数
enumerate可以生成一个迭代器，list(enumerate)把列表每个元素生成一个索引，并和列表元素生成一个元组；那么通过推导式，表达式+for+变量+in enumerate(字符列表)，则可以生成一个新的加了行号和原内容的列表

with open(r"F:\PythonProjects\mypthon1\myfile\b.txt","r",encoding="utf-8") as f:lines=f.readlines()  #按行读取文本，并返回列表lines2=[line.rstrip()+"#"+str(index+1)+"\n" for index,line in enumerate(lines)]
#推导式生成列表，rstrip去除空格，str要把index转化成字符串with open("b.txt","w",encoding="utf-8") as f:f.writelines(lines2)

执行结果如下：

二进制文件的读取和写入

二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象，不过，我们需要指定二进制模式，从而创建出二进制文件对象。例如：
f=open(r"d:\a.txt",“wb”) #可写的、重写模式的二进制文件对象。
同理，“ab”表示追加模式的二进制文件，“rb”表示可读的二进制文件对象。
创建好二进制文件对象后，仍然可以使用 write()、read()实现文件的读写操作
[操作]读取图片文件，实现文件拷贝

with open("SEM.gif","rb") as f:with open("SEM copy.gif","wb") as w:for line in f.readlines():w.write(line)
print("图片拷贝完成")

文件对象的常用属性和方法

文件对象封装了文件相关的操作。文件常用的属性和方法如下：

文件对象的打开模式：

文件对象的常用方法

文件任意位置操作

seek()移动文件指针示例：

with open("b.txt","r",encoding="utf-8") as f:print("文件名是：{0}".format(f.name))print(f.mode)print(f.tell())f.seek(0,0)print("读取的内容是：{0}".format(str(f.readline())))print(f.tell())

执行结果如下：

使用pickle序列化

Python 中，一切皆对象，对象本质上就是一个“存储数据的内存块”。有时候，我们
需要将“内存块的数据”保存到硬盘上，或者通过网络传输到其他的计算机上。这时候，就需要“对象的序列化和反序列化”。对象的序列化机制广泛的应用在分布式、并行系统上。
序列化指的是：将对象转化成“串行化”数据形式，存储到硬盘或通过网络传输到其他
地方。反序列化是指相反的过程，将读取到的“串行化数据”转化成对象。
我们可以使用 pickle 模块中的函数，实现序列化和反序列操作
序列化和反序列化的操作：
pickle.dump(obj,file) obj就是序列化对象，file指存储的对象
pickle.load（file）从file读取数据，反序列化成对象
【操作】将对象序列化到文件当中

import pickle
with open("b.txt","w") as f:a1="chuchu"a2="月月"a3="莹莹"pickle.dump(a1,f)pickle.dump(a2,f)pickle.dump(a3,f)

因为pickle格式默认存储二进制也就是字节数据，故而这样的程序会报错。执行结果如下：

则应该修改为：

import pickle
with open("b.dat","wb") as f:a1="chuchu"a2="月月"a3="莹莹"pickle.dump(a1,f)pickle.dump(a2,f)pickle.dump(a3,f)

执行结果如下：

【操作】将获得数据反序列化成对象

with open("b.dat","rb") as f:a1=pickle.load(f)a2=pickle.load(f)a3=pickle.load(f)print(a1,a2,a3)

执行结果

CSV文件操作

csv文件是逗号分隔符文本格式，常用于数据交换、Excel文件和数据库数据的导入和导出。与 Excel 文件不同，CSV 文件中：
值没有类型，所有值都是字符串
不能指定字体颜色等样式
不能指定单元格的宽高，不能合并单元格
没有多个工作表
不能嵌入图像图表
Python 标准库的模块 csv 提供了读取和写入 csv 格式文件的对象。

csv.reader对象和csv文件读取

【操作】csv.reader对象从csv文件读取数据

import csv
with open("a.csv") as a:a_csv=csv.reader(a) #创建 csv 对象,它是一个包含所有数据的列表，每一行为一个元素headers=next(a_csv)print(headers)for row in a_csv:print(row)

执行结果：

csv.writer对象和csv文件写入

【操作】用csv对象写一个csv文件

headers = ["工号","姓名","年龄","地址","月薪"]
rows = [("1001","高淇",18,"西三旗 1 号院","50000"),("1002","高八",19,"西三旗 1 号院","30000")]
with open("b.csv","w") as b:b_csv=csv.writer(b)b_csv.writerow(headers)b_csv.writerows(rows)

执行结果：

os和os.path模块

os 模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行
文件、命令，直接操作文件、目录等等。在系统运维的核心基础。

os模块-调用操作系统的命令

os.system 可以帮助我们直接调用系统的命令
【操作】os.system调用windows系统的记事本程序

import os
os.system("notepad.exe")

【操作】os.system调用ping命令

import os
os.system("notepad.exe")
os.system("ping www.baidu.com")

运行结果：

控制台中文出现乱码，在file-setting中设置

project encoding是控制台编码

os.startfile:直接调用可执行文件

[示例] 运行安装好的微信

import os
os.startfile("C:\Program Files (x86)\Tencent\WeChat\WeChat.exe")

os模块-文件和目录操作

如果需要对文件和目录做其他操作，可以使用os和os.path模块

os模块下关于目录操作的相关方法，汇总如下：

【示例】os模块：创建、删除目录、获取文件信息等

import os
print(os.name)#windows->nt linux 和 unix->posix
print(os.sep) #windows->\ linux 和 unix->/
print(repr(os.linesep)) #windows->\r\n linux-->\n\
print(os.stat("myos2.py"))

执行结果

os.path模块

测试os.path中常用方法

import os
import os.path
########################获得目录、文件基本信息
print(os.path.isabs("myos3.py")) #是否绝对路径
print(os.path.isdir("myos3.py")) #是否目录
print(os.path.isfile("myos3.py")) #是否是文件
print(os.path.exists("myos3.py")) #文件是否存在
print(os.path.getsize("myos3.py")) #文件大小
print(os.path.abspath("myos3.py")) #输出绝对路径
print(os.path.dirname("myos3.py")) #输出所在目录
######################获得创建时间、访问时间、最后修改时间
print(os.path.getctime("myos3.py")) #返回创建时间
print(os.path.getatime("myos3.py")) #最后访问时间
print(os.path.getmtime("myos3.py")) #返回最后修改时间
########################对路径进行分割、连接操作
path=os.path.abspath("myos3.py") #把myos3的路径返给path
print(os.path.split(path)) #返回元祖，目录、文件
print(os.path.splitext(path)) #返回元祖：路径、扩展名
print(os.path.join("aa","bb","cc"))

执行结果如下：

【示例】列出指定目录下所有的.py文件，并输出文件名

import os
import os.pathpath=os.getcwd() #返回当前工作目录
file_list=os.listdir(path) #列出子目录和子文件
#如果只想输入py文件格式，则可以在循环中加一个判断条件，下面是第一种循环方式
for filename in file_list:pos=filename.rfind(".") #返回字符串最后出现的位置if filename[pos+1:]=="py": #字符串的分片print(filename,end="\t")
print("##########################")
#下面是形成推导式进而形成列表的方式
file_list2=[filename for filename in os.listdir(path) if filename.endswith(".py")] #注意是endswith不是endwith
for filename in file_list2:print(filename,end="\t")

walk()递归遍历所有文件和目录

os.walk()方法：
返回一个3元素的元祖，(dirpath, dirnames, filenames),
dirpath：要列出指定目录的路径
dirnames：目录下的所有文件夹
filenames：目录下的所有文件

【示例】使用walk()递归遍历所有的文件和目录

import os
all_files=[]
path=os.getcwd()
list_files=os.walk(path)for dirpath,dirnames,filenames in list_files:for dir in dirnames:all_files.append(os.path.join(dirpath,dir))for name in filenames:all_files.append(os.path.join(dirpath,name))
for file in all_files:print(file)

执行结果：

Shutil模块（拷贝和压缩）

shutil 模块是 python 标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以做文件和文件夹的压缩、解压缩操作。
os 模块提供了对目录或文件的一般操作。shutil 模块作为补充，提供了移动、复制、压缩、解压等操作，这些 os 模块都没有提供。

import shutil
#copy文件内容
shutil.copyfile("myos3.py","myos3_copy.py")
#copy文件夹内容
shutil.copytree("F:\PythonProjects\mypthon1","F:\PythonProjects\mypthon1_copy",ignore=shutil.ignore_patterns("*.py"))
#注意新建的文件夹必须为空才可以

执行结果如下：

【示例】实现将文件夹所有内容压缩（使用shutil模块）

import shutil
#吧myos压缩文件夹到myfile生成myos。zip
shutil.make_archive("F:\PythonProjects\mypthon1\myfile\myos","zip","F:\PythonProjects\mypthon1\myos")
#压缩，将指定的多个文件压缩到一个zip文件
import zipfile
z=zipfile.ZipFile("F:\PythonProjects\mypthon1\myfile\myos.zip","w")
z.write(r"F:\PythonProjects\mypthon1\myfile\aa.txt")
z.write(r"F:\PythonProjects\mypthon1\myfile\b.txt")
z.close()

递归算法

递归是一种常见的解决问题的方法，即把问题逐渐简单化。递归的基本思想就是“自己调用自己”，一个使用递归技术的方法将会直接或者间接的调用自己。
递归结果包含两个部分：
（1）定义递归头。：什么时候不调用自身方法。如果没有头，将陷入死循环，也就是递归的结束条件。
（2）递归体。：什么时候需要调用自身方法。

递归原理分析图如下：

递归特点：简单的程序是递归的优点之一。但是递归调用会占用大量的系统堆栈，内存耗用多，在递归调用层次多时速度要比循环慢的多，所以在使用递归时要慎重。

import os
allfile=[]
def getFiles(path,level):childFiles=os.listdir(path)for file in childFiles:filepath=os.path.join(path,file)if os.path.isdir(filepath): #如果此时的文件是路径不是文件的话，则调用递归函数getFiles(filepath,level+1)allfile.append("\t"*level+filepath)
getFiles(os.getcwd(),0)
for f in reversed(allfile): #reversed逆序迭代器print(f)