Pyton IO编程

文章目录

IO编程简介
文件读写
StringIO和BytestIO
操作文件和目录
序列化

IO编程简介

IO指input/output，也就是输入和输出
同步IO：同步，等第一件事情干完再干其他事情
异步IO：异步，当第一件事情需要等待时，一边等待一边干另一件事

文件读写

详见http://www.runoob.com/python/python-files-io.html

读写文件是最常见的IO操作
读写文件原理
- 操作系统不允许普通程序直接操作磁盘
- 所以读写文件就是请求操作系统打开一个文件对象（文件描述符）
- 然后通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）
读文件
- 使用open()函数，传入文件名和标识符，可以打开文件
  - f = open(’/users/test.txt’,‘r’)
  - 标识符’r’表示读
  - 标识符可不填，默认为r
- 如果文件不存在，open()函数会抛出IOError的错误
- 如果文件打开成功，调用read()方法可以一次读取文件的全部内容，python把文件读到内存，用一个str对象表示
  - f.read()
- 最后一步是调用close()方法关闭文件
  - 文件使用完必须关闭，因为文件对象会占用操作系统的资源，并且同一时间打开的文件数量是有限的
  - f.close()
  - 由于文件读写时有可能产生IOError，一旦出错后面的f.close()不会被调用，所以可以使用try…finally实现无论是否出错都关闭文件
  - 但是每次都这样写太繁琐，所以python引入了with语句来自动调用close()方法
    with open(’/path/to/file’, ‘r’) as f:
    print(f.read())
    不必再调用f.close()方法
- 读文件方法比较
  read()方法，一次读取所有内容
  read(size)方法，每次最多读取size个字节的内容
  readline()方法，可以每次读取一行内容
  readlines()方法，一次读取所有内容，并按行返回list
file-like Object
- 像open()函数返回的这种有个read()方法的对象，在Python中统称为file-like Object
- 除了file外，还可以是内存的字节流，网络流，自定义流等等
- file-like Object不要求从特定类继承，只要写个read()方法就行
- StringIO就是在内存中创建的file-like Object，常用作临时缓冲
二进制文件
- 默认读取的是以UTF-8编码的文本文件，如果要读取二进制文件，需要使用’rb’模式打开文件
  f.open(’/users/test.jpg’, ‘rb’)
  f.read() #返回十六进制表示的字节
字符编码
- 读取非utf-8编码的文本文件，需要给open()函数传入encoding参数
  f = open(’/Users/michael/gbk.txt’, ‘r’, encoding=‘gbk’)
- 编码不规范的文件会报UnicodeDecodeError，因为文件中可能加载了一些非法编码的字符，open()函数，还解说errors参数，表示遇到编码错误的处理方式
  f = open(’/Users/michael/gbk.txt’, ‘r’, encoding=‘gbk’, errors=‘ignore’)#ignore表示忽略
写文件
- 和读文件类型，不过传入的标识符为’w’或者’wb’表示写文本文件或者写二进制文件
  f = open(’/Users/michael/test.txt’, ‘w’)
- 然后调用write()方法进行写入
  f.write(‘Hello, world!’)
- 可以反复调用write()写入文件，但是必须要调用f.close()来关闭文件
  写入文件时，系统不是立刻写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入
  只有调用close()方法时，才会全部写入
- 要写入特定编码的文本文件，请给open()函数传入encoding参数，将字符串自动转换成指定编码
- 以’w’模式写入文件时，如果文件已存在，会直接覆盖（相当于删掉后新写入一个文件）。如果我们希望追加到文件末尾可以传入’a’以追加（append）模式写入

StringIO和BytestIO

StringIO
- 数据读写不一定是文件，也可以在内存中读写
  StringIO就是在内存中读写str
- 把str写入StringIO，需要先创建一个StringIO，然后像文件一样写入即可
  from io import StringIO
  f = StringIO()#创建StringIO对象
  f.write(‘nihao’)#写入
  print(f.getvalue())#获取写入的str
- 读取StringIO，可以先初始化StringIO，然后像读文件一样读取
  from io import StringIO
  f = StringIO(‘Hello!\nHi!\nGoodbye!’)#初始化StringIO
  print(f.read())
BytesIO
- StringIO操作的只能是str，如果要操作二进制数据，就需要使用BytesIO
- 写入的不是str，而是经过UTF-8编码的bytes
- 使用方法和和StringIO类似

操作文件和目录

详见http://www.runoob.com/python/os-file-methods.html
https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431925324119bac1bc7979664b4fa9843c0e5fcdcf1e000
Python的os模块封装了操作系统的目录和文件操作，要注意这些函数有的在os模块中，有的在os.path模块中。

序列化

简介
- 在程序运行的过程中，所有的变量都是在内存中，一旦程序结束，变量所占用的内存就被操作系统全部回收。
- 我们把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling
- 序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。
- 反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。
Python提供了pickle模块来实现序列化
- pickle.dumps()方法把任意对象序列化成一个bytes，然后，就可以把这个bytes写入文件。
- 或者用另一个方法pickle.dump()直接把对象序列化后写入一个file-like Object：
- 用pickle.loads()方法反序列化出对象，也可以直接用pickle.load()方法从一个file-like Object中直接反序列化出对象
json
- 如果我们要在不同的编程语言之间传递对象，就必须把对象序列化为标准格式，比如XML，但更好的方法是序列化为JSON，因为JSON表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式，并且比XML更快，而且可以直接在Web页面中读取，非常方便。
- Python内置的json模块提供了非常完善的Python对象到JSON格式的转换
  dumps()方法返回一个str，内容就是标准的JSON。类似的，dump()方法可以直接把JSON写入一个file-like Object
  用loads()或者对应的load()方法，前者把JSON的字符串反序列化，后者从file-like Object中读取字符串并反序列化
小结
- Python语言特定的序列化模块是pickle，但如果要把序列化搞得更通用、更符合Web标准，就可以使用json模块。
- json模块的dumps()和loads()函数是定义得非常好的接口的典范。当我们使用时，只需要传入一个必须的参数。但是，当默认的序列化或反序列机制不满足我们的要求时，我们又可以传入更多的参数来定制序列化或反序列化的规则，既做到了接口简单易用，又做到了充分的扩展性和灵活性。

Pyton IO编程相关推荐

python import io_详解Python IO编程
文件读写读文件 try: # windows下utf8 f = open('./README.md', 'r', encoding='utf8', errors='ignore') print(f. ...
Python学习笔记十 IO编程
参考教程:廖雪峰官网https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000 IO编程 I ...
Java IO编程全解（五）——AIO编程
转载请注明出处:http://www.cnblogs.com/Joanna-Yan/p/7794151.html 前面讲到:Java IO编程全解(四)--NIO编程 NIO2.0引入了新的异步通道的 ...
JAVA网络IO编程
2019独角兽企业重金招聘Python工程师标准>>> JAVA网络IO编程(BIO NIO AIO) 一.传统的BIO编程 1.网络编程的基本模型是C/S模型,即两个进程间的通信. ...
python程序官方网站-IO编程
IO在计算机中指Input/Output,也就是输入和输出.由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口. 比如你打开 ...
JAVA入门到精通-第43讲-IO编程-坦克大战10
//当敌人子弹击中我的时候,死亡 this.hitEnemyTank( ); //每一个敌人的坦克击中我 //我的坦克被击中,爆炸,消失 //当敌人互相有碰撞的时候,不能往前面走了矩形的任何一点不能 ...
Python学习笔记：Io编程序列化
前言最近在学习深度学习,已经跑出了几个模型,但Pyhton的基础不够扎实,因此,开始补习Python了,大家都推荐廖雪峰的课程,因此,开始了学习,但光学有没有用,还要和大家讨论一下,因此,写下这些帖 ...
Python学习笔记：IO编程StringIO和BytesIO
前言最近在学习深度学习,已经跑出了几个模型,但Pyhton的基础不够扎实,因此,开始补习Python了,大家都推荐廖雪峰的课程,因此,开始了学习,但光学有没有用,还要和大家讨论一下,因此,写下这些帖 ...
Python之IO编程
前言:由于程序和运行数据是在内存中驻留的,由CPU这个超快的计算核心来执行.当涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.由于CPU和内存的速度远远高于外设的速度,那么在IO编程中就存在 ...

Pyton IO编程

文章目录

IO编程简介

文件读写

StringIO和BytestIO

操作文件和目录

序列化

Pyton IO编程相关推荐

最新文章

热门文章