python 异步文件读写_Python中使用asyncio 封装文件读写
前言
和网络 IO 一样,文件读写同样是一个费事的操作。
默认情况下,Python 使用的是系统的阻塞读写。这意味着在 asyncio 中如果调用了
f = file('xx')
f.read()
会阻塞事件循环。
本篇简述如何用 asyncio.Future 对象来封装文件的异步读写。
代码在 GitHub。目前仅支持 Linux。
阻塞和非阻塞
首先需要将文件的读写改为非阻塞的形式。在非阻塞情况下,每次调用 read 都会立即返回,如果返回值为空,则意味着文件操作还未完成,反之则是读取的文件内容。
阻塞和非阻塞的切换与操作系统有关,所以本篇暂时只写了 Linux 版本。如果有过 Unix 系统编程经验,会发现 Python 的操作是类似的。
flag = fcntl.fcntl(self.fd, fcntl.F_GETFL)
if fcntl.fcntl(self.fd, fcntl.F_SETFL, flag | os.O_NONBLOCK) != 0:
raise OSError()
Future 对象
Future 对象类似 Javascript 中的 Promise 对象。它是一个占位符,其值会在将来被计算出来。我们可以使用
result = await future
在 future 得到值之后返回。而使用
future.set_result(xxx)
就可以设置 future 的值,也意味着 future 可以被返回了。await 操作符会自动调用 future.result() 来得到值。
loop.call_soon
通过 loop.call_soon 方法可以将一个函数插入到事件循环中。
至此,我们的异步文件读写思路也就出来了。通过 loop.call_soon 调用非阻塞读写文件的函数。若一次文件读写没有完成,则计算剩余所学读写的字节数,并再次插入事件循环直至读写完毕。
可以发现其就是把传统 Unix 编程里,非阻塞文件读写的 while 循环换成了 asyncio 的事件循环。
下面是这一过程的示意代码。
def read_step(self, future, n, total):
res = self.fd.read(n)
if res is None:
self.loop.call_soon(self.read_step, future, n, total)
return
if not res: # EOF
future.set_result(bytes(self.rbuffer))
return
self.rbuffer.extend(res)
self.loop.call_soon(self.read_step, future, self.BLOCK_SIZE, total)
def read(self, n=-1):
future = asyncio.Future(loop=self.loop)
self.rbuffer.clear()
self.loop.call_soon(self.read_step, future, min(self.BLOCK_SIZE, n), n)
return future
时间: 2016-09-08
python 异步文件读写_Python中使用asyncio 封装文件读写相关推荐
- linux递归创建文件夹_Python中并发请求创建文件夹带来的线程安全问题
在我们日常写程序的过程中,免不了与文件系统打交道,各种开发语言都提供了与文件系统交互的指令函数,比如Python中的os模块,就提供了许多这样的指令函数,今天就以创建文件夹为例,来说一下,如果用的不当 ...
- python异步查询数据库_Python中使用aiomysql异步操作MySQL实例效果
Python异步操作MySQL示例[使用aiomysql] 本文实例讲述了Python异步操作MySQL.分享给大家供大家参考,具体如下: 安装aiomysql 依赖 Python3.4+ async ...
- python读取数据库数据类型_Python中从SQL型数据库读写dataframe型数据
Python的pandas包对表格化的数据处理能力很强,而SQL数据库的数据就是以表格的形式储存,因此经常将sql数据库里的数据直接读取为dataframe,分析操作以后再将dataframe存到sq ...
- python算法和数据结构_Python中的数据结构和算法
python算法和数据结构 To 至 Leonardo da Vinci 达芬奇(Leonardo da Vinci) 介绍 (Introduction) The purpose of this ar ...
- python asyncio教程_python中使用asyncio实现异步IO实例分析
1.说明 Python实现异步IO非常简单,asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持. asyncio的编程模型就是一个消息循环.我们从asyncio模块中直接 ...
- python第三方库文件传输_Python第三方库在Excel文件读写中的应用
Python第三方库在Excel文件读写中的应用 文/刘卫华1 史婷婷2 许学添1 [摘 要]摘 要 [期刊名称]<电子技术与软件工程> [年(卷),期]2019(000)016 [总页数 ...
- python3异步task_并发,异步编程_Python中的asyncio模块中的Future和Task的区别?,并发,异步编程,python,asyncio - phpStudy...
Python中的asyncio模块中的Future和Task的区别? 问题一 按照官方文档的描述,Task是Futrue的一个subclass,标准库中也分别提供了create_task和create ...
- python异步多线程框架_Python网络编程中的服务器架构(负载均衡、单线程、多线程和同步、异步等)。...
这篇文章主要介绍服务器架构. 网络服务需要面对两个挑战.第一个问题是核心挑战,要编写出能够正确处理请求并构造合适响应的代码. 第二个挑战是如何将网络代码部署到随系统自动启动的Windows服务或者是U ...
- python 写txt 换行_python中写入txt文件需要换行,以及\r 和\n
在Python中,用open()函数打开一个txt文件,写入一行数据之后需要一个换行 如果直接用 f.write('\n') 只会在后面打印一个字符串'\n',而不是换行' 需要用 f.write(' ...
最新文章
- R语言-查看对象类型和长度
- 【已解决】查看Python中已经安装的包
- Linux下内存泄露工具
- android 副mic测试,【收藏】Android Audio Framework CTS Verifier 测试方法
- freeCodeCamp:Diff Two Arrays
- centos7/rhel7下安装redis4.0集群
- pytorch torch.ones
- Microsoft Visual Studio Ultimate 2013密钥
- Hello Dojo!(翻译)
- TeraTerm自动登录(Login)
- 判断游戏对象是否在摄像机视口的一个方法
- python+Django+test 测试数据库生成报错
- BZOJ3714: [PA2014]Kuglarz 最小生成树
- java分页的方法_java实现的分页方法(上一页下一页)
- CAD/CAM 软件架构总结
- springboot+shardingsphere温故而知新
- jmeter(二):简单web测试流程
- Guitar Pro8中文版打谱编曲软件
- C++矩阵置零---原地算法(附三种解法)
- 关于天干地支及其计算