python上下文管理器ContextLib及with语句
http://blog.csdn.net/pipisorry/article/details/50444736
with语句
with语句是从 Python 2.5 开始引入的一种与异常处理相关的功能(2.5 版本中要通过 from __future__ import with_statement 导入后才可以使用),从 2.6 版本开始缺省可用(参考 What's new in Python 2.6? 中 with 语句相关部分介绍)。with 语句适用于对资源进行访问的场合,确保不管使用过程中是否发生异常都会执行必要的“清理”操作,释放资源,比如文件使用后自动关闭、线程中锁的自动获取和释放等。
术语
一组与上下文管理器和with 语句有关的概念。
上下文管理协议(Context Management Protocol):包含方法 __enter__() 和 __exit__(),支持该协议的对象要实现这两个方法。
上下文管理器(Context Manager):支持上下文管理协议的对象,这种对象实现了__enter__() 和 __exit__() 方法。上下文管理器定义执行 with 语句时要建立的运行时上下文,负责执行 with 语句块上下文中的进入与退出操作。通常使用 with 语句调用上下文管理器,也可以通过直接调用其方法来使用。
运行时上下文(runtime context):由上下文管理器创建,通过上下文管理器的 __enter__() 和__exit__() 方法实现,__enter__() 方法在语句体执行之前进入运行时上下文,__exit__() 在语句体执行完后从运行时上下文退出。with 语句支持运行时上下文这一概念。
上下文表达式(Context Expression):with 语句中跟在关键字 with 之后的表达式,该表达式要返回一个上下文管理器对象。
语句体(with-body):with 语句包裹起来的代码块,在执行语句体之前会调用上下文管理器的 __enter__() 方法,执行完语句体之后会执行 __exit__() 方法。
皮皮Blog
基本语法和工作原理
with 语句的语法格式
with context_expression [as target(s)]:with-body
这里 context_expression 要返回一个上下文管理器对象,该对象并不赋值给 as 子句中的 target(s) ,如果指定了 as 子句的话,会将上下文管理器的 __enter__() 方法的返回值赋值给 target(s)。target(s) 可以是单个变量,或者由“()”括起来的元组(不能是仅仅由“,”分隔的变量列表,必须加“()”)。
Python 对一些内建对象进行改进,加入了对上下文管理器的支持,可以用于 with 语句中,比如可以自动关闭文件、线程锁的自动获取和释放等。假设要对一个文件进行操作,使用 with 语句可以有如下代码:
使用 with 语句操作文件对象
with open(r'somefileName') as somefile:for line in somefile:print line# ...more code
这里使用了 with 语句,不管在处理文件过程中是否发生异常,都能保证 with 语句执行完毕后已经关闭了打开的文件句柄。如果使用传统的 try/finally 范式,则要使用类似如下代码:
try/finally 方式操作文件对象
somefile = open(r'somefileName')try:for line in somefile:print line# ...more codefinally:somefile.close()
比较起来,使用 with 语句可以减少编码量。已经加入对上下文管理协议支持的还有模块 threading、decimal 等。
python with语句同时打开两个文件
Note:1. 同时打开两个文件,一个读一个写,这样就可以省掉两个with的语句的嵌套了.
2. python2.7后的语法,取代了之前的contextlib.nested语法
PEP 0343 对 with 语句的实现进行了描述。with 语句的执行过程类似如下代码块:
with 语句执行过程
context_manager = context_expression exit = type(context_manager).__exit__ value = type(context_manager).__enter__(context_manager) exc = True # True 表示正常执行,即便有异常也忽略;False 表示重新抛出异常,需要对异常进行处理 try:try:target = value # 如果使用了 as 子句with-body # 执行 with-bodyexcept:# 执行过程中有异常发生exc = False# 如果 __exit__ 返回 True,则异常被忽略;如果返回 False,则重新抛出异常# 由外层代码对异常进行处理if not exit(context_manager, *sys.exc_info()):raise finally:# 正常退出,或者通过 statement-body 中的 break/continue/return 语句退出# 或者忽略异常退出if exc:exit(context_manager, None, None, None) # 缺省返回 None,None 在布尔上下文中看做是 False
Note:
执行 context_expression,生成上下文管理器 context_manager
调用上下文管理器的 __enter__() 方法;如果使用了 as 子句,则将 __enter__() 方法的返回值赋值给 as 子句中的 target(s)
执行语句体 with-body
不管是否执行过程中是否发生了异常,执行上下文管理器的 __exit__() 方法,__exit__() 方法负责执行“清理”工作,如释放资源等。如果执行过程中没有出现异常,或者语句体中执行了语句 break/continue/return,则以 None 作为参数调用 __exit__(None, None, None) ;如果执行过程中出现异常,则使用 sys.exc_info 得到的异常信息为参数调用 __exit__(exc_type, exc_value, exc_traceback)
出现异常时,如果 __exit__(type, value, traceback) 返回 False,则会重新抛出异常,让with 之外的语句逻辑来处理异常,这也是通用做法;如果返回 True,则忽略异常,不再对异常进行处理
读取文件with语句的实现及其调用过程
with ReadFile('test.txt') as file_read:
for line in file_read.readlines():
print(line)
在调用的时候:
with
语句先暂存了ReadFile
类的__exit__
方法- 然后调用
ReadFile
类的__enter__
方法 __enter__
方法打开文件,并将结果返回给with
语句- 上一步的结果被传递给
file_read
参数 - 在
with
语句内对file_read
参数进行操作,读取每一行 - 读取完成之后,
with
语句调用之前暂存的__exit__
方法 __exit__
方法关闭了文件
要注意的是,在__exit__
方法内,我们关闭了文件,但最后返回True
,所以错误不会被with
语句抛出。否则with
语句会抛出一个对应的错误。
皮皮Blog
上下文管理器
contextlib模块包含了与上下文管理器和with声明相关的工具。通常如果你想写一个上下文管理器,则你需要定义一个类包含__enter__方法以及__exit__方法,例如:
import time
class demo:
def __init__(self, label):
self.label = label
def __enter__(self):
self.start = time.time()
def __exit__(self, exc_ty, exc_val, exc_tb):
end = time.time()
print('{}: {}'.format(self.label, end - self.start))
完整的例子
import time
class demo:
def __init__(self, label):
self.label = label
def __enter__(self):
self.start = time.time()
def __exit__(self, exc_ty, exc_val, exc_tb):
end = time.time()
print('{}: {}'.format(self.label, end - self.start))
with demo('counting'):
n = 10000000
while n > 0:
n -= 1
# counting: 1.36000013351
上下文管理器被with声明所激活,这个API涉及到两个方法。
1. __enter__方法,当执行流进入with代码块时,__enter__方法将执行。并且它将返回一个可供上下文使用的对象。
2. 当执行流离开with代码块时,__exit__方法被调用,它将清理被使用的资源。
利用@contextmanager装饰器改写计时例子
[python装饰器Decorators]
from contextlib import contextmanager
import time
@contextmanager
def demo(label):
start = time.time()
try:
yield
finally:
end = time.time()
print('{}: {}'.format(label, end - start))
with demo('counting'):
n = 10000000
while n > 0:
n -= 1
# counting: 1.32399988174
看上面这个例子,函数中yield之前的所有代码都类似于上下文管理器中__enter__方法的内容。而yield之后的所有代码都如__exit__方法的内容。如果执行过程中发生了异常,则会在yield语句触发。
开发人员可以自定义支持上下文管理协议的类。自定义的上下文管理器要实现上下文管理协议所需要的 __enter__() 和 __exit__() 两个方法:
context_manager.__enter__() :进入上下文管理器的运行时上下文,在语句体执行前调用。with 语句将该方法的返回值赋值给 as 子句中的 target,如果指定了 as 子句的话
context_manager.__exit__(exc_type, exc_value, exc_traceback) :退出与上下文管理器相关的运行时上下文,返回一个布尔值表示是否对发生的异常进行处理。参数表示引起退出操作的异常,如果退出时没有发生异常,则3个参数都为None。如果发生异常,返回
True 表示不处理异常,否则会在退出该方法后重新抛出异常以由 with 语句之外的代码逻辑进行处理。如果该方法内部产生异常,则会取代由 statement-body 中语句产生的异常。要处理异常时,不要显示重新抛出异常,即不能重新抛出通过参数传递进来的异常,只需要将返回值设置为 False 就可以了。之后,上下文管理代码会检测是否 __exit__() 失败来处理异常
下面通过一个简单的示例来演示如何构建自定义的上下文管理器。注意,上下文管理器必须同时提供 __enter__() 和 __exit__() 方法的定义,缺少任何一个都会导致 AttributeError;with 语句会先检查是否提供了 __exit__() 方法,然后检查是否定义了 __enter__() 方法。
假设有一个资源 DummyResource,这种资源需要在访问前先分配,使用完后再释放掉;分配操作可以放到 __enter__() 方法中,释放操作可以放到 __exit__() 方法中。简单起见,这里只通过打印语句来表明当前的操作,并没有实际的资源分配与释放。
自定义支持 with 语句的对象
class DummyResource:def __init__(self, tag):self.tag = tagprint 'Resource [%s]' % tagdef __enter__(self):print '[Enter %s]: Allocate resource.' % self.tagreturn self # 可以返回不同的对象def __exit__(self, exc_type, exc_value, exc_tb):print '[Exit %s]: Free resource.' % self.tagif exc_tb is None:print '[Exit %s]: Exited without exception.' % self.tagelse:print '[Exit %s]: Exited with exception raised.' % self.tagreturn False # 可以省略,缺省的None也是被看做是False
DummyResource 中的 __enter__() 返回的是自身的引用,这个引用可以赋值给 as 子句中的 target 变量;返回值的类型可以根据实际需要设置为不同的类型,不必是上下文管理器对象本身。
__exit__()方法中对变量 exc_tb 进行检测,如果不为 None,表示发生了异常,返回 False 表示需要由外部代码逻辑对异常进行处理;注意到如果没有发生异常,缺省的返回值为 None,在布尔环境中也是被看做 False,但是由于没有异常发生,__exit__() 的三个参数都为 None,上下文管理代码可以检测这种情况,做正常处理。
在 with 语句中访问 DummyResource
使用自定义的支持 with 语句的对象
with DummyResource('Normal'):print '[with-body] Run without exceptions.'with DummyResource('With-Exception'):print '[with-body] Run with exception.'raise Exceptionprint '[with-body] Run with exception. Failed to finish statement-body!'
第1个 with 语句的执行结果:
Resource [Normal] [Enter Normal]: Allocate resource. [with-body] Run without exceptions. [Exit Normal]: Free resource. [Exit Normal]: Exited without exception.
可以看到,正常执行时会先执行完语句体 with-body,然后执行 __exit__() 方法释放资源。
第2个 with 语句的执行结果:
Resource [With-Exception] [Enter With-Exception]: Allocate resource. [with-body] Run with exception. [Exit With-Exception]: Free resource. [Exit With-Exception]: Exited with exception raised.Traceback (most recent call last):File "G:/demo", line 20, in <module>raise ExceptionException
可以看到,with-body 中发生异常时with-body 并没有执行完,但资源会保证被释放掉,同时产生的异常由 with 语句之外的代码逻辑来捕获处理。
可以自定义上下文管理器来对软件系统中的资源进行管理,比如数据库连接、共享资源的访问控制等。Python 在线文档 Writing Context Managers 提供了一个针对数据库连接进行管理的上下文管理器的简单范例。
context在数据库操作中使用实例
Context and Control
之前,我们已经看到使用异常来进行处理控制流。通常,基本步骤如下:
尝试获取资源(文件、网络连接等)
如果失败,清除留下的所有东西
成功获得资源则进行相应操作
写日志
程序结束
考虑到这一点,让我们再看一下上一章数据库的例子。我们使用try-except-finally来保证任何我们开始的事务要么提交要么回退。
try:
# attempt to acquire a resource
db.commit()
except Exception:
# If it fails, clean up anything left behind
log.warn("Failure committing transaction, rolling back")
db.rollback()
else:
# If it works, perform actions
# In this case, we just log success
log.info("Saved the new FOO")
finally:
# Clean up
db.close()
# Program complete
我们前面的例子几乎精确的映射到刚刚提到的步骤。这个逻辑变化的多吗?并不多。
差不多每次存储数据,我们都将做相同的步骤。我们可以将这些逻辑写入一个方法中,或者我们可以使用上下文管理器(context manager)
db = db_library.connect("fakesql://")
# as a function
commit_or_rollback(db)
# context manager
with transaction("fakesql://") as db:
# retrieve data here
# modify data here
上下文管理器通过设置代码段运行时需要的资源(上下文环境)来保护代码段。在我们的例子中,我们需要处理一个数据库事务,那么过程将是这样的:
连接数据库
在代码段的开头开始操作
在代码段的结尾提交或者回滚
在代码段的结尾清除资源
让我们建立一个上下文管理器,使用上下文管理器为我们隐藏数据库的设置工作。contextmanager 的接口非常简单。上下文管理器的对象需要具有一个__enter__()方法用来设置所需的上下文环境,还需要一个__exit__(exc_type, exc_val, exc_tb) 方法在离开代码段之后调用。如果没有异常,那么三个 exc_* 参数将都是None。
此处的__enter__方法非常简单,我们先从这个函数开始。
Python
class DatabaseTransaction(object):
def __init__(self, connection_info):
self.conn = db_library.connect(connection_info)
def __enter__(self):
return self.conn
__enter__方法只是返回数据库连接,在代码段内我们使用这个数据库连接来存取数据。数据库连接实际上是在__init__ 方法中建立的,因此如果数据库建立连接失败,那么代码段将不会执行。
现在让我们定义事务将如何在 __exit__ 方法中完成。这里面要做的工作就比较多了,因为这里要处理代码段中所有的异常并且还要完成事务的关闭工作。
Python
def __exit__(self, exc_type, exc_val, exc_tb):
if exc_type is not None:
self.conn.rollback()
try:
self.conn.commit()
except Exception:
self.conn.rollback()
finally:
self.conn.close()
现在我们就可以使用 DatabaseTransaction 类作为我们例子中的上下文管理器了。在类内部, __enter__ 和 __exit__ 方法将开始和设置数据连接并且处理善后工作。
Python
# context manager
with DatabaseTransaction("fakesql://") as db:
# retrieve data here
# modify data here
为了改进我们的(简单)事务管理器,我们可以添加各种异常处理。即使是现在的样子,这个事务管理器已经为我们隐藏了许多复杂的处理,这样你不用每次从数据库拉取数据时都要担心与数据库相关的细节。
[python异常处理Exception:else配合 try except错误控制使用]
from:http://blog.csdn.net/pipisorry/article/details/50444736
ref:浅谈 Python 的 with 语句
Python: try finally with 简介
Python中的上下文管理器
python上下文管理器ContextLib及with语句相关推荐
- 此上下文中不支持函数定义。请在代码文件中创建函数。_深入解析Python上下文管理器,让你不再迷茫!...
1. 上下文管理器 一个类只要实现了 __enter__() 和 __exit__() 这个两个方法,通过该类创建的对象我们就称之为上下文管理器. 上下文管理器可以使用 with 语句,with语句之 ...
- Python 上下文管理器和with块 二
标准库中还有个contextlib 模块,提供一些实用工具, closing 如果对象提供了 close() 方法,但没有实现 __enter__/__exit__ 协议,那么可以使用这个函数构建上下 ...
- Python上下文管理器的魔力
点击关注我哦 一篇文章带你了解Python上下文管理器的魔力 小编将为您准备一份很棒的Python上下文管理器使用指南,这将使您的代码更具可读性和可靠性,降低您的错误发生率. 资源管理器是我们在任何编 ...
- 神经网络与深度学习——TensorFlow2.0实战(笔记)(四)(python上下文管理器)
with语句 使用with语句替代try-finally 语句,代码更加的简洁清晰 对于需要对资源进行访问的任务,无论在代码运行过程中,是否发 生异常,都会执行必要的清理操作,释放资源. 1. wit ...
- 爱上python系列------python上下文管理器(二):对suppress进行装饰器重新实现
python上下文管理器可以做的事情简直不能太多 这不,官方的文档实现了一个方法suppress,用于处理异常 from contextlib import suppresswith suppress ...
- Python 上下文管理器和with块 一
上下文管理器对象存在的目的是管理 with 语句,就像迭代器的存在是为了管理 for 语句一样 上下文管理器协议包含 __enter__ 和 __exit__ 两个方法 把值绑定到目标变量上(as 子 ...
- Python 上下文管理器和 with 语句
1. 上下文管理器概念 什么是 Python 的上下文管理器(Context Managers)呢? 含有 __enter__ 和 __exit__ 方法的对象就是.上下文管理器存在的目的是管理 ...
- Python 上下文管理器与with语句
Python中把进入代码块前调用__enter__ 方法并在离开代码块后调用__exit__方法的对象作为上下文管理器,本文中我们就来深入解析Python中的上下文管理器,来看看上下文管理器的作用及用 ...
- python 上下文管理器、 else 块、@contextmanager
文章目录 1. else 2. with上下文管理器 3. contextlib模块实用工具 4. @contextmanager 装饰器 learn from <流畅的python> 1 ...
- python意外退出_有趣的Python上下文管理器
阅读耗时:9分钟 目录 编写自定义上下文管理器 从生成器到上下文管理器 将上下文管理器编写为装饰器 嵌套式上下文管理器 组合式上下文管理器 利用用上下文管理器创建SQLAlchemy session ...
最新文章
- 机器学习--线性代数基础
- 除了鸿蒙还注册,除了“华为鸿蒙”,你不知道的是,整本山海经都被华为注册了...
- 【软考-软件设计师】计算机体系结构的分类
- 当excel 导入数据库的字段大于255时,把第一行的字段加长超过255.
- python编码规范utf8还是gbk还是ask_彻底搞懂 Python 编码
- mysql字段是否存在_mysql判断列是否存在
- 使用Yii 1.1框架搭建第一个web应用程序
- Js模拟select选择框,参照IE8样式
- python读取dat文件并保存为Excel格式
- Array和Slices
- Springboot整合Elasticsearch(High-level-Client)
- python计算三角形面积题目
- elasticsearch--拼音转换插件
- python正确读音_8个正确使用Python的迹象
- STC单片机在线ISP IAP OTA
- python单位转换编程英寸厘米_Python字节单位转换实例
- 《J2SE 回炉再造13》-------溺水狗
- SOFM自组织特征映射第一步:选取样本点
- python字符串相似度去重_详解Python 字符串相似性的几种度量方法
- srs直播服务器的搭建 - 手把手教你怎么搭建属于自己的直播服务器~