原标题:详解python的二元算术运算,为什么说减法只是语法糖?

原题 | Unravelling binary arithmetic operations in Python

作者 | Brett Cannon

译者 | 豌豆花下猫

来源| Python猫

声明 | 本翻译是出于交流学习的目的,基于 CC BY-NC-SA 4.0 授权协议。为便于阅读,内容略有改动。

大家对我解读属性访问的博客文章反应热烈,这启发了我再写一篇关于 Python 有多少语法实际上只是语法糖的文章。在本文中,我想谈谈二元算术运算。

具体来说,我想解读减法的工作原理:a - b。我故意选择了减法,因为它是不可交换的。这可以强调出操作顺序的重要性,与加法操作相比,你可能会在实现时误将 a 和 b 翻转,但还是得到相同的结果。

查看 C 代码

按照惯例,我们从查看 CPython 解释器编译的字节码开始。

>>> def sub(): a - b

...

>>> import dis

>>> dis.dis(sub)

1 0 LOAD_GLOBAL 0 (a)

2 LOAD_GLOBAL 1 (b)

4 BINARY_SUBTRACT

6 POP_TOP

8 LOAD_CONST 0 (None)

10 RETURN_VALUE

看起来我们需要深入研究 BINARY_SUBTRACT 操作码。翻查 Python/ceval.c 文件,可以看到实现该操作码的 C 代码如下:

case TARGET(BINARY_SUBTRACT): {

PyObject *right = POP();

PyObject *left = TOP();

PyObject *diff = PyNumber_Subtract(left, right);

Py_DECREF(right);

Py_DECREF(left);

SET_TOP(diff);

if (diff == NULL)

goto error;

DISPATCH();

}

来源:https://github.com/python/cpython/blob/6f8c8320e9eac9bc7a7f653b43506e75916ce8e8/Python/ceval.c#L1569-L1579

这里的关键代码是PyNumber_Subtract(),实现了减法的实际语义。继续查看该函数的一些宏,可以找到binary_op1() 函数。它提供了一种管理二元操作的通用方法。

不过,我们不把它作为实现的参考,而是要用Python的数据模型,官方文档很好,清楚介绍了减法所使用的语义。

从数据模型中学习

通读数据模型的文档,你会发现在实现减法时,有两个方法起到了关键作用:__sub__ 和 __rsub__。

1、__sub__()方法

当执行a - b 时,会在 a 的类型中查找__sub__(),然后把 b 作为它的参数。这很像我写属性访问的文章 里的__getattribute__(),特殊/魔术方法是根据对象的类型来解析的,并不是出于性能目的而解析对象本身;在下面的示例代码中,我使用_mro_getattr() 表示此过程。

因此,如果已定义 __sub__(),则 type(a).__sub__(a,b) 会被用来作减法操作。(译注:魔术方法属于对象的类型,不属于对象)

这意味着在本质上,减法只是一个方法调用!你也可以将它理解成标准库中的 operator.sub() 函数。

我们将仿造该函数实现自己的模型,用 lhs 和 rhs 两个名称,分别表示 a-b 的左侧和右侧,以使示例代码更易于理解。

# 通过调用__sub__()实现减法

def sub(lhs: Any, rhs: Any, /) -> Any:

"""Implement the binary operation `a - b`."""

lhs_type = type(lhs)

try:

subtract = _mro_getattr(lhs_type, "__sub__")

except AttributeError:

msg = f"unsupported operand type(s) for -: {lhs_type!r} and {type(rhs)!r}"

raise TypeError(msg)

else:

return subtract(lhs, rhs)

2、让右侧使用__rsub__()

但是,如果 a 没有实现__sub__() 怎么办?如果 a 和 b 是不同的类型,那么我们会尝试调用 b 的 __rsub__()(__rsub__ 里面的“r”表示“右”,代表在操作符的右侧)。

当操作的双方是不同类型时,这样可以确保它们都有机会尝试使表达式生效。当它们相同时,我们假设__sub__() 就能够处理好。但是,即使两边的实现相同,你仍然要调用__rsub__(),以防其中一个对象是其它的(子)类。

3、不关心类型

现在,表达式双方都可以参与运算!但是,如果由于某种原因,某个对象的类型不支持减法怎么办(例如不支持 4 - “stuff”)?在这种情况下,__sub__ 或__rsub__ 能做的就是返回 NotImplemented。

这是给 Python 返回的信号,它应该继续执行下一个操作,尝试使代码正常运行。对于我们的代码,这意味着需要先检查方法的返回值,然后才能假定它起作用。

# 减法的实现,其中表达式的左侧和右侧均可参与运算

_MISSING = object()

def sub(lhs: Any, rhs: Any, /) -> Any:

# lhs.__sub__

lhs_type = type(lhs)

try:

lhs_method = debuiltins._mro_getattr(lhs_type, "__sub__")

except AttributeError:

lhs_method = _MISSING

# lhs.__rsub__ (for knowing if rhs.__rub__ should be called first)

try:

lhs_rmethod = debuiltins._mro_getattr(lhs_type, "__rsub__")

except AttributeError:

lhs_rmethod = _MISSING

# rhs.__rsub__

rhs_type = type(rhs)

try:

rhs_method = debuiltins._mro_getattr(rhs_type, "__rsub__")

except AttributeError:

rhs_method = _MISSING

call_lhs = lhs, lhs_method, rhs

call_rhs = rhs, rhs_method, lhs

if lhs_type is not rhs_type:

calls = call_lhs, call_rhs

else:

calls = (call_lhs,)

for first_obj, meth, second_obj in calls:

if meth is _MISSING:

continue

value = meth(first_obj, second_obj)

if value is not NotImplemented:

return value

else:

raise TypeError(

f"unsupported operand type(s) for -: {lhs_type!r} and {rhs_type!r}"

)

4、子类优先于父类

如果你看一下__rsub__() 的文档,就会注意到一条注释。它说如果一个减法表达式的右侧是左侧的子类(真正的子类,同一类的不算),并且两个对象的__rsub__() 方法不同,则在调用__sub__() 之前会先调用__rsub__()。换句话说,如果 b 是 a 的子类,调用的顺序就会被颠倒。

这似乎是一个很奇怪的特例,但它背后是有原因的。当你创建一个子类时,这意味着你要在父类提供的操作上注入新的逻辑。这种逻辑不一定要加给父类,否则父类在对子类操作时,就很容易覆盖子类想要实现的操作。

具体来说,假设有一个名为 Spam 的类,当你执行 Spam() - Spam() 时,得到一个 LessSpam 的实例。接着你又创建了一个 Spam 的子类名为 Bacon,这样,当你用 Spam 去减 Bacon 时,你得到的是 VeggieSpam。

如果没有上述规则,Spam() - Bacon() 将得到 LessSpam,因为 Spam 不知道减掉 Bacon 应该得出 VeggieSpam。

但是,有了上述规则,就会得到预期的结果 VeggieSpam,因为 Bacon.__rsub__() 首先会在表达式中被调用(如果计算的是 Bacon() - Spam(),那么也会得到正确的结果,因为首先会调用 Bacon.__sub__(),因此,规则里才会说两个类的不同的方法需有区别,而不仅仅是一个由 issubclass() 判断出的子类。)

# Python中减法的完整实现

_MISSING = object()

def sub(lhs: Any, rhs: Any, /) -> Any:

# lhs.__sub__

lhs_type = type(lhs)

try:

lhs_method = debuiltins._mro_getattr(lhs_type, "__sub__")

except AttributeError:

lhs_method = _MISSING

# lhs.__rsub__ (for knowing if rhs.__rub__ should be called first)

try:

lhs_rmethod = debuiltins._mro_getattr(lhs_type, "__rsub__")

except AttributeError:

lhs_rmethod = _MISSING

# rhs.__rsub__

rhs_type = type(rhs)

try:

rhs_method = debuiltins._mro_getattr(rhs_type, "__rsub__")

except AttributeError:

rhs_method = _MISSING

call_lhs = lhs, lhs_method, rhs

call_rhs = rhs, rhs_method, lhs

if (

rhs_type is not _MISSING # Do we care?

and rhs_type is not lhs_type # Could RHS be a subclass?

and issubclass(rhs_type, lhs_type) # RHS is a subclass!

and lhs_rmethod is not rhs_method # Is __r*__ actually different?

):

calls = call_rhs, call_lhs

elif lhs_type is not rhs_type:

calls = call_lhs, call_rhs

else:

calls = (call_lhs,)

for first_obj, meth, second_obj in calls:

if meth is _MISSING:

continue

value = meth(first_obj, second_obj)

if value is not NotImplemented:

return value

else:

raise TypeError(

f"unsupported operand type(s) for -: {lhs_type!r} and {rhs_type!r}"

)

推广到其它二元运算

解决掉了减法运算,那么其它二元运算又如何呢?好吧,事实证明它们的操作相同,只是碰巧使用了不同的特殊/魔术方法名称。

所以,如果我们可以推广这种方法,那么我们就可以实现 13 种操作的语义:+ 、-、*、@、/、//、%、**、<>、&、^、和 |。

由于闭包和 Python 在对象自省上的灵活性,我们可以提炼出 operator 函数的创建。

# 一个创建闭包的函数,实现了二元运算的逻辑

_MISSING = object()

def _create_binary_op(name: str, operator: str) -> Any:

"""Create a binary operation function.

The `name` parameter specifies the name of the special method used for the

binary operation (e.g. `sub` for `__sub__`). The `operator` name is the

token representing the binary operation (e.g. `-` for subtraction).

"""

lhs_method_name = f"__{name}__"

def binary_op(lhs: Any, rhs: Any, /) -> Any:

"""A closure implementing a binary operation in Python."""

rhs_method_name = f"__r{name}__"

# lhs.__*__

lhs_type = type(lhs)

try:

lhs_method = debuiltins._mro_getattr(lhs_type, lhs_method_name)

except AttributeError:

lhs_method = _MISSING

# lhs.__r*__ (for knowing if rhs.__r*__ should be called first)

try:

lhs_rmethod = debuiltins._mro_getattr(lhs_type, rhs_method_name)

except AttributeError:

lhs_rmethod = _MISSING

# rhs.__r*__

rhs_type = type(rhs)

try:

rhs_method = debuiltins._mro_getattr(rhs_type, rhs_method_name)

except AttributeError:

rhs_method = _MISSING

call_lhs = lhs, lhs_method, rhs

call_rhs = rhs, rhs_method, lhs

if (

rhs_type is not _MISSING # Do we care?

and rhs_type is not lhs_type # Could RHS be a subclass?

and issubclass(rhs_type, lhs_type) # RHS is a subclass!

and lhs_rmethod is not rhs_method # Is __r*__ actually different?

):

calls = call_rhs, call_lhs

elif lhs_type is not rhs_type:

calls = call_lhs, call_rhs

else:

calls = (call_lhs,)

for first_obj, meth, second_obj in calls:

if meth is _MISSING:

continue

value = meth(first_obj, second_obj)

if value is not NotImplemented:

return value

else:

exc = TypeError(

f"unsupported operand type(s) for {operator}: {lhs_type!r} and {rhs_type!r}"

)

exc._binary_op = operator

raise exc

有了这段代码,你可以将减法运算定义为 _create_binary_op(“sub”, “-”),然后根据需要重复定义出其它运算。

更多信息

通过本博客的“语法糖”标签,你可以找到更多详解 Python 语法的文章。

更正

2020-08-19:修复了当__rsub__() 比 __sub__() 先调用时的规则。

2020-08-22:修复了当类型相同时不调用__rsub__ 的问题;还精简了过渡代码,仅保留开头和结尾代码,这让我轻松些。

2020-08-23:在多数示例中添加了内容。

责任编辑:

python定义类方法用来计算整数的减法运算_详解python的二元算术运算,为什么说减法只是语法糖?...相关推荐

  1. python中集合的元素可以是任意数据类型_详解Python集合数据类型

    本篇介绍Python集合数据类型.集合不同于列表和元组类型,集合存储的元素是无序且不能重复的,同数学中的集合一样,集合可以执行集合的并.交.差运算.通过本篇的学习,可以达成如下目标. ● 掌握集合数据 ...

  2. python函数定义中参数列表里的参数是_详解Python函数中参数带星号是什么意思

    函数的参数使用除了常规的位置参数和关键字参数外,还支持可变个数的函数参数,这种支持可变个数的参数方法称为参数收集,对应的参数称为收集参数. 一.参数收集的定义 Python的函数支持可变不定数量的参数 ...

  3. python中参数前面加星号是什么意思_详解Python函数中参数带星号是什么意思

    函数的参数使用除了常规的位置参数和关键字参数外,还支持可变个数的函数参数,这种支持可变个数的参数方法称为参数收集,对应的参数称为收集参数. 一.参数收集的定义 Python的函数支持可变不定数量的参数 ...

  4. python中列表和元组的相同点和不同点_详解Python语言中元组和列表的区别

    本篇介绍Python中的元组数据类型,文中会讨论元组与列表的区别,元组的声明.赋值及其相关运算.通过本篇的学习,可以达成如下目标. ● 掌握元组和列表的区别 ● 掌握元组的声明和赋值 ● 掌握适用于元 ...

  5. python归一化后全部都是0咋办_详解python实现数据归一化处理的方式:(0,1)标准化...

    在机器学习过程中,对数据的处理过程中,常常需要对数据进行归一化处理,下面介绍(0, 1)标准化的方式,简单的说,其功能就是将预处理的数据的数值范围按一定关系"压缩"到(0,1)的范 ...

  6. python路径拼接os.path.join()函数完全教程_详解python路径拼接os.path.join()函数的用法...

    os.path.join()函数:连接两个或更多的路径名组件 1.如果各组件名首字母不共含'/',则函数会自动加上 demo1 import os Path1 = 'home' Path2 = 'de ...

  7. Python中常见的__init__.py是什么意思?详解Python import的方式和原理

    Python中常见的__init__.py是什么意思?详解Python import的方式和原理 1 什么是模块化编程? 2 __init__.py文件的作用 3 Python如何import第三方库 ...

  8. python变量定义大全_详解python变量与数据类型

    这篇文章我们学习 Python 变量与数据类型 变量 变量来源于数学,是计算机语言中能储存计算结果或能表示值抽象概念,变量可以通过变量名访问.在 Python 中 变量命名规定,必须是大小写英文,数字 ...

  9. pythonnamedtuple定义类型_详解Python中namedtuple的使用

    namedtuple是Python中存储数据类型,比较常见的数据类型还有有list和tuple数据类型.相比于list,tuple中的元素不可修改,在映射中可以当键使用. namedtuple: na ...

最新文章

  1. 导出到Excel的操作
  2. Python函数封装:利用正则表达式compile、findall对多组关键词进行模糊查询并返回统计个数,findall截取两个指定符号之间的内容
  3. ES6_Set和WeakSet_note
  4. 虚拟机下安装MS-DOS
  5. tf.nn.embedding_lookup()函数
  6. redis 基础数据结构实现
  7. Emacs显示函数列表imenu-list
  8. Install Tcpping on Linux
  9. 信息系统项目管理师学习笔记
  10. 联想台式主机拆机教程_联想r400拆机教程 拆解电脑没那么难
  11. Ubuntu 安装显卡驱动 CUDA10 cuDNN详细教程
  12. SiamRPN++理解
  13. 什么是数据分析,我们为什么要做数据分析?
  14. Java实验项目三——平面图形和立体图形抽象类
  15. 51开发实例 基于51单片机的模拟电梯系统
  16. 【原】计算机Tools vs 学习资料
  17. python中Could not find module “...atari_py\ale_interface\ale_c.dll‘ (or one of its dependence)
  18. 寻求真心话大冒险之猜数游戏的最佳策略
  19. 又一个有创意的新东东: 基于手势的遥控棒
  20. 单细胞测序流程(八)单细胞的marker基因转化和​GO富集分析

热门文章

  1. 2021年中国精装修浴室柜配套市场发展现状:配套规模下降,品牌产品市场份额逐步提升[图]
  2. itop4412的uboot
  3. 【转载】深入理解L1、L2范数
  4. 启英泰伦-腾讯云小微产品方案
  5. 【基基基础】什么?你连软件都还没下载?!手把手教你下载VS/Dev-C++,写出属于自己的第一个C语言代码
  6. vertx rx java_光魔科技
  7. 和女生聊天一定要懂的暗号
  8. 开源项目是什么_在开源项目之前要了解什么
  9. 什么是形参?什么是实参?
  10. 微信小程序Error