python内存技巧_使用__slots__节省python内存技巧

__slots__作用

__slots__有一个作用是：限制类实例绑定的属性，但是它有一个更重要的作用就是节省内存，当然更适用于数据量大的情况(万量级以上)。

__slots__节省内存的原理

class Measurement:

def __init__(self, x, y, value):

self.x = x

self.y = y

self.val = value

m1 = Measurement(1, 2, "Happy")

m2 = Measurement(7, 10, "Crazy")

m2.other = True

其实，对类的变量值进行初始化，底层是通过一个指针指向__dict__(里面包含潜在的字段名和字段值)。举个例子，上面的程序底层实现过程如下：

我们也可以通过程序查看这一底层形式：

```

print(m1.__dict__) # {'x': 1, 'y': 2, 'val': 'Happy'}

print(m2.__dict__) # {'x': 7, 'y': 10, 'other': True, 'val': 'Crazy'}

```

这就是python自定义变量底层的一个基本实现。通过对这一底层理解，我们就会知道，如果我们的实例有数百万个，那么底层会有相应数百万个字典拥有相同的key值(知识value值不同)，这时非常耗内存的，这时候__slots__就发挥它的作用了。

通过__slots__，我们可以稍微调整一下类，以改变类中字段的存储方式，废弃原来那种耗费内存的1对1重复的字典分配方式。具体如下：

class Measurement:

__slots__ = ['x', 'y', 'val']

def __init__(self, x, y, value):

self.x = x

self.y = y

self.val = value

这样我们底层的实现就会变为如下方式：

我们可以看出，现在字段名是与Measurement类这个类型相关联，而不是原来的与相应的实例1对1的关联。而字段值与原来的方式无差别，因为毕竟各个实例的字段名一样，可以统一存放，而字段值并不都是一样，当然对于字段值也一样的我们也统一存储(因为底层字典都是与类这个类型关联，而不是与每个实例的__dict__关联)。但对于数据量庞大的情况(数百万级以上)，能够非常显著的节省内存空间(25.5GB -> 16.2GB)。

以上就是__slots__能够节省内存的原理，主要还是要搞清楚python的类变量初始化的底层操作是通过字典存储后相关联这一方式进行的，__slots__只是改变了字典key，value与实例相关联的方式，可以总结如下：

默认变量实例化方法：底层实例和字典是一对一的关系

加入__slots__后：底层实例和字典是多对一的关系(重复的部分)。

python内存技巧_使用slots节省python内存技巧相关推荐

python编程基础_月隐学python第2课
python编程基础_月隐学python第2课学习目标掌握变量的输入和输出掌握数据类型的基本概念掌握算数运算 1.变量的输入和输出 1.1 变量输入使用input输入 input用于输入数据 ...
查看Python的版本_查看当前安装Python的版本
一.查看Python的版本_查看当前安装Python的版本具体方法: 首先按[win+r]组合键打开运行: 然后输入cmd,点击[确定]: 最后执行[python --version]命令即可. 特 ...
通过Python的__slots__节省9GB内存
我们之前提到过,Oyster.com基于Python的web服务器缓存了大量Python字典(dicts)(哈希表(hash tables))的静态内容.好啦,我们最近使用一行代码--在我们的Imag ...
python面试技巧_经典7大Python面试题！看完考官竟然给了我30k的薪资
Python面试(一)之交换变量值平时时不时会面面实习生,大多数的同学在学校里都已经掌握了Python.面试的时候要求同学们实现一个简单的函数,交换两个变量的值,大多数的同学给出的都是如下的答案实 ...
python内存泄漏_诊断和修复Python中的内存泄漏
python内存泄漏 Fugue uses Python extensively throughout the Conductor and in our support tools, due to i ...
python 单例模式内存泄露_彻底搞懂Java内存泄露
之前一直在简书写作,第一次发布到SF上来,也是第一次使用SF,后面会尽量同步到SF,更多文章请关注: 简书编程之乐转载请注明出处:谢谢! Java内存回收方式 Java判断对象是否可以回收使用的而 ...
python循环代码优化技巧_记一次优化python循环代码逻辑的过程
问题描述: 一个含有30W元素的列表A,列表的元素都是字符串,现在要循环10W次,每次都要判断一下B字符串是否存在这个A列表里面,有什么优化策略吗? 问题现状: 如果用普通的逻辑来写, 程序会类似下面 ...
python会不会内存泄露_记一次python 内存泄漏问题及解决过程 python 嵌套读取文件内存泄露...
如何解决Python2的内存泄漏问题 python本身不会造成内存泄露,如果用的C/C++写的模块(包),如果处理不好,可能会造成内存泄露,但是也是C/C++的模块造成的欢迎来到四十五资源网,pyt ...
python 核心编程_【02】Python核心编程 (全)
一.浅拷贝和深拷贝 1.浅拷贝是对于一个对象的顶层拷贝,通俗的理解是:拷贝了引用,并没有拷贝内容.相当于把变量里面指向的一个地址给了另一个变量就是浅拷贝,而没有创建一个新的对象,如a=b. 2.深拷 ...

python内存技巧_使用slots节省python内存技巧

python内存技巧_使用slots节省python内存技巧相关推荐

最新文章

热门文章

python内存技巧_使用__slots__节省python内存技巧

python内存技巧_使用__slots__节省python内存技巧相关推荐

最新文章

热门文章

python内存技巧_使用slots节省python内存技巧

python内存技巧_使用slots节省python内存技巧相关推荐