Python 中的sys模块极为基础而重要,它主要提供了一些给解释器使用(或由它维护)的变量,以及一些与解释器强交互的函数。

本次的Python学习教程分享将会频繁地使用该模块的getsizeof()方法,因此,先简单跟大家介绍一下:

  • 这个方法用于获取一个对象的字节大小(bytes)
  • 它只计算直接占用的内存,而不计算对象内所引用对象的内存

这里有个直观的例子:

import sysa = [1, 2]b = [a, a] # 即 [[1, 2], [1, 2]]# a、b 都只有两个元素,所以直接占用的大小相等sys.getsizeof(a) # 结果:80sys.getsizeof(b) # 结果:80

上例说明了一件事:一个静态创建的列表,如果只包含两个元素,那它自身占用的内存就是 80 字节,不管其元素所指向的对象是什么。

好了,拥有这把测量工具,我们就来探究一下 Python 的内置对象都藏了哪些你不知道小秘密吧。

1、空对象不是“空”的!

对于我们熟知的一些空对象,例如空字符串、空列表、空字典等等,不知道大家是否曾好奇过,是否曾思考过这些问题:

空的对象是不是不占用内存呢?如果占内存,那占用多少呢?为什么是这样分配的呢?

直接上代码,一起来看看几类基本数据结构的空对象的大小:

import syssys.getsizeof("") # 49sys.getsizeof([]) # 64sys.getsizeof(()) # 48sys.getsizeof(set()) # 224sys.getsizeof(dict()) # 240# 作为参照:sys.getsizeof(1) # 28sys.getsizeof(True) # 28

可见,虽然都是空对象,但是这些对象在内存分配上并不为“空”,而且分配得还挺大(记住这几个数字哦,后面会考)。

排一下序:基础数字

这个小秘密该怎么解释呢?

因为这些空对象都是容器,我们可以抽象地理解:它们的一部分内存用于创建容器的骨架、记录容器的信息(如引用计数、使用量信息等等)、还有一部分内存则是预分配的。

2、内存扩充不是均匀的!

空对象并不为空,一部分原因是 Python 解释器为它们预分配了一些初始空间。在不超出初始内存的情况下,每次新增元素,就使用已有内存,因而避免了再去申请新的内存。

那么,如果初始内存被分配完之后,新的内存是怎么分配的呢?

import sysletters = "abcdefghijklmnopqrstuvwxyz"a = []for i in letters: a.append(i) print(f'{len(a)}, sys.getsizeof(a) = {sys.getsizeof(a)}')b = set()for j in letters: b.add(j) print(f'{len(b)}, sys.getsizeof(b) = {sys.getsizeof(b)}')c = dict()for k in letters: c[k] = k print(f'{len(c)}, sys.getsizeof(c) = {sys.getsizeof(c)}')

分别给三类可变对象添加 26 个元素,看看结果如何:

由此能看出可变对象在扩充时的秘密:

  • 超额分配机制:申请新内存时并不是按需分配的,而是多分配一些,因此当再添加少量元素时,不需要马上去申请新内存
  • 非均匀分配机制:三类对象申请新内存的频率是不同的,而同一类对象每次超额分配的内存并不是均匀的,而是逐渐扩大的

3、列表不等于列表!

以上的可变对象在扩充时,有相似的分配机制,在动态扩容时可明显看出效果。

那么,静态创建的对象是否也有这样的分配机制呢?它跟动态扩容比,是否有所区别呢?

先看看集合与字典:

# 静态创建对象set_1 = {1, 2, 3, 4}set_2 = {1, 2, 3, 4, 5}dict_1 = {'a':1, 'b':2, 'c':3, 'd':4, 'e':5}dict_2 = {'a':1, 'b':2, 'c':3, 'd':4, 'e':5, 'f':6}sys.getsizeof(set_1) # 224sys.getsizeof(set_2) # 736sys.getsizeof(dict_1) # 240sys.getsizeof(dict_2) # 368

看到这个结果,再对比上一节的截图,可以看出:在元素个数相等时,静态创建的集合/字典所占的内存跟动态扩容时完全一样。

这个结论是否适用于列表对象呢?一起看看:

list_1 = ['a', 'b']list_2 = ['a', 'b', 'c']list_3 = ['a', 'b', 'c', 'd']list_4 = ['a', 'b', 'c', 'd', 'e']sys.getsizeof(list_1) # 80sys.getsizeof(list_2) # 88sys.getsizeof(list_3) # 96sys.getsizeof(list_4) # 104

上一节的截图显示,列表在前 4 个元素时都占 96 字节,在 5 个元素时占 128 字节,与这里明显矛盾。

所以,这个秘密昭然若揭:在元素个数相等时,静态创建的列表所占的内存有可能小于动态扩容时的内存!

也就是说,这两种列表看似相同,实际却不同!列表不等于列表!

4、消减元素并不会释放内存!

前面提到了,扩充可变对象时,可能会申请新的内存。

那么,如果反过来缩减可变对象,减掉一些元素后,新申请的内存是否会自动回收掉呢?

import sysa = [1, 2, 3, 4]sys.getsizeof(a) # 初始值:96a.append(5) # 扩充后:[1, 2, 3, 4, 5]sys.getsizeof(a) # 扩充后:128a.pop() # 缩减后:[1, 2, 3, 4]sys.getsizeof(a) # 缩减后:128

如代码所示,列表在一扩一缩后,虽然回到了原样,但是所占用的内存空间可没有自动释放啊。其它的可变对象同理。

这就是 Python 的小秘密了,“胖子无法减重原理”:瘦子变胖容易,缩减身型也容易,但是体重减不掉,哈哈~~~

5、空字典不等于空字典!

使用 pop() 方法,只会缩减可变对象中的元素,但并不会释放已申请的内存空间。

还有个 clear() 方法,它会清空可变对象的所有元素,让我们试试看吧:

import sysa = [1, 2, 3]b = {1, 2, 3}c = {'a':1, 'b':2, 'c':3}sys.getsizeof(a) # 88sys.getsizeof(b) # 224sys.getsizeof(c) # 240a.clear() # 清空后:[]b.clear() # 清空后:set()c.clear() # 清空后:{},也即 dict()

调用 clear() 方法,我们就获得了几个空对象。

在第一小节里,它们的内存大小已经被查验过了。(前面说过会考的,请默写回看下)

但是,如果这时再查验的话,你会惊讶地发现,这些空对象的大小跟前面查的并不完全一样!

# 承接前面的清空操作:sys.getsizeof(a) # 64sys.getsizeof(b) # 224sys.getsizeof(c) # 72

空列表与空元组的大小不变,然而空字典(72)竟然比前面的空字典(240)要小很多!

也就是说,列表与元组在清空元素后,回到起点不变初心,然而,字典这家伙却是“赔了夫人又折兵”,不仅把“吃”进去的全吐出来了,还把自己的老本给亏掉了!

字典的这个秘密藏得挺深的,说实话我也是刚刚获知,百思不得其解……

好啦,就这么多啦!看完之后,是不是涨姿势了?

的clear会清空内存吗_Python内存分配时有哪些不为你知的小秘密?相关推荐

  1. python会不会出现内存泄露_Python内存泄漏和内存溢出的解决方案

    一.内存泄漏 像Java程序一样,虽然Python本身也有垃圾回收的功能,但是同样也会产生内存泄漏的问题. 对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是 ...

  2. python多线程内存溢出_Python内存泄漏和内存溢出的解决方案

    一.内存泄漏 像Java程序一样,虽然Python本身也有垃圾回收的功能,但是同样也会产生内存泄漏的问题. 对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是 ...

  3. python 内存分析_python内存管理分析

    本文较为详细的分析了python内存管理机制.分享给大家供大家参考.具体分析如下: 内存管理,对于Python这样的动态语言,是至关重要的一部分,它在很大程度上甚至决定了Python的执行效率,因为在 ...

  4. python 内存溢出_python内存溢出

    广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 这里整理了一次内存泄漏的问题通常我们写python程序的时候也很少关注内存这个问 ...

  5. python内存管理_Python内存管理(一):预备知识

    一.内存的理解 你可以将计算机中的内存理解为一本为短期存储而设计的书.这本书中现在什么都没写,但最终不同的"作者"会来寻求空间,写入他们想写的故事. 由于他们之间不能彼此覆盖,他们 ...

  6. python内存池_python内存监控工具memory_profiler和guppy的用法详解

    python内存监控工具memory_profiler和guppy的用法详解 发布时间:2020-08-21 19:44:58 来源:脚本之家 阅读:123 python2.7在内存管理上相比pyth ...

  7. C#使用List.Clear()方法可以让GC回收内存吗?

    问题:我现在有一个list,里面放了若干对象,因为业务需要,程序运行后根据用户需求,要把list清空,再装入新的东西,每一次用之前都会清空它,然后装入新的东西,请问,内存是否会泄漏? 测试:我设计一个 ...

  8. python中内存管理机制一共分为多少层_python 内存管理机制

    内存管理机制 ​python中万物皆对象,python的存储问题是对象的存储问题,并且对于每个对象,python会分配一块内存空间去存储它 ​Python的内存管理机制:引入计数.垃圾回收.内存池机制 ...

  9. python释放变量内存_Python尚学堂高淇|1113引用的本质栈内存,堆内存,内存的示意图,标识符,变量的声明初始化,垃圾回收机制...

    011-引用的本质-栈内存和堆内存-内存的示意图在Python当中,变量也成为:对象的引用,因为,变量的存储就是对象的地址变量通过地址引用了对象变量位于堆内存(压栈,出栈等细节,后续再介绍)对象位于: ...

最新文章

  1. C语言实现ifconfig获取网卡接收和发送流量统计
  2. 调取方法_转需!不去阿里巴巴调取支付宝交易证据方法
  3. eclipse中常用archetype对应的文件目录
  4. ArcGIS实验教程——实验七:矢量数据空间校正(Spatial Adjustment)
  5. Ubuntu 系统入门
  6. 动态修改网页title
  7. django mysql 名称_Django 自定义表名和字段名
  8. Oracle sga、pga介绍改动
  9. day14 匿名函数
  10. Netty如何做到单机百万并发?
  11. 对偶性(duality)以及KKT条件
  12. Mysql8.0下载(网盘云盘)
  13. win10 系统修改无线网卡MAC地址
  14. postman批量添加 header 小技巧
  15. COLA开发流程总结
  16. 网络协议--网络四层协议
  17. 我对社交电商的了解与看法
  18. 【Java】留下没有基础眼泪的面试题
  19. thinkpad卡在logo界面_win10系统开机卡在开机Thinkpad LoGo画面的恢复教程
  20. 烂泥:wordpress迁移到docker

热门文章

  1. POJ 3348 Cows
  2. Intent中的Flag
  3. Q109:用PBRT渲染Blender导出的模型
  4. selenium定位php,selenium之元素定位
  5. Pyotorch自定义损失函数
  6. 如何更好利用大数据的优势
  7. 使用大数据分析需要注意什么因素
  8. 大数据分析关键的5个思维
  9. linux 线程和进程优先级,c – 在linux中更改线程优先级和调度程序
  10. python解zuobiaoxi方程_从马尔可夫链到蒙特卡洛-Metropolis方法(Python)