在Python 3.5(含)以前,字典是不能保证顺序的,键值对A先插入字典,键值对B后插入字典,但是当你打印字典的Keys列表时,你会发现B可能在A的前面。

但是从Python 3.6开始,字典是变成有顺序的了。你先插入键值对A,后插入键值对B,那么当你打印Keys列表的时候,你就会发现B在A的后面。

不仅如此,从Python 3.6开始,下面的三种遍历操作,效率要高于Python 3.5之前:

for key in 字典

for value in 字典.values()

for key, value in 字典.items()

从Python 3.6开始,字典占用内存空间的大小,视字典里面键值对的个数,只有原来的30%~95%。

Python 3.6到底对字典做了什么优化呢?为了说明这个问题,我们需要先来说一说,在Python 3.5(含)之前,字典的底层原理。

当我们初始化一个空字典的时候,CPython的底层会初始化一个二维数组,这个数组有8行,3列,如下面的示意图所示:

my_dict = {}

'''

此时的内存示意图

[[---, ---, ---],

[---, ---, ---],

[---, ---, ---],

[---, ---, ---],

[---, ---, ---],

[---, ---, ---],

[---, ---, ---],

[---, ---, ---]]

'''

现在,我们往字典里面添加一个数据:

my_dict['name'] = 'kingname'

'''

此时的内存示意图

[[---, ---, ---],

[---, ---, ---],

[---, ---, ---],

[---, ---, ---],

[---, ---, ---],

[1278649844881305901, 指向name的指针, 指向kingname的指针],

[---, ---, ---],

[---, ---, ---]]

'''

这里解释一下,为什么添加了一个键值对以后,内存变成了这个样子:

首先我们调用Python 的hash函数,计算name这个字符串在当前运行时的hash值:

>>> hash('name')

1278649844881305901

特别注意,我这里强调了『当前运行时』,这是因为,Python自带的这个hash函数,和我们传统上认为的Hash函数是不一样的。Python自带的这个hash函数计算出来的值,只能保证在每一个运行时的时候不变,但是当你关闭Python再重新打开,那么它的值就可能会改变,如下图所示:

假设在某一个运行时里面,hash('name')的值为1278649844881305901。现在我们要把这个数对8取余数:

>>> 1278649844881305901 % 8

5

余数为5,那么就把它放在刚刚初始化的二维数组中,下标为5的这一行。由于name和kingname是两个字符串,所以底层C语言会使用两个字符串变量存放这两个值,然后得到他们对应的指针。于是,我们这个二维数组下标为5的这一行,第一个值为name的hash值,第二个值为name这个字符串所在的内存的地址(指针就是内存地址),第三个值为kingname这个字符串所在的内存的地址。

现在,我们再来插入两个键值对:

my_dict['age'] = 26

my_dict['salary'] = 999999

'''

此时的内存示意图

[[-4234469173262486640, 指向salary的指针, 指向999999的指针],

[1545085610920597121, 执行age的指针, 指向26的指针],

[---, ---, ---],

[---, ---, ---],

[---, ---, ---],

[1278649844881305901, 指向name的指针, 指向kingname的指针],

[---, ---, ---],

[---, ---, ---]]

'''

那么字典怎么读取数据呢?首先假设我们要读取age对应的值。

此时,Python先计算在当前运行时下面,age对应的Hash值是多少:

>>> hash('age')

1545085610920597121

余数为1,那么二维数组里面,下标为1的这一行就是需要的键值对。直接返回这一行第三个指针对应的内存中的值,就是age对应的值26。

当你要循环遍历字典的Key的时候,Python底层会遍历这个二维数组,如果当前行有数据,那么就返回Key指针对应的内存里面的值。如果当前行没有数据,那么就跳过。所以总是会遍历整个二位数组的每一行。

每一行有三列,每一列占用8byte的内存空间,所以每一行会占用24byte的内存空间。

由于Hash值取余数以后,余数可大可小,所以字典的Key并不是按照插入的顺序存放的。

注意,这里我省略了与本文没有太大关系的两个点:

开放寻址,当两个不同的Key,经过Hash以后,再对8取余数,可能余数会相同。此时Python为了不覆盖之前已有的值,就会使用开放寻址技术重新寻找一个新的位置存放这个新的键值对。

当字典的键值对数量超过当前数组长度的2/3时,数组会进行扩容,8行变成16行,16行变成32行。长度变了以后,原来的余数位置也会发生变化,此时就需要移动原来位置的数据,导致插入效率变低。

在Python 3.6以后,字典的底层数据结构发生了变化,现在当你初始化一个空的字典以后,它在底层是这样的:

my_dict = {}

'''

此时的内存示意图

indices = [None, None, None, None, None, None, None, None]

entries = []

'''

当你初始化一个字典以后,Python单独生成了一个长度为8的一维数组。然后又生成了一个空的二维数组。

现在,我们往字典里面添加一个键值对:

my_dict['name'] = 'kingname'

'''

此时的内存示意图

indices = [None, 0, None, None, None, None, None, None]

entries = [[-5954193068542476671, 指向name的指针, 执行kingname的指针]]

'''

为什么内存会变成这个样子呢?我们来一步一步地看:

在当前运行时,name这个字符串的hash值为-5954193068542476671,这个值对8取余数是1:

>>> hash('name')

-5954193068542476671

>>> hash('name') % 8

1

所以,我们把indices这个一维数组里面,下标为1的位置修改为0。

这里的0是什么意思呢?0是二位数组entries的索引。现在entries里面只有一行,就是我们刚刚添加的这个键值对的三个数据:name的hash值、指向name的指针和指向kinganme的指针。所以indices里面填写的数字0,就是刚刚我们插入的这个键值对的数据在二位数组里面的行索引。

好,现在我们再来插入两条数据:

my_dict['address'] = 'xxx'

my_dict['salary'] = 999999

'''

此时的内存示意图

indices = [1, 0, None, None, None, None, 2, None]

entries = [[-5954193068542476671, 指向name的指针, 执行kingname的指针],

[9043074951938101872, 指向address的指针,指向xxx的指针],

[7324055671294268046, 指向salary的指针, 指向999999的指针]

]

'''

现在如果我要读取数据怎么办呢?假如我要读取salary的值,那么首先计算salary的hash值,以及这个值对8的余数:

>>> hash('salary')

7324055671294268046

>>> hash('salary') % 8

6

那么我就去读indices下标为6的这个值。这个值为2.

然后再去读entries里面,下标为2的这一行的数据,也就是salary对应的数据了。

新的这种方式,当我要插入新的数据的时候,始终只是往entries的后面添加数据,这样就能保证插入的顺序。当我们要遍历字典的Keys和Values的时候,直接遍历entries即可,里面每一行都是有用的数据,不存在跳过的情况,减少了遍历的个数。

老的方式,当二维数组有8行的时候,即使有效数据只有3行,但它占用的内存空间还是 8 * 24 = 192 byte。但使用新的方式,如果只有三行有效数据,那么entries也就只有3行,占用的空间为3 * 24 =72 byte,而indices由于只是一个一维的数组,只占用8 byte,所以一共占用 80 byte。内存占用只有原来的41%。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。

python3.6字典有序_为什么从Python 3.6开始字典有序并效率更高相关推荐

  1. python中字典格式_如何在Python中使用带有字典的格式函数和整数键

    谢谢大家发帖. 请允许我详细说明我的需要.我正在解析包含Wi-Fi频道的文本文件.我试图获得频道发生的时间. 我的文本文件(file_parse.txt)具有: Cell 29 - Address: ...

  2. python列表嵌套字典取值_我的 python 学习历程-Day05 字典/字典的嵌套

    一.字典的初识 为什么要有字典 字典与列表同属容器型数据类型,同样可以存储大量的数据,但是,列表的数据关联性不强,并且查询速度比较慢,只能按照顺序存储. 什么是字典 先说一下什么叫可变与不可变的数据类 ...

  3. php java python容易入门_先学习Python之后再学习PHP与java会更好吗

    学过python语言之后在去学习PHP javascript 这些编程语言是不是会更好的能快速理解, 有python基础之后,再去学习php语言 理解上 是不是更方便上手, 我现在主要想学习专研 PH ...

  4. python3 循环写入一对多键值对_为什么Python 3.6以后字典有序并且效率更高?

    在Python 3.5(含)以前,字典是不能保证顺序的,键值对A先插入字典,键值对B后插入字典,但是当你打印字典的Keys列表时,你会发现B可能在A的前面. 但是从Python 3.6开始,字典是变成 ...

  5. python3.6字典有序_为什么Python 3.6以后字典有序并且效率更高?

    在Python 3.5(含)以前,字典是不能保证顺序的,键值对A先插入字典,键值对B后插入字典,但是当你打印字典的Keys列表时,你会发现B可能在A的前面. 但是从Python 3.6开始,字典是变成 ...

  6. def python语言对照表_如何用python,华丽实现字典树?

    文/IT可达鸭 图/IT可达鸭.网络 前言 上篇文章,我们用自定义数据结构实现了有序集合set.本文在此基础上,进一步加深,设计一个新的数据结构--字典树.有过参加过算法竞赛或做过数据检索的小伙伴,应 ...

  7. python series用法_如何使用Python中的Series字典创建数据框?

    数据框是一种二维数据结构,其中数据以表格格式存储,以行和列的形式. 它可以可视化为SQL数据表或excel工作表表示形式.可以使用以下构造函数创建它-pd.Dataframe(data, index, ...

  8. python多级字典嵌套_使用pythonscsv DictReader创建多级嵌套字典

    完全是Python noob,可能遗漏了一些明显的东西.我到处找遍了,还没有找到解决办法,所以我想我应该寻求一些帮助.在 我正在尝试编写一个函数,它将从一个大的csv文件构建一个嵌套字典.输入文件的格 ...

  9. python3.8的用法_体验一下 Python 3.8 带来的主要新特性

    学习理解一个软件非常好的方法就是跟随每一个版本演进的新特性,好比一个人被别人看着长大的,知子莫若父.因此每个版本的 Changelogs 或 What's New 是非常值得一读的,见 What's ...

最新文章

  1. 基于HTML5移动web应用
  2. 【opencv】17.提取RBG各种颜色c++代码
  3. 分布式:阿里云HSF转dubbo+zookeeper
  4. mysql关联查询去重_MySQL外键和高级查询(连接查询、联合查询、子查询、去重查询)...
  5. Mybatis 源码解析 -- 基于配置的源码解析(二)
  6. 原始dao和Mapper动态代理的开放方式---Mybatis学习笔记(六)
  7. 十大经典排序算法动画演示
  8. Linux C函数之文件及目录函数
  9. Lync Server 2013 实战系列之五:标准版-定义拓扑生成器
  10. jsp点击按钮弹出输入框_【问答3】需要点击虚拟键盘上发送(搜索)按钮的写法...
  11. 普中28335开发攻略_DSP28335汇编教程
  12. dmx512 java_DMX512协议(示例代码)
  13. 印度人在接管硅谷的时候,中国人在做什么?
  14. 三星a5000刷Android原生,三星 A5000中文Recovery刷机教程
  15. 软考高级 真题 2015年下半年 信息系统项目管理师 综合知识
  16. 青云QingCloud:重剑无锋 大巧不工
  17. 第六章 北京奥林匹克公园三维场景网络发布应用
  18. 编解码学习笔记(七) 微软Windows Media系列
  19. 动态内表的俩栗子_SAP刘梦_新浪博客
  20. byte[] valu 转 ByteBuffer

热门文章

  1. 70%以上程序员,不懂数据结构和算法!
  2. 开源项目barcodelib-C#条形码图像生成库
  3. ocelot 中间件的变化
  4. C# 中 ConcurrentDictionary 一定线程安全吗?
  5. 那些鼓吹国内首个.NET 5框架的,该醒醒了!
  6. .NET项目升级手记:可为空引用
  7. .NET Core开发实战(第21课:中间件:掌控请求处理过程的关键)--学习笔记(上)...
  8. ASP.NET Core 集成测试中模拟登录用户的一种姿势
  9. [工具]OFFICE插件管理工具-帮助更好地管理及使用电脑安装过的OFFICE插件
  10. CanalSharp.AspNetCore v0.0.4-支持输出到MongoDB