文章目录

1 散列表概述
- 1.1 散列表的由来
- 1.2 散列函数
- 1.3 散列冲突及解决
- - 1.3.1 开放寻址法
  - 1.3.2 链表法
2 工业级散列表
- 2.1 散列函数的设计
- 2.2 装载因子及动态扩容
- 2.3 选择合适的散列冲突解决办法
3 散列表和链表的组合使用
- 3.1 再看LRU缓存淘汰算法
- - 3.1.1 链表实现
  - 3.2.1 链表+散列表实现
- 3.2 Redis有序集合的实现
- 3.3 java LinkedHashMap分析
- 3.4 心得
4. 思考解答

1 散列表概述

散列表的英文叫“Hash Table”，我们平时也叫它“哈希表”或者“Hash 表”。

1.1 散列表的由来

“散列表”用的是数组支持按照下标随机访问的特性，是数组的一种扩展。可以说，如果没有数组，就没有散列表。

散列表来源于数组，它底层的数据存储结构是一个大数组。
散列函数将元素的键值映射为数组下标，并将该数据存放在数组对应的下标位置，形成了key、value（键值对）的概念。
查找元素时，同样通过散列函数计算对应键值的数组下标，直接到数组中取数据即可，时间复杂度为O(1)O(1)O(1)。

1.2 散列函数

可以看出，散列表的关键就是构造一个合适的散列函数，总结起来需要满足3点基本要求：

散列函数计算得到的散列值是一个非负整数。
若key1=key2，则hash(key1)=hash(key2)
若key≠key2，则hash(key1)≠hash(key2)
第3点要求虽然合情合理，但是即使工业界著名的MD5,SHA,CRC哈希算法也无法保证，所以无法避免的散列冲突问题。

1.3 散列冲突及解决

1.3.1 开放寻址法

开放寻址法的核心思想是：如果发生散列冲突，则重新探测一个空闲位置来插入数据。根据这种思想有几种不同的探测方法如下，

线性探测
(1) 插入数据：当插入数据时，如果某个数据经过散列函数之后，存储的位置已经被占用了，我们就从当前位置开始，依次往后查找，看是否有空闲位置，直到找到为止。
(2) 查找数据：通过散列函数求出要查找元素的键值对应的散列值(即数组下标)，然后取出该数组下标中的元素，判断和要查找的元素是否相等，若相等，则说明就是我们要查找的元素；否则，就顺序往后依次查找。如果遍历到数组的空闲位置还未找到，就说明要查找的元素并没有在散列表中。
(3)删除数据：为了不让查找算法失效，可以将删除的元素特殊标记为deleted，当线性探测查找的时候，遇到标记为deleted的空间，并不是停下来，而是继续往下探测。
二次探测
跟线性探测很像，线性探测每次探测的步长是 1，那它探测的下标序列就是 hash(key)+0，hash(key)+1，hash(key)+2……而二次探测探测的步长就变成了原来的“二次方”，也就是说，它探测的下标序列就是 hash(key)+0，hash(key)+12，hash(key)+22……
其查找，插入，删除思想一致。
双重散列
不仅要使用一个散列函数，而是使用一组散列函数 hash1(key)，hash2(key)，hash3(key)……，先用第一个散列函数，如果计算得到的存储位置已经被占用，再用第二个散列函数，依次类推，直到找到空闲的存储位置。
双重散列可能遇到一组都用完了，但是依然没有找到位置的情况，我理解这时候可以采用开放寻址或者链表法继续解冲突。

装载因子：对于开放寻址法来看，不论哪种方式，一旦散列表中空闲位置不多时，散列冲突概率都会大大提高。因此提出了装载因子的概念：

散列表的装载因子 = 填入表中的元素个数 / 散列表的长度

“装载因子”可以用来评估散列表的性能，装载因子越大，说明空闲位置越少，冲突越多，散列表的性能会下降。

1.3.2 链表法

链表法是一种更加常用的散列冲突解决办法，相比开放寻址法，它要简单很多。
(1) 插入数据：当插入的时候，我们需要通过散列函数计算出对应的散列槽位，将其插入到对应的链表中即可，所以插入的时间复杂度为O(1)。
(2) 查找或删除：当查找、删除一个元素时，通过散列函数计算对应的槽，然后遍历链表查找或删除。对于散列比较均匀的散列函数，链表的节点个数k=n/m，其中n表示散列表中数据的个数，m表示散列表中槽的个数，所以是时间复杂度为O(k)。

2 工业级散列表

散列表的查询效率并不能笼统地说成是 O(1)。它跟散列函数、装载因子、散列冲突等都有关系。极端情况下，有些恶意的攻击者，有可能通过精心构造数据，使所有的数据经过散列函数之后，都到同一个槽里。如果基于链表的冲突解决方法，此时散列表就会退化为链表，查询的时间复杂度就从 O(1) 急剧退化为 O(n)。
何为一个工业级的散列表？工业级的散列表应该具有哪些特性？

支持快速的查询、插入、删除操作；
内存占用合理，不能浪费过多空间；
性能稳定，在极端情况下，散列表的性能也不会退化到无法接受的情况。

2.1 散列函数的设计

散列函数的好坏决定了散列冲突的概率以及散列表的性能。

散列后的值尽可能随机且均匀分布，这样会尽可能减少散列冲突，即便冲突，分配到每个槽内的数据也比较均匀。
散列函数的设计也不能太复杂，太复杂就会太耗时间，也会影响到散列表的性能。
常见的散列函数设计方法：数据分析法，直接寻址法、平方取中法、折叠法、随机数法等。

2.2 装载因子及动态扩容

装载因子越大，说明散列表中的元素越多，空闲位置越少，散列冲突的概率就越大。不仅插入数据要多次寻址或者拉很长的链，查找也会变得很慢。

如何设置装载因子阈值？
(1) 通过设置装载因子的阈值来控制是扩容还是缩容。支持动态扩容的散列表，插入数据的时间复杂度使用摊还分析法计算为O(1)O(1)O(1)。
(2) 如果对空间消耗敏感，当装载因子低于某一阈值时，可以考虑动态缩容。否则，只考虑动态扩容即可。
(3) 装载因子的阈值设置需要权衡时间复杂度和空间复杂度。如何权衡？如果内存空间不紧张，对执行效率要求很高，可以降低装载因子的阈值；相反，如果内存空间紧张，对执行效率要求又不高，可以增加装载因子的阈值。
(4) 装载因子可以大于1，因为拉链法允许防止比数组元素个数多的元素。
如何避免低效扩容？
如果散列表中数据量很大时，极端情况下一次性搬移数据会导致大量耗时，因此可以考虑分批扩容。
(1) 插入操作：当有新数据要插入时，我们将数据插入新的散列表，并且从老的散列表中拿出一个数据放入新散列表。每次插入都重复上面的过程。这样插入操作就变得很快了。如下图所示：

(2) 查询操作：先查新散列表，再查老散列表。
(3) 通过分批扩容，任何情况下，插入一个数据的时间复杂度都是O(1)。
使用HashMap小技巧？
(1) HashMap 默认的初始大小是 16。如果事先知道大概的数据量有多大，可以通过修改默认初始大小，减少动态扩容的次数，这样会大大提高 HashMap 的性能。
(2) 设置合适的装载因子。

2.3 选择合适的散列冲突解决办法

开放寻址法优缺点
优点：纯数组存储，能够有效利用CPU缓存加快查询速度；易于序列化。
缺点：删除数据麻烦，浪费内存空间；冲突代价大，装载因子不能太大；
适用情景：当数据量比较小、装载因子小的时候，适合采用开放寻址法。这也是 Java 中的ThreadLocalMap使用开放寻址法解决散列冲突的原因。
链表法优缺点
优点：内存利用率高；装载因子可以大于1；更加灵活，支持更多优化策略，比如用红黑树替代链表。
缺点：链表本身对CPU缓存不友好；链表过长，性能下降；链表存储消耗额外内存。
适用场景：于链表的散列冲突处理方法比较适合存储大对象、大数据量的散列表。java的LinkedHashMap和HashMap都是使用链表法解冲突的。

3 散列表和链表的组合使用

散列表的优缺点如下：
优点：支持高效的数据插入、删除和查找操作。
缺点：不支持快速顺序遍历散列表中的数据
如何按照顺序快速遍历散列表的数据？只能将数据转移到数组，然后排序，最后再遍历数据。
散列表是动态的数据结构，需要频繁的插入和删除数据，那么每次顺序遍历之前都需要先排序，这势必会造成效率非常低下。如何解决该问题呢？就是将散列表和链表（或跳表）结合起来使用。
也就是说，散列表和链表一起使用本质上解决的是排序问题。

3.1 再看LRU缓存淘汰算法

LRU缓存淘汰算法主要包含3个操作：

往缓存中添加一个数据；
从缓存中删除一个数据；
在缓存中查找一个数据；

上面3个都涉及到查找。

3.1.1 链表实现

维护一个按照访问时间从大到小的有序排列的链表结构。
当空间不足淘汰一个数据时，直接删除链表头部的节点。
当要缓存某个数据时，先在链表中查找这个数据。若未找到，则直接将数据放到链表的尾部。若找到，就把它移动到链表尾部。
LRU缓存的3个操作都涉及查找，若单纯由链表实现，查找的时间复杂度为O(n)。若将链表和散列表结合使用，查找的时间复杂度会降到O(1)。

3.2.1 链表+散列表实现

最重要思想：使用散列表替代链表本身的查找操作，而查找恰恰是链表的弱势，用散列表来填补。如下图所示：

使用双向链表存储数据，链表中每个节点存储数据（data）、前驱指针（prev）、后继指针（next）和hnext指针（解决散列冲突的链表指针）。
散列表通过链表法解决散列冲突，所以每个节点都会在两条链中。一条是双向链表，另一条是散列表中的拉链。前驱和后继指针是为了将节点串在双向链表中，hnext指针是为了将节点串在散列表的拉链中。
LRU缓存淘汰算法的3个主要操作如何做到时间复杂度为O(1)呢？
首先，链表本身插入和删除一个节点的时间复杂度为O(1)，因为只需更改几个指针指向即可。
接着，来分析查找操作的时间复杂度。当要查找一个数据时，通过散列表可实现在O(1)时间复杂度找到该数据，再加上前面说的插入或删除的时间复杂度是O(1)，所以总操作的时间复杂度就是O(1)。

3.2 Redis有序集合的实现

有序集合中，每个成员对象有两个重要的属性：key ( 键值 ) 和 score ( 分值 )。
Redis 有序集合的操作：

添加一个成员变量；
按照键值来删除一个成员变量；
按照键值来查找一个成员变量；
按照分值区间查找数据，eg：查找积分在[100,555]之间的成员对象；
按照分值从小到大排序成员变量；

解决办法：

按照键值key构建一个散列表，满足1，2，3要求，时间复杂度为O(1)O(1)O(1)。
按照分支score构建一个跳表，满足4，5要求。

3.3 java LinkedHashMap分析

LinkedHashMap本质上就是一个LRU缓存淘汰策略的实现。支持按照插入顺序遍历数据，也支持按照访问顺序遍历数据。
实际上，LinkedHashMap 是通过双向链表和散列表这两种数据结构组合实现的。LinkedHashMap 中的“Linked”实际上是指的是双向链表，并非指用链表法解决散列冲突。

3.4 心得

很多时候，不同数据结构之间可以相互借鉴，互补有无。将它们综合到一起使用，能够得到效率更高的数据结构。
数组和链表，是两个最基本的数据结构。散列表借鉴数组的随机访问特性而生，跳表借鉴二分查找而生，redis借鉴散列表+跳表，一种数据结构的产生，一定是在基础数据结构的改造和优化。
Smallfly留言：
个人感觉其实就两种数据结构，链表和数组。
数组占据随机访问的优势，却有需要连续内存的缺点。链表具有可不连续存储的优势，但访问查找是线性的。
散列表和链表、跳表的混合使用，是为了结合数组和链表的优势，规避它们的不足。我们可以得出数据结构和算法的重要性排行榜：连续空间 > 时间 > 碎片空间。

4. 思考解答

Word文档中单词拼写检查功能是如何实现的？
字符串占用内存大小为8字节，20万单词占用内存大小不超过20MB，所以用散列表存储20万英文词典单词，然后对每个编辑进文档的单词进行查找，若未找到，则提示拼写错误。
假设我们有10万条URL访问日志，如何按照访问次数给URL排序？
字符串占用内存大小为8字节，10万条URL访问日志占用内存不超过10MB，通过散列表统计url访问次数，然后用TreeMap存储散列表的元素值（作为key）和数组下标值（作为value）
有两个字符串数组，每个数组大约有10万条字符串，如何快速找出两个数组中相同的字符串？
分别将2个数组的字符串通过散列函数映射到散列表，散列表中的元素值为次数。注意，先存储的数组中的相同元素值不进行次数累加。最后，统计散列表中元素值大于等于2的散列值对应的字符串就是两个数组中相同的字符串。
上面所讲的几个散列表和链表组合的例子里，我们都是使用双向链表。如果把双向链表改成单链表，还能否正常工作？为什么呢？
在删除一个元素时，虽然能 O(1) 的找到目标结点，但是要删除该结点需要拿到前一个结点的指针，遍历到前一个结点复杂度会变为 O(N），所以用双链表实现比较合适。
假设你是猎聘网的一名工程师，如何在内存中存储这10万个猎头的ID和积分信息，让它能够支持这样几个操作：
1）根据猎头ID查收查找、删除、更新这个猎头的积分信息；
2）查找积分在某个区间的猎头ID列表；
3）查找按照积分从小到大排名在第x位到第y位之间的猎头ID列表。
以积分排序构建一个跳表，再以猎头 ID 构建一个散列表。
(1)ID 在散列表中所以可以 O(1) 查找到这个猎头；
(2）积分以跳表存储，跳表支持区间查询；
(3）这点根据目前学习的知识暂时无法实现，老师文中也提到了。

散列表--数据结构与算法之美--CH18、CH19、CH20相关推荐

数据结构与算法之美（一）：概论
最近在极客时间上面学习王争老师的课程<数据结构与算法之美>,以前虽然学过一些皮毛,但是不够精,作为程序员的基本内功,还是要继续学习.至此通过总结的方式,把这门课的要点记录下来,供自己思考回 ...
极客时间自我提升第二天数据结构与算法之美应该掌握 / 趣谈网络原理 / 深入浅出计算机组成原理思维导图
菜鸟今天又来完成所说的诺言,也希望大家督促,在今天的学习中,菜鸟有了新的认知,我会将上一篇中理解不完善的一些地方进行补充,学习本就是不断打破自己的认知,如果思考都不做,何来的知识的积累文章目录数据 ...
mysql索引用trie树_数据结构与算法之美【完整版】
资源目录: ├─01-开篇词 (1讲) │ ├─00丨开篇词丨从今天起,跨过"数据结构与算法"这道坎.html │ ├─00丨开篇词丨从今天起,跨过"数据结构与算法&qu ...
《数据结构与算法之美》目录
数据结构与算法之美_算法实战_算法面试开篇词 (1讲) <数据结构与算法之美>学习指导手册开篇词 | 从今天起,跨过"数据结构与算法"这道坎入门篇 (4讲) 01 ...
王争数据结构与算法之美开篇问题整理
数据结构与算法之美笔记整理为什么大多数编程语言中数组从 0 而不是从 1 开始编号? 从数组存储的内存模型上来看,"下标"最确切的定义应该是"偏移(offset)&qu ...
数据结构与算法之美-目录
复杂度分析数组栈队列链表递归排序二分查找跳表散列表哈希算法二叉树红黑树 B+树堆与堆排序图的表示深度广度优先搜索拓扑排序最短路径 A*算法字符串匹配(BF RK) ...
推荐学习-数据结构与算法之美
推荐一个学习资源:数据结构与算法之美.主要包括以下几个学习内容: 20个经典数据结构与算法 100个真实项目场景案例文科生都能看懂的算法手绘图解轻松搞定BAT的面试通关秘籍作者:王争前谷歌工程 ...
考研数据结构之查找（9.8）——练习题之使用散列函数H(k)= 3k mod 11并采用链地址法处理冲突并构造散列表及设计散列表的完整算法（C表示）
题目使用散列函数: H(k)= 3*k mod 11 并采用链地址法处理冲突.试对关键字序列(22, 41, 53, 46, 30, 13, 01, 67)构造散列表,求等概率情况下查找成功的平均查 ...
《数据结构与算法之美》学习汇总
此篇文章是对自己学习这门课程的一个总结和课后的一些练习,做一个汇总,希望对大家有帮助.本人是半路程序员,2018年2月开始学习C++的,下面的代码基本都是C++11版本的,代码有错误的地方请不吝留言赐 ...
数据结构与算法之美 02 | 如何抓住重点
什么是数据结构? 数据结构是指一组数据的存储结构. 什么是算法? 算法就是操作数据结构的一组方法. 数据结构是为算法服务的,算法要作用在特定的数据结构之上. 想要学习数据结构与算法,首先要掌握一个数据 ...

散列表--数据结构与算法之美--CH18、CH19、CH20