【面试篇】ConcurrentHashMap1.8 扩容细节
ConcurrentHashMap1.8 扩容细节
【面试篇】数据结构-哈希表
【面试篇】HashMap常见面试题目
【面试篇】HashMap1.7和HashMap1.8的详细区别对比
【面试篇】ConcurrentHashMap1.8 扩容细节
【面试篇】ConcurrentHashMap1.7和1.8详解对比
什么是一致性哈希算法？如何通俗易懂的了解分布式缓存场景?
1.什么情况下进行扩容？
一般是下列两种情况会进行扩容：
- 一种是链表冲突达到了8个节点，但是数组长度不满足64会进行扩容，触发
transfer方法扩容； - 一种是新增节点之后，判断数组个数是否达到阈值，若达到阈值, 触发
transfer方法扩容；
而单线程和多线程也是分为两种情况:
- 没有其他线程正在执行扩容，则当前线程自身发起扩容（单线程）；
- 已经有其它线程正字执行扩容，则当前线程会尝试协助“数据迁移”；（多线程并发）；
这两种情况，通过传入第二个参数nextTable来区分，nextTable表示扩容后的新table数组，如果为null，则表示发起首次扩容；第二种情况，通过CAS操作和位运算来发起扩容。
2.扩容的步骤？
- table数组的扩容，一般是新建一个2倍大小的数组，这个过程由一个单线程完成，不允许并发操作；
- 数据迁移，可多线程操作。把旧的table各个槽中的结点重新分配到新table中；
3.扩容的原理？
来看下transfer方法，这个方法可以被多个线程同时调用，也是**“数据迁移”**的核心操作方法：
/*** 数据转移和扩容.* 每个调用tranfer的线程会对当前旧table中[transferIndex-stride, transferIndex-1]位置的结点进行迁移** @param tab 旧table数组* @param nextTab 新table数组*/
private final void transfer(Node<K, V>[] tab, Node<K, V>[] nextTab) {int n = tab.length, stride;// stride可理解成“步长”，即数据迁移时，每个线程要负责旧table中的多少个桶if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)stride = MIN_TRANSFER_STRIDE;if (nextTab == null) { // 首次扩容try {// 创建新table数组Node<K, V>[] nt = (Node<K, V>[]) new Node<?, ?>[n << 1];nextTab = nt;} catch (Throwable ex) { // 处理内存溢出（OOME）的情况sizeCtl = Integer.MAX_VALUE;return;}nextTable = nextTab;transferIndex = n; // [transferIndex-stride, transferIndex-1]表示当前线程要进行数据迁移的桶区间}int nextn = nextTab.length;// ForwardingNode结点，当旧table的某个桶中的所有结点都迁移完后，用该结点占据这个桶ForwardingNode<K, V> fwd = new ForwardingNode<K, V>(nextTab);// 标识一个桶的迁移工作是否完成，advance == true 表示可以进行下一个位置的迁移boolean advance = true;// 最后一个数据迁移的线程将该值置为true，并进行本轮扩容的收尾工作boolean finishing = false;// i标识桶索引, bound标识边界for (int i = 0, bound = 0; ; ) {Node<K, V> f;int fh;// 每一次自旋前的预处理，主要是定位本轮处理的桶区间// 正常情况下，预处理完成后：i == transferIndex-1，bound == transferIndex-stridewhile (advance) {int nextIndex, nextBound;if (--i >= bound || finishing)advance = false;else if ((nextIndex = transferIndex) <= 0) {i = -1;advance = false;} else if (U.compareAndSwapInt(this, TRANSFERINDEX, nextIndex,nextBound = (nextIndex > stride ? nextIndex - stride : 0))) {bound = nextBound;i = nextIndex - 1;advance = false;}}if (i < 0 || i >= n || i + n >= nextn) { // CASE1：当前是处理最后一个tranfer任务的线程或出现扩容冲突int sc;if (finishing) { // 所有桶迁移均已完成nextTable = null;table = nextTab;sizeCtl = (n << 1) - (n >>> 1);return;}// 扩容线程数减1,表示当前线程已完成自己的transfer任务if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {// 判断当前线程是否是本轮扩容中的最后一个线程，如果不是，则直接退出if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)return;finishing = advance = true;/*** 最后一个数据迁移线程要重新检查一次旧table中的所有桶，看是否都被正确迁移到新table了：* ①正常情况下，重新检查时，旧table的所有桶都应该是ForwardingNode;* ②特殊情况下，比如扩容冲突(多个线程申请到了同一个transfer任务)，此时当前线程领取的任务会作废，那么最后检查时，* 还要处理因为作废而没有被迁移的桶，把它们正确迁移到新table中*/i = n; // recheck before commit}} else if ((f = tabAt(tab, i)) == null) // CASE2：旧桶本身为null，不用迁移，直接尝试放一个ForwardingNodeadvance = casTabAt(tab, i, null, fwd);else if ((fh = f.hash) == MOVED) // CASE3：该旧桶已经迁移完成，直接跳过advance = true;else { // CASE4：该旧桶未迁移完成，进行数据迁移synchronized (f) {if (tabAt(tab, i) == f) {Node<K, V> ln, hn;if (fh >= 0) { // CASE4.1：桶的hash>0，说明是链表迁移/*** 下面的过程会将旧桶中的链表分成两部分：ln链和hn链* ln链会插入到新table的槽i中，hn链会插入到新table的槽i+n中*/int runBit = fh & n; // 由于n是2的幂次，所以runBit要么是0，要么高位是1Node<K, V> lastRun = f; // lastRun指向最后一个相邻runBit不同的结点for (Node<K, V> p = f.next; p != null; p = p.next) {int b = p.hash & n;if (b != runBit) {runBit = b;lastRun = p;}}if (runBit == 0) {ln = lastRun;hn = null;} else {hn = lastRun;ln = null;}// 以lastRun所指向的结点为分界，将链表拆成2个子链表ln、hnfor (Node<K, V> p = f; p != lastRun; p = p.next) {int ph = p.hash;K pk = p.key;V pv = p.val;if ((ph & n) == 0)ln = new Node<K, V>(ph, pk, pv, ln);elsehn = new Node<K, V>(ph, pk, pv, hn);}setTabAt(nextTab, i, ln); // ln链表存入新桶的索引i位置setTabAt(nextTab, i + n, hn); // hn链表存入新桶的索引i+n位置setTabAt(tab, i, fwd); // 设置ForwardingNode占位advance = true; // 表示当前旧桶的结点已迁移完毕}else if (f instanceof TreeBin) { // CASE4.2：红黑树迁移/*** 下面的过程会先以链表方式遍历，复制所有结点，然后根据高低位组装成两个链表；* 然后看下是否需要进行红黑树转换，最后放到新table对应的桶中*/TreeBin<K, V> t = (TreeBin<K, V>) f;TreeNode<K, V> lo = null, loTail = null;TreeNode<K, V> hi = null, hiTail = null;int lc = 0, hc = 0;for (Node<K, V> e = t.first; e != null; e = e.next) {int h = e.hash;TreeNode<K, V> p = new TreeNode<K, V>(h, e.key, e.val, null, null);if ((h & n) == 0) {if ((p.prev = loTail) == null)lo = p;elseloTail.next = p;loTail = p;++lc;} else {if ((p.prev = hiTail) == null)hi = p;elsehiTail.next = p;hiTail = p;++hc;}}// 判断是否需要进行 红黑树 <-> 链表 的转换ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :(hc != 0) ? new TreeBin<K, V>(lo) : t;hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :(lc != 0) ? new TreeBin<K, V>(hi) : t;setTabAt(nextTab, i, ln);setTabAt(nextTab, i + n, hn);setTabAt(tab, i, fwd); // 设置ForwardingNode占位advance = true; // 表示当前旧桶的结点已迁移完毕}}}}}
}
tranfer方法的开头，会计算出一个stride变量的值，这个stride其实就是每个线程处理的桶区间，也就是步长：
// stride可理解成“步长”，即数据迁移时，每个线程要负责旧table中的多少个桶
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)stride = MIN_TRANSFER_STRIDE;
首次扩容时，会将table数组变成原来的2倍：
if (nextTab == null) { // 首次扩容try {// 创建新table数组Node<K, V>[] nt = (Node<K, V>[]) new Node<?, ?>[n << 1];nextTab = nt;} catch (Throwable ex) { // 处理内存溢出（OOME）的情况sizeCtl = Integer.MAX_VALUE;return;}nextTable = nextTab;transferIndex = n; // [transferIndex-stride, transferIndex-1]表示当前线程要进行数据迁移的桶区间
}
注意上面的transferIndex变量，这是一个字段，table[transferIndex-stride, transferIndex-1]就是当前线程要进行数据迁移的桶区间：
/*** 扩容时需要用到的一个下标变量.*/
private transient volatile int transferIndex;
整个transfer方法几乎都在一个自旋操作中完成，从右往左开始进行数据迁移，transfer的退出点是当某个线程处理完最后的table区段——table[0,stride-1]。
transfer方法主要包含4个分支，即对4种不同情况进行处理，我们按照难易程度来解释下各个分支所做的事情：
CASE2：桶table[i]为空
当旧table的桶table[i] == null，说明原来这个桶就没有数据，那就直接尝试放置一个ForwardingNode，表示这个桶已经处理完成。
else if ((f = tabAt(tab, i)) == null) // CASE2：旧桶本身为null，不用迁移，直接尝试放一个ForwardingNodeadvance = casTabAt(tab, i, null, fwd);
注：ForwardingNode我们在上一篇提到过，主要做占用位，多线程进行数据迁移时，其它线程看到这个桶中是ForwardingNode结点，就知道有线程已经在数据迁移了。
另外，当最后一个线程完成迁移任务后，会遍历所有桶，看看是否都是ForwardingNode，如果是，那么说明整个扩容/数据迁移的过程就完成了。
CASE3：桶table[i]已迁移完成
没什么好说的，就是桶已经用ForwardingNode结点占用了，表示该桶的数据都迁移完了。
else if ((fh = f.hash) == MOVED) // CASE3：该旧桶已经迁移完成，直接跳过advance = true;
CASE4：桶table[i]未迁移完成
如果旧桶的数据未迁移完成，就要进行迁移，这里根据桶中结点的类型分为：链表迁移、红黑树迁移。
①链表迁移
链表迁移的过程如下，首先会遍历一遍原链表，找到最后一个相邻runBit不同的结点。
runbit是根据key.hash和旧table长度n进行与运算得到的值，由于table的长度为2的幂次，所以runbit只可能为0或最高位为1
然后，会进行第二次链表遍历，按照第一次遍历找到的结点为界，将原链表分成2个子链表，再链接到新table的槽中。可以看到，新table的索引要么是i，要么是i+n，这里就利用了上一节说的ConcurrentHashMap的rehash特点。
if (fh >= 0) { // CASE4.1：桶的hash>0，说明是链表迁移/*** 下面的过程会将旧桶中的链表分成两部分：ln链和hn链* ln链会插入到新table的槽i中，hn链会插入到新table的槽i+n中*/int runBit = fh & n; // 由于n是2的幂次，所以runBit要么是0，要么高位是1Node<K, V> lastRun = f; // lastRun指向最后一个相邻runBit不同的结点for (Node<K, V> p = f.next; p != null; p = p.next) {int b = p.hash & n;if (b != runBit) {runBit = b;lastRun = p;}}if (runBit == 0) {ln = lastRun;hn = null;} else {hn = lastRun;ln = null;}// 以lastRun所指向的结点为分界，将链表拆成2个子链表ln、hnfor (Node<K, V> p = f; p != lastRun; p = p.next) {int ph = p.hash;K pk = p.key;V pv = p.val;if ((ph & n) == 0)ln = new Node<K, V>(ph, pk, pv, ln);elsehn = new Node<K, V>(ph, pk, pv, hn);}setTabAt(nextTab, i, ln); // ln链表存入新桶的索引i位置setTabAt(nextTab, i + n, hn); // hn链表存入新桶的索引i+n位置setTabAt(tab, i, fwd); // 设置ForwardingNode占位advance = true; // 表示当前旧桶的结点已迁移完毕
}
②红黑树迁移
红黑树的迁移按照链表遍历的方式进行，当链表结点超过/小于阈值时，涉及红黑树<->链表的相互转换：
else if (f instanceof TreeBin) { // CASE4.2：红黑树迁移/*** 下面的过程会先以链表方式遍历，复制所有结点，然后根据高低位组装成两个链表；* 然后看下是否需要进行红黑树转换，最后放到新table对应的桶中*/TreeBin<K, V> t = (TreeBin<K, V>) f;TreeNode<K, V> lo = null, loTail = null;TreeNode<K, V> hi = null, hiTail = null;int lc = 0, hc = 0;for (Node<K, V> e = t.first; e != null; e = e.next) {int h = e.hash;TreeNode<K, V> p = new TreeNode<K, V>(h, e.key, e.val, null, null);if ((h & n) == 0) {if ((p.prev = loTail) == null)lo = p;elseloTail.next = p;loTail = p;++lc;} else {if ((p.prev = hiTail) == null)hi = p;elsehiTail.next = p;hiTail = p;++hc;}}// 判断是否需要进行 红黑树 <-> 链表 的转换ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :(hc != 0) ? new TreeBin<K, V>(lo) : t;hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :(lc != 0) ? new TreeBin<K, V>(hi) : t;setTabAt(nextTab, i, ln);setTabAt(nextTab, i + n, hn);setTabAt(tab, i, fwd); // 设置ForwardingNode占位advance = true; // 表示当前旧桶的结点已迁移完毕
}
CASE1：当前是最后一个迁移任务或出现扩容冲突
我们刚才说了，调用transfer的线程会自动领用某个区段的桶，进行数据迁移操作，当区段的初始索引i变成负数的时候，说明当前线程处理的其实就是最后剩下的桶，并且处理完了。
所以首先会更新sizeCtl变量，将扩容线程数减1，然后会做一些收尾工作：
设置table指向扩容后的新数组，遍历一遍旧数组，确保每个桶的数据都迁移完成——被ForwardingNode占用。
另外，可能在扩容过程中，出现扩容冲突的情况，比如多个线程领用了同一区段的桶，这时任何一个线程都不能进行数据迁移。
if (i < 0 || i >= n || i + n >= nextn) { // CASE1：当前是处理最后一个tranfer任务的线程或出现扩容冲突int sc;if (finishing) { // 所有桶迁移均已完成nextTable = null;table = nextTab;sizeCtl = (n << 1) - (n >>> 1);return;}// 扩容线程数减1,表示当前线程已完成自己的transfer任务if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {// 判断当前线程是否是本轮扩容中的最后一个线程，如果不是，则直接退出if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)return;finishing = advance = true;/*** 最后一个数据迁移线程要重新检查一次旧table中的所有桶，看是否都被正确迁移到新table了：* ①正常情况下，重新检查时，旧table的所有桶都应该是ForwardingNode;* ②特殊情况下，比如扩容冲突(多个线程申请到了同一个transfer任务)，此时当前线程领取的任务会作废，那么最后检查时，* 还要处理因为作废而没有被迁移的桶，把它们正确迁移到新table中*/i = n; // recheck before commit}
}
4.图解扩容(补充)
触发扩容的操作：
假设目前数组长度为8，数组的元素的个数为5。再放入一个元素就会触发扩容操作。
总结一下扩容条件：
(1) 元素个数达到扩容阈值。
(2) 调用 putAll 方法，但目前容量不足以存放所有元素时。
(3) 某条链表长度达到8，但数组长度却小于64时。
CPU核数与迁移任务hash桶数量分配(步长)的关系
单线程下线程的任务分配与迁移操作
多线程如何分配任务？
普通链表如何迁移？
首先锁住数组上的Node节点，然后和HashMap1.8中一样，将链表拆分为高位链表和低位链表两个部分，然后复制到新的数组中。
什么是 lastRun 节点？
lastRun节点就是高位链或低位链的开始
红黑树如何迁移？
hash桶迁移中以及迁移后如何处理存取请求？
多线程迁移任务完成后的操作
参考：
1.ConcurrentHashMap 1.7/1.8比较
2.ConcurrentHashMap底层详解（JDK1.7）
3.ConcurrentHashMap底层详解(图解扩容)（JDK1.8）
多线程迁移任务完成后的操作
[外链图片转存中…(img-nWWopp0Q-1607669095316)]
[外链图片转存中…(img-Q7czVzkL-1607669095317)]
[外链图片转存中…(img-PPrgaozP-1607669095318)]
参考：
1.ConcurrentHashMap 1.7/1.8比较
2.ConcurrentHashMap底层详解（JDK1.7）
3.ConcurrentHashMap底层详解(图解扩容)（JDK1.8）
4.[Java多线程进阶（二四）—— J.U.C之collections框架：ConcurrentHashMap(2) 扩容]
【面试篇】ConcurrentHashMap1.8 扩容细节相关推荐
- 【面试篇】ConcurrentHashMap1.7和1.8详解对比
ConcurrentHashMap1.7和1.8详解对比 [面试篇]数据结构-哈希表 [面试篇]HashMap常见面试题目 [面试篇]HashMap1.7和HashMap1.8的详细区别对比 [面试篇 ...
- 2018前端开发面试备忘录（1年以上经验初中级别前端开发）-面试篇
2018前端开发面试备忘录-面试篇 -面试篇 -简历篇 -跳槽选择篇 18年过年之前离职了,在家闲着也没事就去面试了下,试试水. 2018前端开发面试备忘录,主要是查漏补缺,我自己的面试作答,后面会在 ...
- 面试篇之JVM（GC 可达性分析 回收算法 卡表 G1）
面试篇之JVM 面试篇之JVM GC 对象存活判断 分代回收理论 常见回收算法 HotSpot实现细节 记忆集与卡表 读写屏障 回收器 并发标记 G1 面试篇之JVM GC 美团 1.JVM怎么判断一 ...
- 面向对象编程-面试篇
面向对象编程-面试篇 什么是面向对象思想? 面向对象是一种思想,是基于面向过程而言的,就是说面向对象是将功能等通过对象来实现,将功能封装到对象之中,让对象去实现具体功能细节. 特点: 1.将复杂的事情 ...
- ⑪(面试篇 2/3)、《史上最全iOS八股文面试题》2022年,金三银四我为你准备了,iOS《1000条》笔试题以及面试题(包含答案)。带面试你过关斩将,(赶紧过来背iOS八股文)
iOS面试题 一共分为笔试题和面试题两部分 笔试题 一共分为10个 总共613题 面试题 一共400题 笔试题 一个10个系列 分别为 ①(语法篇) 共147题 已更新 ②(常识篇) 共72题 已更新 ...
- “程序猿”面试篇（一）聊项目
"程序猿"面试篇(一)聊项目 下面是我简历中写到的项目实战经历: 实战经历 项目经历 镇江十野物流管理系统开发/开发组成员 2019年06月 - 2020年06月 项目简介:该项目 ...
- 面试篇1：C/C++，Linux
面试篇1:C/C++,Linux 1. C/C++内存有哪几种类型? C中,内存分为5个区: 堆(malloc).栈(如局部变量.函数参数).程序代码区(存放二进制代码).全局/静态存储区(全局变量. ...
- 计算机网络 - 面试篇
计算机网络 - 面试篇 综合 OSI七层模型 讲一下网络五层模型,每一层的职责? 在浏览器地址栏输入一个URL后回车,执行的全部过程 tcp.udp.http.https等常用协议 Cookie 和 ...
- 【面试篇】前端点滴（css/css3）
[面试篇]前端点滴(CSS/CSS3)---倾尽所有 面试小问答 css基础 css盒模型 css选择器 BFC css(float) css(position/z-index) css(displa ...
最新文章
- Codeforces 1108 E2（线段树+思维）
- Codechef TRIPS Children Trips (分块、倍增)
- 10以内的分解与组成怎么教_狗狗酷炫的飞盘游戏怎么玩？分解步骤教你快速学会...
- 关于set的自定义比较函数的使用及结构体的上下二分用法
- 一个解决方案创建多个项目问题解决方案
- 程序执行原理（科普）
- 如何养成周回顾习惯的回复
- loadrunner11 中文破解版(附详细安装教程)
- 安卓按键:紫猫老师的正则教程
- live2d 看板娘
- Unity判断机型iPad/iPhone
- xhprof安装使用
- 独家强大情侣头像网名个性签名多功能工具微信小程序源码下载
- 全屏的微粒子3D动画特效
- 方唯上传程序后不能登录后台
- BZOJ2121 字符串游戏 【dp】
- 关于学习Laravel5.8时的知识总结及遇到的问题（持续更新）
- JAVA I GATECH EDX
- java毕设项目开源啦，springboot+Thymeleaf的仿豆瓣电影论坛系统
- 美国顾客满意度指数模型(转载)