Java 提供了不同层面的线程安全支持。在传统集合框架内部,除了 Hashtable 等同步容器,还提供了所谓的同步包装器(Synchronized Wrapper),我们可以调用 Collections 工具类提供的包装方法,来获取一个同步的包装容器(如 Collections.synchronizedMap),但是它们都是利用非常粗粒度的同步方式,在高并发情况下,性能比较低。

另外,更加普遍的选择是利用并发包提供的线程安全容器类,它提供了:

  • 各种并发容器,比如 ConcurrentHashMap、CopyOnWriteArrayList(之前文章有介绍)。

  • 各种线程安全队列(Queue/Deque),如 ArrayBlockingQueue、SynchronousQueue。

  • 各种有序容器的线程安全版本等。

具体保证线程安全的方式,包括有从简单的 synchronize 方式,到基于更加精细化的,比如基于锁分离实现的 ConcurrentHashMap 等并发实现等。具体选择要看开发的场景需求,总体来说,并发包内提供的容器通用场景,远优于早期的简单同步实现。

Hashtable 本身比较低效,因为它的实现基本就是将 put、get、size 等各种方法加上“synchronized”。简单来说,这就导致了所有并发操作都要竞争同一把锁,一个线程在进行同步操作时,其他线程只能等待,大大降低了并发操作的效率。

Collections.synchronizedMap同步包装器只是利用输入 Map 构造了另一个同步版本,所有操作虽然不再声明成为 synchronized 方法,但是还是利用了“this”作为互斥的 mutex,没有真正意义上的改进。

private static class SynchronizedMap<K,V>implements Map<K,V>, Serializable {private final Map<K,V> m;     // Backing Mapfinal Object      mutex;        // Object on which to synchronize// …public int size() {synchronized (mutex) {return m.size();}}// …
}

所以,Hashtable 或者同步包装版本,都只是适合在非高度并发的场景下。

ConcurrentHashMap 分析

早期 ConcurrentHashMap,JDK1.7,其实现是基于:

  • 分离锁,也就是将内部进行分段(Segment),里面则是 HashEntry 的数组,和 HashMap 类似,哈希相同的条目也是以链表形式存放。

  • HashEntry 内部使用 volatile 的 value 字段来保证可见性,也利用了不可变对象的机制以改进利用 Unsafe 提供的底层能力,比如 volatile access,去直接完成部分操作,以最优化性能,毕竟 Unsafe 中的很多操作都是 JVM intrinsic 优化过的。

你可以参考下面这个早期 ConcurrentHashMap 内部结构的示意图,其核心是利用分段设计,在进行并发操作的时候,只需要锁定相应段,这样就有效避免了类似 Hashtable 整体同步的问题,大大提高了性能。

在构造的时候,Segment 的数量由所谓的 concurrentcyLevel 决定,默认是 16,也可以在相应构造函数直接指定。注意,Java 需要它是 2 的幂数值,如果输入是类似 15 这种非幂值,会被自动调整到 16 之类 2 的幂数值。get 操作需要保证的是可见性,所以并没有什么同步逻辑。

public V get(Object key) {Segment<K,V> s; // manually integrate access methods to reduce overheadHashEntry<K,V>[] tab;int h = hash(key.hashCode());// 利用位操作替换普通数学运算long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;// 以 Segment 为单位,进行定位// 利用 Unsafe 直接进行 volatile accessif ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&(tab = s.table) != null) {// 省略
          }return null;}

对于 put 操作,首先是通过二次哈希避免哈希冲突,然后以 Unsafe 调用方式,直接获取相应的 Segment,然后进行线程安全的 put 操作:

 public V put(K key, V value) {Segment<K,V> s;if (value == null)throw new NullPointerException();// 二次哈希,以保证数据的分散性,避免哈希冲突int hash = hash(key.hashCode());int j = (hash >>> segmentShift) & segmentMask;if ((s = (Segment<K,V>)UNSAFE.getObject          // nonvolatile; recheck(segments, (j << SSHIFT) + SBASE)) == null) //  in ensureSegments = ensureSegment(j);return s.put(key, hash, value, false);}

其核心逻辑实现在下面的内部方法中:

final V put(K key, int hash, V value, boolean onlyIfAbsent) {// scanAndLockForPut 会去查找是否有 key 相同 Node// 无论如何,确保获取锁HashEntry<K,V> node = tryLock() ? null :scanAndLockForPut(key, hash, value);V oldValue;try {HashEntry<K,V>[] tab = table;int index = (tab.length - 1) & hash;HashEntry<K,V> first = entryAt(tab, index);for (HashEntry<K,V> e = first;;) {if (e != null) {K k;// 更新已有 value...
                    }else {// 放置 HashEntry 到特定位置,如果超过阈值,进行 rehash// ...
                    }}} finally {unlock();}return oldValue;}

所以,从上面的源码清晰的看出,在进行并发写操作时:

  • ConcurrentHashMap 会获取可重入锁,以保证数据一致性,Segment 本身就是基于 ReentrantLock 的扩展实现,所以,在并发修改期间,相应 Segment 是被锁定的。

  • 在最初阶段,进行重复性的扫描,以确定相应 key 值是否已经在数组里面,进而决定是更新还是放置操作。重复扫描、检测冲突是 ConcurrentHashMap 的常见技巧。

  • ConcurrentHashMap 中同样存在扩容。不过与HashMap有一个明显区别,就是它进行的不是整体的扩容,而是单独对 某个Segment中的数组 进行扩容。

另外一个 Map 的 size 方法同样需要关注,它的实现涉及分离锁的一个副作用。

试想,如果不进行同步,简单的计算所有 Segment 的总值,可能会因为并发 put,导致结果不准确,但是直接锁定所有 Segment 进行计算,就会变得非常昂贵。其实,分离锁也限制了 Map 的初始化等操作。

所以,ConcurrentHashMap 的实现是通过重试机制(RETRIES_BEFORE_LOCK,指定重试次数 2)来试图获得可靠值。如果没有监控到发生变化(通过对比 Segment.modCount),就直接返回,否则获取锁进行操作。

JDK1.7对ConcurrentHashMap的详细分析:

http://www.cnblogs.com/ITtangtang/p/3948786.html    (jdk1.7  比较详细的介绍)

https://blog.csdn.net/zlfprogram/article/details/77524326

获取锁时,并不直接使用lock来获取,因为该方法获取锁失败时会挂起(可重入锁)。事实上,它使用了自旋锁(CAS),如果tryLock获取锁失败,说明锁被其它线程占用,此时通过循环再次以tryLock的方式申请锁。如果在循环过程中该Key所对应的链表头被修改,则重置retry次数。如果retry次数超过一定值,则使用lock方法申请锁。

这里使用自旋锁(CAS)是因为自旋锁的效率比较高,但是它消耗CPU资源比较多,因此在自旋次数超过阈值时切换为互斥锁。

ConcurrentHashMap完全允许多个读操作并发进行,读操作并不需要加锁。如果使用传统的技术,如HashMap中的实现,如果允许可以在hash链的中间添加或删除元素,读操作不加锁将得到不一致的数据。ConcurrentHashMap实现技术是保证HashEntry几乎是不可变的。HashEntry代表每个hash链中的一个节点,其结构如下所示:
 static final class HashEntry<K,V> {  final K key;  final int hash;  volatile V value;  final HashEntry<K,V> next;  } 

可以看到除了value不是final的,其它值都是final的,这意味着不能从hash链的中间或尾部添加或删除节点,因为这需要修改next 引用值,所有的节点的修改只能从头部开始。对于put操作,可以一律添加到Hash链的头部。但是对于remove操作,可能需要从中间删除一个节点,这就需要将要删除节点的前面所有节点整个复制一遍(复制后的节点顺序会变,因为是从旧节点头部开始往后复制,并且是头插法),最后一个节点指向要删除结点的下一个结点,删除节点后面的结点不需要复制,它们可以重用。为了确保读操作能够看到最新的值,将value设置成volatile,这避免了加锁。

ConcurrentHashMap的一些特点:

1、public V get(Object key)不涉及到锁,也就是说获得对象时没有使用锁;(CopyOnWrite读的时候也是不需要加锁的)

2、put、remove方法要使用锁,但并不一定有锁争用,原因在于ConcurrentHashMap将缓存的变量分到多个Segment,每个Segment上有一个锁,只要多个线程访问的不是一个Segment就没有锁争用,就没有堵塞,各线程用各自的锁,ConcurrentHashMap缺省情况下生成16个Segment,也就是允许16个线程并发的更新而尽量没有锁争用;(CopyOnWrite写的时候需要加可重入锁)

3、Iterator对象的使用,不一定是和其它更新线程同步,获得的对象可能是更新前的对象,ConcurrentHashMap允许一边更新、一边遍历,也就是说在Iterator对象遍历的时候,ConcurrentHashMap也可以进行remove,put操作,且遍历的数据会随着remove,put操作产出变化,所以希望遍历到当前全部数据的话,要么以ConcurrentHashMap变量为锁进行同步(synchronized该变量),以整个ConcurrentHashMap为获取锁的对象,要么使用CopiedIterator包装iterator,使其拷贝当前集合的全部数据,但是这样生成的iterator不可以进行remove操作。

在 Java 8 中,ConcurrentHashMap 的变化:

1.8中放弃了Segment臃肿的设计,取而代之的是采用Node + CAS + Synchronized来保证并发安全进行实现

  • 总体结构上,它的内部存储变得和HashMap 结构非常相似,同样是大的桶(bucket)数组,然后内部也是一个个所谓的链表结构(bin),同步的粒度要更细致一些。1.8以后的锁的颗粒度,是加在链表头上的,这个是个思路上的突破。

  • 其内部仍然有 Segment 定义,但仅仅是为了保证序列化时的兼容性而已,不再有任何结构上的用处。

  • 因为不再使用 Segment,初始化操作大大简化,修改为 lazy-load(延迟初始化) 形式,这样可以有效避免初始开销,解决了老版本很多人抱怨的这一点。

  • 数据存储利用 volatile 来保证可见性。

  • 使用 CAS 等操作,在特定场景进行无锁并发操作。

  • 使用 Unsafe、LongAdder 之类底层手段,进行极端情况的优化。

先看看现在的数据存储内部实现,我们可以发现 Key 是 final 的,因为在生命周期中,一个条目的 Key 发生变化是不可能的;与此同时 val,则声明为 volatile,以保证可见性。

static class Node<K,V> implements Map.Entry<K,V> {final int hash;final K key;  // key基本不会变volatile V val;  // val需要保证可见性volatile Node<K,V> next;// … }

并发的 put :

当执行put方法插入数据时,根据key的hash值,在Node数组中找到相应的位置

1、如果相应位置的Node还未初始化,则通过CAS插入相应的数据;

2、如果相应位置的Node不为空,且当前该节点不处于移动状态,则对该头节点加synchronized锁,如果该节点的hash不小于0,则遍历链表更新节点或插入新节点;

3、如果该节点是TreeBin类型的节点,说明是红黑树结构,则通过putTreeVal方法往红黑树中插入节点;

4、如果binCount不为0,说明put操作对数据产生了影响,如果当前链表的个数达到8个,则通过treeifyBin方法转化为红黑树,如果oldVal不为空,说明是一次更新操作,没有对元素个数产生影响,则直接返回旧值;

5、如果插入的是一个新节点,则执行addCount()方法尝试更新元素个数baseCount;1.8中使用一个volatile类型的变量baseCount记录元素的个数,当插入新数据或则删除数据时,会通过addCount()方法更新baseCount

final V putVal(K key, V value, boolean onlyIfAbsent) { if (key == null || value == null) throw new NullPointerException();int hash = spread(key.hashCode());int binCount = 0; // 链表长度for (Node<K,V>[] tab = table;;) {Node<K,V> f; int n, i, fh; K fk; V fv;if (tab == null || (n = tab.length) == 0)tab = initTable(); else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) { // f为链表第一个节点,即在数组中的元素// 利用 CAS 去进行无锁线程安全操作,如果 bin 是空的if (casTabAt(tab, i, null, new Node<K,V>(hash, key, value)))break; }else if ((fh = f.hash) == MOVED)tab = helpTransfer(tab, f);else if (onlyIfAbsent // 不加锁,进行检查&& fh == hash&& ((fk = f.key) == key || (fk != null && key.equals(fk)))&& (fv = f.val) != null)return fv;else {V oldVal = null;synchronized (f) { // 对链表头节点加锁,即数组中的那个元素加锁// 细粒度的同步修改操作...
                }}if (binCount != 0) {if (binCount >= TREEIFY_THRESHOLD) //Bin链表超过阀值,树化treeifyBin(tab, i);if (oldVal != null)return oldVal;break;}}}addCount(1L, binCount);return null;
}

初始化操作实现在 initTable 里面,这是一个典型的 CAS 使用场景,利用 volatile 的 sizeCtl 作为互斥手段:如果发现竞争性的初始化,就 spin 在那里,等待条件恢复;否则利用 CAS 设置排他标志。如果成功则进行初始化;否则重试。

private final Node<K,V>[] initTable() {Node<K,V>[] tab; int sc;while ((tab = table) == null || tab.length == 0) {// 如果发现冲突,进行 spin 等待if ((sc = sizeCtl) < 0)Thread.yield(); // CAS 成功返回 true,则进入真正的初始化逻辑else if (U.compareAndSetInt(this, SIZECTL, sc, -1)) {try {if ((tab = table) == null || tab.length == 0) {int n = (sc > 0) ? sc : DEFAULT_CAPACITY;Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];table = tab = nt;sc = n - (n >>> 2);}} finally {sizeCtl = sc;}break;}}return tab;
}

当 bin 为空时,同样是没有必要锁定,也是以 CAS 操作去放置。

你有没有注意到,在同步逻辑上,它使用的是 synchronized,而不是通常建议的 ReentrantLock 之类,这是为什么呢?现代 JDK 中,synchronized 已经被不断优化,可以不再过分担心性能差异,另外,相比于 ReentrantLock,它可以减少内存消耗,这是个非常大的优势。

与此同时,更多细节实现通过使用 Unsafe 进行了优化,例如 tabAt 就是直接利用 getObjectAcquire,避免间接调用的开销。

static final <K,V> Node<K,V> tabAt(Node<K,V>[] tab, int i) {return (Node<K,V>)U.getObjectAcquire(tab, ((long)i << ASHIFT) + ABASE);
}

如何实现 size 操作的,真正的逻辑是在 sumCount 方法中

final long sumCount() {CounterCell[] as = counterCells; CounterCell a;long sum = baseCount;if (as != null) {for (int i = 0; i < as.length; ++i) {if ((a = as[i]) != null)sum += a.value;}}return sum;
}

我们发现,虽然思路仍然和以前类似,都是分而治之的进行计数,然后求和处理,但实现却基于一个奇怪的 CounterCell。 难道它的数值,就更加准确吗?数据一致性是怎么保证的?

static final class CounterCell {volatile long value;CounterCell(long x) { value = x; }
}

其实,对于 CounterCell 的操作,是基于 java.util.concurrent.atomic.LongAdder 进行的,是一种 JVM 利用空间换取更高效率的方法。这个东西非常小众,大多数情况下,建议还是使用 AtomicLong,足以满足绝大部分应用的性能需求。

size实现

JDK1.8中使用一个volatile类型的变量baseCount记录元素的个数,当插入新数据或则删除数据时,会通过addCount()方法更新baseCount

1、初始化时counterCells为空,在并发量很高时,如果存在两个线程同时执行CAS修改baseCount值,则失败的线程会继续执行方法体中的逻辑,使用CounterCell记录元素个数的变化;

2、如果CounterCell数组counterCells为空,调用fullAddCount()方法进行初始化,并插入对应的记录数,通过CAS设置cellsBusy字段,只有设置成功的线程才能初始化CounterCell数组

3、如果通过CAS设置cellsBusy字段失败的话,则继续尝试通过CAS修改baseCount字段,如果修改baseCount字段成功的话,就退出循环,否则继续循环插入CounterCell对象;

所以在1.8中的size实现比1.7简单多,因为元素个数保存baseCount中,部分元素的变化个数保存在CounterCell数组中。通过累加baseCountCounterCell数组中的数量,即可得到元素的总个数

需要注意的一点是,1.8以后的锁的颗粒度,是加在链表头上的,这个是个思路上的突破。

ConcurrentHashMap1.7与1.8的不同实现:http://www.importnew.com/23610.html

自旋锁个人理解的是CAS的一种应用方式。并发包中的原子类是典型的应用。
偏向锁个人理解的是获取锁的优化。在ReentrantLock中用于实现已获取完锁的的线程重入问题。偏向锁,侧重是低竞争场景的优化,去掉可能不必要的同步

从1.5有并发包,到1.6对synchronized的改进,到1.7的并发map的分段锁(segment是可重入锁ReentrantLock),再到1.8的cas(链表头为空)+synchronized(链表头不为空,对链表头加锁)。

jdk8就相当于把segment分段锁更细粒度了(去掉了segment),每个数组元素(链表头节点)就是原来一个segment,那并发度就由原来segment数变为数组长度了,而且用到了cas乐观锁,所以能支持更高的并发。

转载于:https://www.cnblogs.com/xuan5301215/p/9100182.html

10、并发容器,ConcurrentHashMap相关推荐

  1. JDK1.7和JDK1.8中HashMap是线程不安全的,并发容器ConcurrentHashMap模型

    一.HashMap是线程不安全的 前言 只要是对于集合有一定了解的一定都知道HashMap是线程不安全的,我们应该使用ConcurrentHashMap.但是为什么HashMap是线程不安全的呢,之前 ...

  2. Java并发编程之并发容器ConcurrentHashMap(JDK1.7)解析

    最近看了一下ConcurrentHashMap的相关代码,感觉JDK1.7和JDK1.8差别挺大的,这次先看下JDK1.7是怎么实现的吧 哈希(hash) 先了解一下啥是哈希(网上有很多介绍),是一种 ...

  3. JAVA并发容器-ConcurrentHashMap 1.7和1.8 源码解析

    HashMap是一个线程不安全的类,在并发情况下会产生很多问题,详情可以参考HashMap 源码解析:HashTable是线程安全的类,但是它使用的是synchronized来保证线程安全,线程竞争激 ...

  4. 并发容器——ConcurrentHashMap

    ConcurreentHashMap的实现原理与使用 ConcurrentHashMap是线程安全且高效的HashMap. 为什么要使用ConcurrentHashMap 在并发编程中使用HashMa ...

  5. Java并发编程之并发容器ConcurrentHashMap(JDK1.8)解析

    这个版本ConcurrentHashMap难度提升了很多,就简单的谈一下常用的方法就好了,可能有些讲的不太清楚,麻烦发现的大佬指正一下 主要数据结构 1.8将Segment取消了,保留了table数组 ...

  6. Java容器有哪些?哪些是同步容器,哪些是并发容器?

    Java容器有哪些?哪些是同步容器,哪些是并发容器? 一.基本概念 容器集 同步容器 并发容器 二.Collection集合接口 List接口 LinkedList类 ArrayList类 Vecto ...

  7. Java并发(9)- 从同步容器到并发容器

    引言 容器是Java基础类库中使用频率最高的一部分,Java集合包中提供了大量的容器类来帮组我们简化开发,我前面的文章中对Java集合包中的关键容器进行过一个系列的分析,但这些集合类都是非线程安全的, ...

  8. JUC:ConcurrentHashMap(并发容器)

    JUC:ConcurrentHashMap(并发容器) 关键词 synchronized:并发度,头节点加锁:cas:初始化竞争 / transferIndex多线程扩容进度 sizeCtl(Hash ...

  9. 并发容器CopyOnWriteArrayList

    2019独角兽企业重金招聘Python工程师标准>>> Copy-On-Write简称COW,是一种用于程序设计中的优化策略.其基本思路是,从一开始大家都在共享同一个内容,当某个人想 ...

最新文章

  1. BAT携手清华、复旦、上交齐聚杭州, 和500名开发者干点啥?
  2. 3W 字的 Spring Boot 超详细总结
  3. 驱动阿里云的高性能网络引擎- 飞天洛神
  4. Django 无法添加新字段,django.db.utils.OperationalError: (1050, Table app already exists)
  5. python小程序-整理了适合新手的20个Python练手小程序
  6. 【SQL进阶】03.执行计划之旅1 - 初探
  7. 深度模型的起跑线,初始化的意义
  8. 好吧,又是两分钟看完一道投机取巧的算法题
  9. 前端小知识点(9):函数和对象之间的关系
  10. WPF自定义控件 —— 装饰器
  11. gtj2018如何生成工程量报表_土建软件GTJ2018中的十个问题及解决方法
  12. c语言按照姓名查询员工信息,输入10个职工信息,按号码大小排序,再使用查找函数找职工的姓…...
  13. 小朋友报数(约瑟夫问题)
  14. 冲刺七天----03
  15. 181110每日一句
  16. 终端模拟器免ROOT安装Linux,【全机型通用】不用电脑,用终端模拟器刷入第三方Recovery...
  17. 漂亮好听的蓝牙小音箱,真是郊游好玩伴,Sanag M11体验
  18. 【MySQL 8】MySQL 5.7都即将停只维护了,是时候学习一波MySQL 8了
  19. PS抠发丝技巧 「选择并遮住…」
  20. 微处理器和由微型计算机构成,微处理器的组成

热门文章

  1. 贪心算法 -- 最小延迟调度
  2. 【CodeForces - 670D1 】Magic Powder - 1 (模拟 或 枚举 或二分优化)
  3. 动手学PaddlePaddle(5):迁移学习
  4. 《TCP/IP详解》学习笔记(一):基本概念
  5. centos web 访问mysql_Centos7安装Web服务器--Mysql5.7.12安装
  6. 投票抵制华为鸿蒙系统,网友投票华为十大技术:鸿蒙OS仅排第二!
  7. 买iphone不买android,为何宁可用4年前的苹果6s,也不买两三千的安卓呢?理由很真实...
  8. linux网络编程之广播详细代码及文档说明 -,Linux网络编程之广播
  9. Maven+Tomcat的热部署方案
  10. Java 的内存管理机制是怎样的?