caffeine 4hash lfu频度记录

在caffeine中的lfu通过一个long array来记录各个数据的被访问次数，每个被访问到的元素都将被通过4次不同的hash seed来计算位置，分别记录四次，以便达到最小的hash冲突可能性。

因此，long array的每个槽位中的64位空间，出于频度记录需要与空间的平衡，64位被分为4个16位的空间，而16位的空间又将都将被分为4个4位空间区域分别记录4个hash seed的结果。

static final long[] SEED = new long[] {0xc3a5c85c97cb3127L, 0xb492b66fbe98f273L, 0x9ae16a3b2f90404fL, 0xcbf29ce484222325L};

四次的hash seed是几种知名hash算法的混合，包含fnv-1a，cityhash，murmur3.

当一个元素被访问的时候，将尝试通过increment()方法，增加一次访问次数。

public void increment(@Nonnull E e) {if (isNotInitialized()) {return;}int hash = spread(e.hashCode());int start = (hash & 3) << 2;// Loop unrolling improves throughput by 5m ops/sint index0 = indexOf(hash, 0);int index1 = indexOf(hash, 1);int index2 = indexOf(hash, 2);int index3 = indexOf(hash, 3);boolean added = incrementAt(index0, start);added |= incrementAt(index1, start + 1);added |= incrementAt(index2, start + 2);added |= incrementAt(index3, start + 3);if (added && (++size == sampleSize)) {reset();}
}

以上是increment()方法的全貌。首先，在通过spread()方法增强了原生hash方法返回的hash code之后，将会通过与3相与的结果，定位其结果具体的存在位置（结果为0到3）并左移2位。

之后，通过indexOf()方法，分别根据上述的4个hash seed，定位到long array上的具体的位置。

int indexOf(int item, int i) {long hash = SEED[i] * item;hash += hash >> 32;return ((int) hash) & tableMask;
}

在确认到具体的long槽位上之后，继续通过incrementAt()方法定位到long槽位上的具体位置上。

boolean incrementAt(int i, int j) {int offset = j << 2;long mask = (0xfL << offset);if ((table[i] & mask) != mask) {table[i] += (1L << offset);return true;}return false;
}

前文提到，在该方案下的最小空间是一段4位的空间，那么可以想到，4位空间可以得到的最大大小是15，因此在此处的代码也可以看到，当所要存放的空间大于15的时候就不会再增加，否则，就在原先空间的基础上增加1。

由此，可以举个例子，以大小32的long array为例子，某个key得到的hash code可能在4个seed的下分别落在long array的四个位置，举例，四个seed的结果分别落在1,2,3,4上，之后将hash code与3相与，得到一个不大于3的位置，假设这个位置为1，那么第一个hash seed的结果将会存放在long array上的1槽位的16位上，第二个结果将会存放到2槽位的20位上，第三个结果将会存放到3槽位的24位上，第二个结果将会存放到4槽位的28位上。这样，能够尽可能的保证hash冲突的概率到最低。

（如果四个位置都已经被填满到15，会将整体数组中的频数减半）

那么如何在需要得到指定key的被访问次数的时候在这个long array上获取呢。

public int frequency(@Nonnull E e) {if (isNotInitialized()) {return 0;}int hash = spread(e.hashCode());int start = (hash & 3) << 2;int frequency = Integer.MAX_VALUE;for (int i = 0; i < 4; i++) {int index = indexOf(hash, i);int count = (int) ((table[index] >>> ((start + i) << 2)) & 0xfL);frequency = Math.min(frequency, count);}return frequency;
}

定位方式还是和前文一样，但是最终返回的结果则是四个seed结果的最小值，这样，当其中一个hash seed冲突后，能够保证不会影响到最后的结果。

caffeine 4hash lfu频度记录相关推荐

Caffeine Cache~高性能 Java 本地缓存之王
前面刚说到Guava Cache,他的优点是封装了get,put操作:提供线程安全的缓存操作:提供过期策略:提供回收策略:缓存监控.当缓存的数据超过最大值时,使用LRU算法替换.这一篇我们将要谈到一个 ...
来自未来的缓存 Caffeine，带你揭开它的神秘面纱
作者 | Garnett 来源 | Garnett的Java之路(ID:gh_009246af52d4) 头图 | CSDN 下载自东方IC caffeine是什么,它和redis什么区别,有哪些作 ...
Caffeine （史上最全）
文章很长,建议收藏起来,慢慢读! 备注:持续更新中- 疯狂创客圈经典图书 : <Netty Zookeeper Redis 高并发实战> 面试必备 + 大厂必备 + 涨薪必备疯狂创客圈 ...
本地缓存框架：Caffeine Cache
1. Caffine Cache 在算法上的优点-W-TinyLFU 说到优化,Caffine Cache到底优化了什么呢?我们刚提到过LRU,常见的缓存淘汰算法还有FIFO,LFU: 1.FIFO: ...
本地缓存—Caffeine Cache
文章目录缓存淘汰策略 FIFO 优点局限性 LRU 优点局限性 LFU 优点局限性 W-TinyLFU 维护频率 CountMin Sketch 支持随时间变化的访问模式-分段LRU(SLRU ...
Google guava第一讲：guava缓存实战/使用场景/缓存清理/最佳实践/caffeine实战
Guava缓存实战及使用场景摘要:本文是Google guava 第一件,本文先介绍了为什么使用Guava Cache缓存,然后讲解了使用方法及底层数据结构,结合实际业务,讲解使用guava过程中踩 ...
LRU . LFU 和 LRU-K 的解释与区别
LFU和LRU算法的不同之处: LRU的淘汰规则是基于访问时间, 而LFU是基于访问次数的. LRU-K 是LFU与LRU的综合版本比如,LRU时期T为10分钟,如果每分钟进行一次调页,主存块为3 ...
caffeine java_详细介绍高性能Java缓存库Caffeine
1.介绍在本文中,我们来看看Caffeine- 一个高性能的 Java 缓存库. 缓存和 Map 之间的一个根本区别在于缓存可以回收存储的 item. 回收策略为在指定时间删除哪些对象.此策略直接影 ...
看完这部缓存进化史，还不懂缓存，请给我差评
作者:咖啡拿铁,现就职于美团点评,后端研发来自:公众号咖啡拿铁(ID:code_3092860495) 1 背景本文是上周去技术沙龙听了一下爱奇艺的Java缓存之路有感写出来的.先简单介绍一下爱奇 ...

caffeine 4hash lfu频度记录

caffeine 4hash lfu频度记录相关推荐

最新文章

热门文章