高性能本地缓存Ristretto(三)—

之前提到过，缓存即存储和淘汰策略。一个好的淘汰策略，对于提升命中率起着至关重要的作用。一般常用的淘汰策略有，LRU、LFU、TinyLFU以及Window-TinyLFU (讲解LRU、LFU、TinyLFU缓存算法)文中有详尽的讲解。而ristretto采用了一种将SampledLFU 与 TinyLFU相结合的策略。

淘汰策略解决了什么问题

对于一个需要加入缓存的数据，假如存储空间没有满，则正常加入；若空间已满，则要考虑该数据是否值得缓存，如果不值得缓存则拒绝；否则，要通过删除其他数据为其腾出空间。

以上过程中，存在着两个问题：1. 怎么判断一个数据是否值得加入缓存？2. 如果要淘汰部分数据，具体怎么决定淘汰哪些数据？

怎么判断一个数据是否值得加入缓存？

对于这个问题，最直观的想法肯定是，被访问的次数的越多，越值得缓存。

如果两个数据A和B，但是只能缓存一个数据，在一段时间内A被访问了10次，B只被访问1次，毫无疑问会缓存A。

假如，有10个空间，但其中都存满的数据，现在新来了一个数据A(被访问5次)，怎么判断他是不是值得被缓存呢？显然，我们只要依次将空间中10个数据被访问的次数，与数据A比较，如果发现被访问次数都比A高，则拒绝A进入缓存是非常合理的。

但是，一般缓存中存的绝不是仅有10个数据，可能是成千上万的数据，我们也需要都遍历一遍吗？显然，SampledLFU就是解决这个问题的。Sampled意为采样，SampledLFU从众多数据中随机的选取部分数据，并将待缓存的数据与这些数据做比较，如果发现采样到的数据的被访问次数都大于待缓存数据被访问的次数，则认为该数据不值得被缓存。

还是上面的例子，还是上面的10个数据，现在不需要全部比较，只需要随机的选择三个数据（假如选到了f，i，k），通过比较发现，被访问次数都A（5次）高，则最终认为A不值得被缓存。

我想到了一个更形象生动的例子：假如你是一位将军，手握雄兵一万，某天张三(战斗力250点)来投靠你，你随机挑了5个人，都能把张三干倒，你说你收不收张三？肯定让他回家。

怎么决定淘汰哪些数据？

如果能把第一个问题搞清楚，这个问题就非常简单了。

还是这个例子，现在在存储空间中，还是有如下的数据：

现在新来了一个数据Q(被访问了11次)，随机选择的三个数据(b，c，f)，则通过比较后发现，f小于11且被访问次数是三个之中最少的，则淘汰掉f并将Q加入，这样就完成了，是不是很简单？

有人问那g怎么办，他是8次，为啥不淘汰掉他，对此只能说他运气好，不过在频繁写入的情况下，他如果不再被访问，始终是8，那早晚会被淘汰。

淘汰策略具体的实现方式

对于一个key，是否值得加入缓存，ristertto有如下的实现方式：

淘汰数据的实现方式如下图：

TinyLFU的作用

刚才花了很多篇幅讲述SampledLFU的实现原理与具体实现方式，但是没有讲到TinyLFU具体干了啥。其实，我们一直在将获取一个key被访问的次数，那怎么获取呢？或者说，怎么记录一个key被访问了多少次呢？这就依靠TinyLFU来实现。至于具体的实现方式，这里推荐一篇文章讲解LRU、LFU、TinyLFU缓存算法，文中已经写的很详细了，这里就不再赘述了。