Bloomier filter简介

bloom filter作为一种近似的集合成员查询结构，最早由1970的论文 “Space/time trade-offs in hash coding with allowable errors” 提出，其动机在于用紧凑的空间简洁地表示一个集合，同时有较高的查询效率，代价则是有一定的误报率。随着大数据时代的来临，海量数据对存储空间提出了更高的要求，在存储资源非常珍贵并且可容忍一定假阳性率的场合，bloom filter这一简洁高效的数据结构大放异彩，被广泛地应用于网络路由、数据库、存储系统、流数据处理等领域中。针对于不同的特性和应用场景，bloom filter有高达几十种变体，同时催生了cuckoo filter、quotient filter等同类型的数据结构。本文旨在介绍bloom filter的其中一种变体bloomier filter。

1. 基本原理

bloom filter旨在回答 [某一个元素是否存在]，至于元素本身是什么它并不知道。而bloomier filter的动机则是存储一个函数值，即（key，value）中的value，目的是给定一个key，从bloomier filter中可以快速查找到它对应的value值，当然也存在一定的false positive。它确保了无冲突哈希（每一个哈希位置只会对应一个value）和常数时间的查询开销。实际上，bloomier filter是传统哈希表的一种改进：传统哈希表在存储value时，存在一定的冲突率，虽然可以用链式结构来存储冲突元素的value，如图1，但这增加了查询开销；而bloomier filter实际上是寻求构建一种perfect hashing方案，使得每一个位置最多只会存储一个value，并通过hash(key)和异或操作能够取出这个value，实现常数查询时间，如图2，取2、5、8三个位置的值即可达到data，即要存储的value。

图1 hash table	图2 bloomier filter基本原理

2. 构建过程

bloomier filter名为filter，实则不只是实现了filter的功能，它构建了一个由m个cell组成的table，每个cell为q位。假设要表示的key属于集合S，而S属于D，key和value之间满足：若key属于S，则value包含于R (R的范围为1~2^r-1,即r bits可以表示的范围，r<q)。其构建总体分为两步：1）确定插入位置和次序；2）根据位置和次序依次插入建立hash table。

2.1 确定插入位次

这一步骤的目的是在插入元素之前，找到一种插入方案，使得每个元素独自占有一个更新位置，即不与其他元素冲突。bloomier filter提出的策略是：每次找出只被一个元素参考的位置，将其设置为该元素的更新位置，并将其位次设为最后，那么所有在该元素之后确定更新位置的元素一定不会与其冲突。图3所示为确定插入位次的具体过程。A,B,C,D为四个key，f记为对应的value，也就是要存储的对象。M为额外设置的一个值（目的是减小false positive），neighborhood为key对应的k个哈希值，也就是key的k个参考位置（这里取k=4），最后两列分别为每个key的具体更新位置和次序。具体过程为：如图3.1，在A,B,C,D的所有参考位置中，2出现了一次，所以首先确定D的更新位置为2，其次序为最后，即4，然后去掉D对应的参考位置2、3、8、7，发现只有7出现一次，于是设置A更新位置和次序分别为7，3；依次类推，最后的位次设置如图3.2。

图3.1 开始插入	图3.2 插入结束

2.2 建立完美hash table

按照上一步确立的插入位置和次序，依次插入key对应的value，即可保证无冲突。然而，并不能将value直接存放在table中：在查询时，我们并不知道key对应的value的具体更新位置，而是只知道k个参考位置（hash计算得到），这样便不能确定那个位置的值才是正确的值。因此，bloomier filter利用k个参考位置取异或来得到value，具体操作如图4：首先插入B到3号位置，实际插入的值为f(B)、M(B)以及各个参考位置的值求异或；按此方法依次插入，直至结束，如图4.2。如此，在查询时，就可以通过这一存储的值和M(B)以及各个参考位置的值求异或得到f。这正是异或操作的巧妙之处。

图4.1 插入B	图4.2 插入结束

3. false positive和可变table

bloomier filter的false positve源于key和value的映射关系: 若key包含于S，则查询返回值一定包含于R; 若key不包含于S，即key包含于D-S, 那么有一定的概率查询得到的值也包含于R。由于每个cell为q bits，而R的范围由r bits的非负整数表示，故false positve为2^(r-q)。此外，为了应对value可变的场景，bloomier filter也可建立可变table：最终共建立两个表，表1如上所述，只是具体存储的是key对应的更新位置，表2则在对应位置存储value，查询时根据表1得到存储位置，然后根据表2得到value，因此value可任意改变。
当然, false positive在构建位次表时也会出现失败的情况，但概率很小。

参考文献

The Bloomier Filter: An Efficient Data Structure for Static Support Lookup Tables（原文）
[Bloomier Filter] https://marco79423.net/articles/bloomier-filter/link
[bloom filter] https://www.cnblogs.com/liyulong1982/p/6013002.html link