opIndex多级索引笔记

本文是论文An Efficient Publish / Subscribe Index for E-Commerce Databases的阅读笔记。

Pub/Sub系统

这篇文章提出了一个多级索引解决方案，用于解决Publish / Subscribe系统的索引问题。其中，Publisher是内容的生产者，可以产生一系列消息，Subscriber是内容订阅者，捞出感兴趣的消息。这个系统假设订阅者的数量很大，所以来一个消息，快速找出哪些订阅者会感兴趣，就需要索引。Pub / Sub可以理解成数据库，pub发布一个query，符合条件的sub就跳出来称为返回结果。在广告系统中，可用于快速从广告池里召回符合定向条件的广告。

需求

假设Pub / Sub系统的消息可以用DNF,CNF表示，那我们只需要考虑布尔表达式。论文中定义了以下常用术语：

术语	说明	广告系统用例
predicate	断言，bool表达式	定向条件，e.g. 年龄=18
subscription	合取范式或析取范式	广告，e.g. 男 ^ 30岁 ^ (手机 ^ 30天内购买)
event	合取范式或析取范式	触发请求/查询
A	属性	年龄
fopf_{op}fop	操作符	=
oˉ\bar{o}oˉ	操作数	18

初版

为了简化问题，我们先假设:

操纵符只有三种：=, >=, <=
只考虑析取范式DNF
每个DNF从句只有1种属性

论文中的例子: 以下这6个sub，满足上面3个假设

多级索引----第一级

对数据集(上述6个sub)的属性做频数统计，每个sub选出频数最小的属性作为主属性(pivot attr), 这样全集就被划分成了不相交的子集（倒排链）。来一个event, 遍历它的所有属性，若在pivot set里，则取出对应的倒排链，再做进一步匹配，无关的倒排链被略过。

多级索引----第二级

对于每个主属性得到的sub子集(e.g. 主属性为AAA，对应S1,S2,S4S_1,S_2,S_4S1,S2,S4), 把它们的pred（S1S_1S1 4个, S2S_2S2 2个, S3S_3S3 1个）按op划分（假设只支持=, >=, <=）,属性可排序、操纵数可排序，便得到pred的有序链表，方便之后的链表区间查找
【优化】将属性用segment分筒，属性相同桶相同
【优化】hash(属性,操纵数)或hash(属性)做位签名，签名符合的进一步匹配，签名不符合的直接跳过
有序链表区间查找
每个sub有一个计数器，初始化为sub中pred的数量，匹配一次自减1，等于0时，完全匹配召回

泛化版

假设：操作符依然只有3种: =, >=, <=，但每个从句中属性种数可以>=1
需要的改变：
【泛化】pivot attr变成pivot attr set，最短从句的所有attr作为sub的pivot attr set
【泛化】计数器从int变为bit_map, 位长为从句个数，初始化为全1，匹配一个从句，对应的位上置0，全0时完全匹配，召回