CMU 15-445/645-Note4-执行篇-Sort

0.写在前面

based on CMU 15-445/645 2020fall, Lecture #10.
在关系型数据库中，我们通过声明式(Declarative)的语言SQL暴露统一的接口，屏蔽底层的实现。
SQL语句在底层是通过执行器来进行执行的。

1:数据库中的算法-Sort

面向磁盘的数据库的主要特征就是其数据不能全部装入内存(如果能够全部装入内存，很多排序算法都可能应用)，这时候我们需要溢出到磁盘的外部排序。
order by、建立索引、去重(DISTINCT)等等操作都需要Sort算法的支持。

1.1外部排序

在所有的排序算法中，归并排序思想是最适合外部排序的:
1)将数据分为多个块，对每个块排序（每个块都能装入内存）
2)将多个块合并

假设总的数据大小为 N N N，BufferPool的大小为 B B B，具体的流程如下：

pass #0：首先我们可以将数据分为 N B \frac{N}{B} BN个block，即每次读 B B B 个page的数据进入内存排序。
pass #k：递归合并 B − 1 B-1 B−1 个block数据（B个BufferPool中有需要需要写，剩下的是读）。
来看一个二路归并排序的例子：

优化：如果有B+树索引，可以利用B+树索引中的元素了，因为B+树是有序的(这种方法比外部排序要好，因为它没有额外的计算。不需要进行sort、归并，而且所有的磁盘访问都是顺序的)。但这只限定聚簇索引，如果非聚簇索引可能会导致更多page I/O，最坏时可能每个record都要一次I/O。

2:数据库中的算法-Aggregation

Aggregation 包括sum/min/max/avg等操作。需要对一组tuple进行统计，所以在aggregations时需要将相同的tuple放到一起（group by）。
其实现方案有两种，Sorting和Hash。

2.1 Sorting

首先对GROUP BY键上的元组进行排序。如果内存足够，则放入缓冲池,使用内存排序算法（例如，快速排序），如果数据大小超过内存，外部合并排序算法。
排序之后相同的元素就会在排在一起。这样就可以去除冗余元素。

2.2 Hash

但是如果我们不要求数据是有序的，hashing会一个更好的选择。

假设我们有 B B B 个buffer Pools。其中 B − 1 B - 1 B−1个Buffer Pools用来partitions而1个Buffer Pool用来存储输出data。
阶段＃1：分区
使用散列函数h1将元组拆分为基于目标散列键的磁盘上的分区。这会将匹配的所有元组放入同一个分区。 DBMS通过输出缓冲区将分区溢出到磁盘。

阶段＃2：ReHash
对于磁盘上的每个分区，将其页面读入内存并基于第二个散列函数h2（其中h1 != h2）构建内存中的散列表。然后遍历此哈希表的每个桶，将匹配的元组汇集在一起以计算聚合。
请注意，这假设每个分区都适合内存。

参考：
链接：https://www.jianshu.com/p/eb7cfa57602f
https://www.cnblogs.com/JayL-zxl/p/14432559.html