深度好文：一篇Paper带您读懂HTAP | StoneDB学术分享会第①期
在最新一届国际数据库顶级会议 ACM SIGMOD 2022 上，来自清华大学的李国良和张超两位老师发表了一篇论文：《HTAP Database: What is New and What is Next》,并做了 《HTAP Database：A Tutorial》 的专项报告。
本篇文章，我们将系统地梳理一下两位老师的报告，带读者了解 HTAP 的发展现状和未来趋势。
这个报告主体上分为5个章节，分别是：
- 背景介绍。
- HTAP Databases：分享最新的 HTAP 数据库技术，总结它们主要的应用场景与优缺点，并根据存储架构对它们进行分类。
- HTAP Tecniques：介绍主流的 HTAP 数据库关键技术，包括事务处理技术、查询分析技术、数据组织技术、数据同步技术、查询优化技术以及资源调度技术等。
- HTAP Benchmarks：介绍目前现有的主流 HTAP 基准测试。
- Challenges and Open Problems：讨论 HTAP 技术未来的研究方向与挑战。
本文仅作精选分享，会省略一些非必要内容，如想了解更多，请阅读原报告。
背景介绍
Motivation
开头还是一个老生常谈的 HTAP 起源动机问题，这个其实大家看过我们之前的文章《什么是真正的HTAP？背景篇》，也就很清楚了：HTAP（Hybrid Transactional/Analytical Processing）的概念和定义是 Gartner 在 2014 年第一次给出的，注意，这里特别提到了in-memory技术，在其定义中，HTAP 是通过内存计算技术在同一份内存数据上同时支持事务和分析的处理。
如上图所示，左边是传统架构，要做OLAP必须先得把OLTP的数据通过ETL导过去，很麻烦，复杂度高、延迟高、运维难度大，总之一系列水深问题，一般人把握不住。
但是右边的HTAP架构就很酷了，我一个数据库采用行列共存的方式，同时进行事务和分析的处理，So easy，老板再也不用担心我做个BI报表需要“T+1”甚至“T+N”了，数据一进来就能做到实时地分析，没错，这就是我们常说的 Real-Time。
Gartner 预计 HTAP 这个技术将会在 2024 年被需要实时分析的商业应用广泛采用，因为它在很多行业都有应用场景，包括电商、财务、银行和风控等等。这里举两个栗子：
- 在购物节这种高并发的情形下，如果电商卖家能够实时地分析用户行为数据，并根据分析结果针对性地投放品类广告，这无疑会给卖家带来更多的收益。
- 银行在线上处理用户事务时还能实时地分析数据，从而检测判断该用户及其行为是否异常或者存在风险，这会让风控系统更加智能化。
实现上述的应用，HTAP 技术就是不可或缺的基础设施底座。
可以看到，过去10年里，HTAP数据库不断涌现，本篇报告作者这里根据 HTAP 数据库发展时间线梳理成三个阶段：
- 第一阶段（2010-2014）：HTAP 数据库主要是采用主列存（primary column store）的方式。如SAP HANA、HyPer、DB2和BLU等。
- 第二阶段（2014-2020）：HTAP 数据库主要是扩展了以前主行存的技术，在行存上加上了列存。如SQL Server，Oracle和L-store等。
- 第三阶段（2020-present）：HTAP 数据库主要是开启了分布式的架构实现，满足高并发的请求。如SingleStore、MySQL Heatwave和Greenplum等。
PS：StoneDB 属于第三阶段，是具有分布式架构、内存计算和行列混存的HTAP数据库。
在数据库领域，有两个公认的经验法则：
- 行存（Row Store）：比较适合OLTP。
- Row-wise，update-heavy（重更新），short-lived transactions（短时延事务）
- 列存（Column Store）：比较适合OLAP。
- column-wise，read-heavy，bandwidth-intensive queries（带宽敏感查询）
在本篇报告主要研究采用行列共存的HTAP数据库。
A trade-off for HTAP databases
HTAP 数据库也有需要解决的问题，正所谓鱼和熊掌不可兼得，很多时候我们需要找到一个权衡点，既然是权衡，就有天平的两端，在HTAP数据库领域里，主要讨论的是工作负载隔离（Workload isolation） 和 数据新鲜度（Data freshness） 这两个重要特性的权衡。
工作负载隔离，就是指OLTP和OLAP之间的负载隔离程度；数据新鲜度，就是指OLAP到底能读到多新的事务性数据。
从现有的观测数据来看：
- 高的工作负载隔离会导致较低的数据新鲜度
- 低的工作负载隔离会获得较高的数据新鲜度
这里关于Trade-off的相关思考我们之前在对外的分享会上也屡次提及，感兴趣的同学可以前往B站观看我们最近一期的线上Meetup视频：
Challenges for HTAP databases
作者这里提出了HTAP数据库面临的四大挑战，这里也和我们的第二篇文章《什么是真正的HTAP？挑战篇》里的观点不谋而合，可以说完全在我们提出的8点挑战范围之内：
- 挑战一：数据组织（Data Organization）
- 挑战二：数据同步（Data Synchronization）
- 挑战三：查询优化（Query Optimization）
- 挑战四：资源调度（Resource Scheduling）
HTAP 数据库
这一章节主要调研现有 HTAP 数据库的主要架构，作者这里分成了四大架构：
- 主行存储+内存中列存储（Primary Row Store + InMemory Column Store）
- 分布式行存储+列存储副本（Distributed Row Store + Column Store Replica）
- 磁盘行存储+分布式列存储（Disk Row Store + Distributed Column Store）
- 主列存储+增量行存储（Primary Column Store + Delta Row Store）
a.主行存储+内存中列存储
这类 HTAP 数据库利用主行存储作为 OLTP 工作负载的基础，并使用内存列存储处理 OLAP 工作负载。所有数据都保存在主行存储中。行存储也是内存优化的，因此可以有效地处理数据更新。更新也会附加到增量存储中，增量存储将合并到列存储中。例如，Oracle 内存双格式数据库结合了基于行的缓冲区和基于列的内存压缩单元 (IMCU) 来一起处理 OLTP 和 OLAP 工作负载。文件和更改缓存在快照元数据单元 (SMU) 中。另一个例子是 SQL Server，它在 Hekaton 行引擎中的内存表上开发了列存储索引 (CSI)，以实现实时分析处理。这种类型的 HTAP 数据库具有高吞吐量，因为所有工作负载都在内存中处理。
优势：
- TP 吞吐量高
- AP 吞吐量高
- 数据新鲜度高
劣势：
- AP 扩展能力低
- 负载隔离性低
应用：
高吞吐、低扩展（比如需要实时分析的银行系统）
案例研究1：Oracle Dual-Format
- SIMD：单指令多数据
- Max-Min Zone Map
- Vector Group By：向量化
案例研究2：SQL Server
- Persistent Column Store：持久化列存
- Updatable：可更新
总结
b.分布式行存储+列存储副本
此类别依赖于分布式架构来支持 HTAP。主节点在处理事务请求时将日志异步复制到从节点。主存储为行存储，选择一些从节点作为列存储服务器进行查询加速。事务以分布式方式处理以实现高可扩展性；复杂查询在具有列存储的服务器节点中执行。
优势：
- 负载隔离性高
- 扩展性高
劣势：
- 数据新鲜度低
应用：
对TP和AP扩展性要求比较高，同时能够容忍相对较低的数据新鲜度（比如需要实时分析的大规模电商系统）
案例研究：F1 Lightning
总结
c.磁盘行存储+分布式列存储
这种数据库利用基于磁盘的 RDBMS 和分布式内存列存储 (IMCS) 来支持 HTAP。 RDBMS 保留了 OLTP 工作负载的全部容量，并且深度集成了 IMCS 集群以加速查询处理。列数据从行存储中提取，热数据驻留在 IMCS 中，冷数据将被驱逐到磁盘。例如，MySQL Heatwave将 MySQL 数据库与称为 Heatwave 的分布式 IMCS 集群相结合，以实现实时分析。事务在 MySQL 数据库中完全执行。经常访问的列将被加载到 Heatwave。当复杂查询进来时，可以下推到IMCS引擎进行查询加速。
优势：
- 负载隔离性高
- AP吞吐量和扩展性高
劣势：
- 数据新鲜度不高
- Medium（On-premise）：部署在本地，在不同机器上会有数据新鲜度的牺牲
- Low（Cloud-based）：部署在云端，网络延迟会影响数据新鲜度
应用：
对AP扩展性要求比较高，同时能够容忍相对较低的数据新鲜度（比如需要实时分析的IoT应用）
案例研究1：MySQL Heatwave
- Auto-pilot service：自动调优（一些云服务，可以在系统中自动帮客户实现数据分区、查询优化和资源调度等等）
- Auto-Sunc：自动同步（可实现定时定量同步数据）
案例研究2：Oracle RAC
- Auto-Sunc：自动同步（基于阈值的方式）
总结
d.主列存储+增量行存储
此类数据库利用主列存储作为 OLAP 的基础，并使用增量行存储处理 OLTP。内存中的 delta-main HTAP 数据库将整个数据存储在主列存储中。数据更新附加到基于行的增量存储。OLAP 性能很高，因为列存储是高度读取优化的。但是，由于 OLTP 工作负载只有一个增量行存储，因此 OLTP 的可伸缩性很低。一个代表是 SAPHANA 。它将内存中的数据存储分为三层：L1-delta、L2-delta 和 Main。 L1-delta以逐行格式保持数据更新。当达到阈值时，将 L1-delta 中的数据附加到 L2-delta。 L2-delta 将数据转换为列数据，然后将数据合并到主列存储中。最后，将列数据持久化到磁盘存储。
优势：
- 数据新鲜度高
- AP吞吐量高
劣势：
- TP可扩展性不高
- 负载隔离性不高
应用：
高AP吞吐量、高数据新鲜度（比如需要实时分析的风控系统）
案例1：SAP HANA
案例2：Hyper（Column）
总结
四种架构HTAP数据库的对比
HTAP 技术
HTAP的相关技术包括（1）事务处理； (2)分析处理； (3) 数据同步；(4) 查询优化； (5)资源调度。这些关键技术被最先进的 HTAP 数据库采用。然而，它们在各种指标上各有利弊，例如效率、可扩展性和新鲜度等等。
这个部分我们留到下一篇文章再做讨论，欢迎大家关注StoneDB公众号。
StoneDB 已经正式开源，欢迎关注我们
官网：https://stonedb.io/
Github: https://github.com/stoneatom/stonedb
Slack: https://stonedb.slack.com/ssb/redirect#/shared-invite/email
深度好文：一篇Paper带您读懂HTAP | StoneDB学术分享会第①期相关推荐
- 深度干货！一篇Paper带您读懂HTAP | StoneDB学术分享会第①期
在最新一届国际数据库顶级会议 ACM SIGMOD 2022 上,来自清华大学的李国良和张超两位老师发表了一篇论文:<HTAP Database: What is New and What is ...
- 2021中国开源年报发布！一篇报告带你读懂中国开源的2021~
来源|开源社KAIYUANSHE 责编 | 李明康 开源,在2021年,火了,而且是燎原烈火,烧的焮天铄地,可以说是中国开源迅猛发展的元年也不为过.我们看到,在开源领域上,国策的重点扶持.资本的加码青 ...
- DNN、RNN、CNN.…..一文带你读懂这些绕晕人的名词
DNN.RNN.CNN.-..一文带你读懂这些绕晕人的名词 https://mp.weixin.qq.com/s/-A9UVk0O0oDMavywRGIKyQ 「撞脸」一直都是娱乐圈一大笑梗. 要是买 ...
- 机器学习中为什么需要梯度下降_机器学习101：一文带你读懂梯度下降
原标题 | Machine Learning 101: An Intuitive Introduction to Gradient Descent 作者 | Thalles Silva 译者 | 汪鹏 ...
- 用程序员计算机算进制,一文带你读懂计算机进制
hi,大家好,我是开发者FTD.在我们的学习和工作中少不了与进制打交道,从出生开始上学,最早接触的就是十进制,当大家学习和使用计算机时候,我们又接触到了二进制.八进制以及十六进制.那么大家对进制的认识 ...
- JVM学习笔记(Ⅰ)：Class类文件结构解析（带你读懂Java字节码，这一篇就够了）
JVM学习笔记(Ⅰ):Class类文件结构解析,带你读懂Java字节码 前言:本文属于博主个人的学习笔记,博主也是小白.如果有不对的地方希望各位帮忙指出.本文主要还是我的学习总结,因为网上的一些知识分 ...
- 一文带你读懂“经典TRIZ”
本文承接上文<一文带第读懂TRIZ>,下面开始看第二个问题:什么是"经典TRIZ"? 很多书里都有对TRIZ的产生与发展的描述. 我个人在看了很多的书和文献以后,认为: ...
- 一文带您读懂FCC、CE、CCC认证的区别
一文带您读懂FCC.CE.CCC认证的区别 参考资料:https://3g.k.sohu.com/t/n411629823 FCC认证,CE认证,CCC认证是产品认证中比较常见的几个认证,前两者经常有 ...
- 一文带你读懂HTTP协议的前世今生
点击上方蓝字关注我们 HTTP,Hypertext Transfer Protocol,超文本协议,是在万维网上传输文件(如文本.图形图像.声音.视频和其他多媒体文件)的规则集.如果web用户打开他们 ...
最新文章
- 解决Hbase启动报错问题：No such file or directory！
- 网络安全隐性杀手：三类危险的TXT文件
- python列表有固定大小吗,使用python自己写了一个固定长度的list
- 教你如何用Harbor 私有镜像仓库搭建
- 校友聊---Sprint计划会议总结
- 如何获取高质量 CV 训练数据？这个超详细上手教程不容错过
- 设置 CSDN 博文里代码块的颜色
- 20135202闫佳歆——家庭作业汇总
- 免费节假日API第一时间更新2019年节假日放假安排 可怜的五一
- abc242 D(脑子一团浆糊)
- java五子棋的重要算法讲解_[Java五子棋小游戏-Ai算法精讲以及实现]-02--高级算法初步...
- 6、学习大数据笔记-hdfs读写代码
- Dragonfly——一款功能强大的在线家庭装潢设计软件
- Android自定义View实现方位刻度尺（类似于吃鸡手游）
- python修改悦跑圈数据_悦跑圈数据导出 悦跑圈新版本支持跑表、跑步机数据接入 - 电脑常识 - 服务器之家...
- QAxObject保存Excel表格
- SaaS企业如何降低客户流失率？
- 简洁的简历模板_tex版本_面向秋招
- IT项目启示录——来自泰坦尼克号的教训（第十篇）（转）
- 免费PDF转JPG软件（绿色版）,PDF转换器工具,不好使你呼我【捡肥皂】