openGauss亮相VLDB2020，展示内存优化研究成果

VLDB（Very Large Data Base）作为数据库领域的三大顶级国际会议之一，是面向数据库研究人员，内核开发人员，开发商以及用户的年度国际会议论坛，代表数据库系统领域最杰出的研究和工程进展。在2020年，openGauss把前沿的内核能力以论文和演讲的形式带到了VLDB2020，发表论文《Industrial-Strength OLTP Using Main Memory and Many Cores》.

本次大会上，openGauss主要向大家介绍了存储引擎—MOT(Memory Optimized Table). 它是一种事务型行存数据组织结构，针对多核和内存进行了极致优化。MOT是openGauss数据库最先进的生产级特性（Beta版本），它为事务型工作负载提供更高的性能，完全支持ACID特性，并包括严格的持久性和高可用性支持。企业可以在关键任务、性能敏感的在线事务处理（OLTP）中使用MOT, 以实现高性能、高吞吐、可预测低延迟以及多核服务器的高利用率。MOT尤其适合在多路和多核处理器的现代服务器上运行，例如基于Arm/鲲鹏处理器的华为TaiShan服务器。

MOT与基于磁盘的普通表并排创建。MOT的有效设计实现了几乎完全的SQL覆盖，并且支持完整的数据库功能集，如存储过程和自定义函数。通过完全存储在内存中的数据和索引、非统一内存访问感知（NUMA-aware）设计、消除锁和锁存争用的算法以及查询原生编译，MOT可提供更快的数据访问和更高效的事务执行。

MOT有效的几乎无锁的设计和高度调优的实现，使其在多核服务器上实现了卓越的近线性吞吐量扩展，这可能是业界最好的。

MOT完全支持ACID特性：

原子性（Atomicity）：原子事务是一系列不可分割的数据库操作。在事务完成（分别提交或中止）之后，这些操作要么全部发生，要么全部不发生。
一致性（Consistency）：事务结束后，数据库处于一致状态，保留数据完整性。
隔离性（Isolation）：事务之间不能相互干扰。MOT支持不同的重复读和读提交隔离级别。在下一个版本中，MOT还将支持可序列化隔离。
持久性（Durability）：即使发生崩溃和失败，成功完成（提交）的事务效果持久保存。MOT完全集成了openGauss的基于WAL的日志记录。同时支持同步和异步日志记录选项。MOT还支持同步+面向NUMA优化的组提交。

MOT在高性能（查询和事务延迟）、高可扩展性（吞吐量和并发量）甚至在某些情况下成本（高资源利用率）这些方面拥有显著优势。

低延迟（Low Latency）：提供快速的查询和事务响应时间。
高吞吐量（High Throughput）：支持峰值和持续高用户并发。
高资源利用率（High Resource Utilization）：充分利用硬件。

使用了MOT的应用程序可以达到2.5到4倍的吞吐量。例如，在基于Arm/鲲鹏的华为TaiShan服务器和基于英特尔至强的戴尔x86服务器上，执行TPC-C基准测试（交互事务和同步日志）。MOT提供的吞吐率增益在2路服务器上达到2.5倍，4路服务器上达到3.7倍，在4路256核Taishan服务器上达到480万tpmC.

在TPC-C基准测试中可观察到，MOT提供更低的延迟将事务速度降低3至5.5倍。此外，高负载和高争用的情况是所有领先的行业数据库都会遇到的公认问题，而MOT能够在这种情况下极高地利用服务器资源。使用MOT后，4路服务器的资源利用率达到99%，远远领先其他行业数据库，这种能力在现代的多核服务器上尤为明显和重要。

TaiShan 2480 MOT TPC-C测试结果

除了演讲之外，openGauss关于MOT的论文研究成果也已经收录到VLDB官方文档。全文共分为六个部分，首先向大家介绍了openGauss以及其架构设计；第二，介绍了添加到MOT的增强功能，使其适合工业工作负载的原型；第三，解释了我们如何将MOT与openGauss进行集成以及如何实现持久性，恢复功能和节点查询，SQL查询处理。在第4节中展示带有MOT的openGauss性能；在第五节中展示了相关的调查研究内容；最后进行总结，MOT已集成到功能齐全的openGauss SQL引擎中，以提供用户无缝加速性能。

下面是论文的下载链接，如有需要请自取：

http://www.vldb.org/pvldb/vol13/p3099-avni.pdf

如需了解更多MOT方面的内容，请移步openGauss官方文档：

https://opengauss.org/zh/docs/1.0.1/docs/Developerguide/MOT%E4%BB%8B%E7%BB%8D.html

openGauss亮相VLDB2020，展示内存优化研究成果相关推荐

QML的图片加载，内存优化研究（一）
QML的图片加载,内存优化研究(一) QML加载图片的两个控件 Image控件及其相关属性 Image加载图片的内存问题代码一: 代码二: 代码三: 代码四: 代码五: 通过源码来分析 QML加载图 ...
姚班天才少年鬲融凭非凸优化研究成果获得斯隆研究奖
近日,美国艾尔弗·斯隆基金会(The Alfred P. Sloan Foundation)公布了2019年斯隆研究奖(Sloan Research Fellowships)获奖名单,华裔学者鬲融获此 ...
独家 | 放弃Jupyter Notebooks吧，教你如何用仪表板展示研究成果
作者:Stef Smeets翻译:王闯(Chuck)校对:欧阳锦本文约2500字,建议阅读5分钟本文介绍了streamlit ,并展示了如何利用它将 python 脚本转换为仪表板,以及如何在线托管 ...
OpenGauss的内存优化表MOT
你所提出的问题,是你认知事物的角度,提出一个问题,即选择了一个理解问题的角度,而一个好的问题(切入角度),对于高效正确的理解事务非常重要.为了提出好的问题,必须先调查学习. 最近在研究OpenGaus ...
嵌入式linux+io+优化,嵌入式Linux系统内存优化使用方法研究
[摘要] 嵌入式系统功能的提高,占用了较大内存空间,继而时常出现运行无响应.基于用户方面看,由于系统内存问题影响运行,针对系统内存与进程应用状态研究,可以调整系统数值与执行文件elf分析,进行系统优化 ...
QQ抢车位外挂(起始篇)--小研究成果展示
经过几天的研究,把QQ抢车位的小外挂攻克下来了,哼哼,以后玩这个游戏再也不用进去,1辆车1辆车的换了. 研究证明,QQ对于安全方面做的还是比较好的,不像开心网(http://www.kaixin001 ...
百度安全研究成果亮相 NDSS 2022
百度安全将于 2022 年 4 月 24 至 28 日举办的 NDSS 中介绍最新安全研究成果.NDSS 为"网络和分布式安全研讨会" (The Network and Distr ...
腾讯与中国人民大学开源最新研究成果：3TS腾讯事务处理技术验证系统
作者:李海翔,腾讯TEG数据库技术专家一个是全球领先的科技公司,一个是中国数据库基础学术研究的摇篮,近日,中国人民大学-腾讯协同创新实验室正式举行揭牌仪式.据了解,双方已聚焦在数据库基础研究领域进行 ...
综述 | 万字长文带你入门近几年深度学习的重要研究成果
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :机器之心 [人工智能资源( ...

openGauss亮相VLDB2020，展示内存优化研究成果

openGauss亮相VLDB2020，展示内存优化研究成果相关推荐

最新文章

热门文章