近日,Apache ShardingSphere 社区与 openGauss 社区再度展开合作,Apache ShardingSphere + openGauss 的分布式解决方案,突破了单机性能瓶颈,使用 16 台服务器在超过 1 小时的测试中,得到了平均超过 1000 万 tpmC 的结果。

ShardingSphere + openGauss,达成 1000 万 tpmC

在本次测试中,openGauss 社区基于标准 BenchmarkSQL 5.0 工具,进行本轮 TPC-C 测试。

在单机性能方面,openGauss 突破了多核 CPU 的瓶颈,实现两路鲲鹏 128 核达到 150 万 tpmC,内存优化表(MOT)引擎达到 350 万 tpmC。但业务场景及用户体验对于性能的追求是无止境的,尤其在如今海量数据的场景下,追求性能极限仍然是每一款数据库的目标。

在此情况下,openGauss 团队采用了 7 台机器运行适配了 ShardingSphere-JDBC 的 BenchmarkSQL 测试工具,连接 8 台 openGauss 数据库,并部署了 1 台 ShardingSphere-Proxy 用于数据初始化、一致性校验等维护操作。通过数据分片能力,ShardingSphere 使总共 8000 仓数据(超过 800 GB)被分散在 8 台 openGauss 节点。在完美 Sharding 的情况下进行持续超过 1 小时的测试后,得到了平均超过 1000 万 tpmC 的结果,行业同等规模下性能最好。

这极大突破了 openGauss 现有的性能极限,突破了单机性能瓶颈,满足 openGauss 在海量数据场景下关于性能、可用性以及运维成本这三方面的诉求。两者的结合,正在持续挑战分布式数据库的性能极限。

ShardingSphere 与 openGauss 的生态合作

Apache ShardingSphere 社区自 2021 年起就开始与 openGauss 社区展开密切合作。

随着业务场景的细分以及数据体量的增长,将数据集中存储至单一节点的传统解决方案,已经难以在性能、可用性和运维成本等方面满足业务需求。诚然,数据分片能力能够解决单机数据库在性能、可用性以及单点备份恢复等问题,但也带来了分布式架构较高的系统复杂性。

作为 Database Plus 理念的提出者和实践者,Apache ShardingSphere 旨在构建异构数据库上层的标准和生态,以叠加扩展数据分片、弹性伸缩、数据加密等更多计算能力为基础,站在数据库的上层视角来关注数据库之间的协作方式,以能够合理且充分地利用数据库计算与存储能力。目前,Apache ShardingSphere 已经形成了微内核 & 可插拔架构模型,并在此基础上持续完善内核及功能层面的能力,为企业及开发者用户提供更多更灵活的解决方案,以满足在不同场景下的特定需求。

得益于 ShardingSphere 可插拔架构的设计理念,在 ShardingSphere 中实现对 openGauss 的支持无须进行额外改造,只需要基于 ShardingSphere 各个模块所提供的 SPI 扩展点,增加对应 openGauss 数据库的实现。在 Apache ShardingSphere 5.0.0 版本,已正式完成对 openGauss 数据库的支持。

双方在合作过程中,通过将 openGauss 强大的单机性能与 Apache ShardingSphere 生态所提供的分布式能力结合,打造出了适用于高并发 OLTP 场景的国产分布式数据库解决方案;除功能层面的合作外,ShardingSphere 与 openGauss 在性能方面不断磨合,充分利用 openGauss 内核技术的创新,不断地将 ShardingSphere 与 openGauss 组成的国产分布式数据库解决方案的功能与性能推向极致,此次关于 TPC-C 的性能测试,就是双方密切合作的一次典型案例。

使用 ShardingSphere 打造基于 openGauss 的分布式数据库解决方案

当然,Apache ShardingSphere 的能力不仅有数据分片,还有读写分离、数据加密、影子库等功能,在不同的场景下各项功能既可以单独使用,也可以结合使用,用户完全可以按照自己的需求组合 ShardingSphere 的能力。

Apache ShardingSphere 目前提供两种接入方式,分别为 ShardingSphere-JDBC 和 ShardingSphere-Proxy。在业务中使用 ShardingSphere-JDBC 对数据库轻松进行分库分表以及读写分离等透明化操作,来解决其对于“高并发”、“低延迟” 场景的需求。同时在 JDBC 的基础上,ShardingSphere 提供 Proxy 端的部署模式,将数据库部分能力和操作部署在 Proxy 层面,让用户可以像使用原生数据库一样使用 Apache ShardingSphere,为用户带来更加优质的使用体验。

因此,建议 ShardingSphere-JDBC 和 ShardingSphere-Proxy 混合部署使用,这样可以实现维护友好与性能兼顾的平衡。

在 openGauss 的体系中,Apache ShardingSphere 能够通过水平拆分以使 openGauss 的计算与存储能力实现线性扩展,性能也随着扩展准线性增长,从而有效解决单表数据量膨胀问题;此外结合业务流量,灵活平滑进行数据节点的扩缩容,智能读写分离,实现分布式数据库的自动负载均衡。

后续发展

本次 Apache ShardingSphere 与 openGauss 两家社区的合作,向外界展示了开源社区之间的合作潜力。随着应用场景的细化以及数据体量的增长,未来对于数据库性能的要求只会更高。此次合作的成功只是双方构筑数据库协作生态的一个开始,相信 ShardingSphere 与 openGauss 这种合作模式,一定会有更加广阔的发展空间。

16 台服务器达成 1000 万 tpmC!挑战分布式数据库性能极限相关推荐

  1. 万台服务器一人挑的五大挑战

    前言 SNG运营部组件运维团队主要负责SNG自研业务接入层和逻辑层的运营维护, SNG自研业务包括QQ.Qzone.看点.社交增值.企鹅电台.微云.腾讯课堂等,团队负责其中1.8万个域名.3000个业 ...

  2. 一个老程序员和他的1000万小挑战

    接触软件程序有二十几年了,将近五十岁的程序员,在中国我想是不多的,至少在我周边很少. 我本非猿,却做了二十年程序员,我本非财,却做了十年财务会计. 没做过什么轰轰烈烈的事,也没参加过什么伟大的项目,甚 ...

  3. realme达成 1000万销量:中国品牌不骗中国人?

    一个新晋的手机巨头正在完成蜕变. 11月9日,成立仅3年的手机品牌realme宣布,今年国内市场1000万销量,完成今年1月定下的"小目标".这样的战果,标志着realme已经从& ...

  4. 流量和延迟减半!挑战分布式数据库 TiDB 跨数据中心难题

    众所周知,在对可用性要求极高的行业领域(比如金融.通信),分布式数据库需要跨地域的在多个数据中心之间建立容灾以及多活的系统架构,同时需要保持数据完整可用.但这种方式同时也带来了一些问题: 跨地域的网络 ...

  5. 从新手到架构师,一篇就够:从100到1000万高并发的架构演进之路

    1.引言 本文以设计淘宝网的后台架构为例,介绍从一百个并发到千万级并发情况下服务端的架构的14次演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知.文章最后汇总了一些 ...

  6. 1000并发 MySQL数据库_再送一波干货,测试2000线程并发下同时查询1000万条数据库表及索引优化...

    继上篇文章<绝对干货,教你4分钟插入1000万条数据到mysql数据库表,快快进来>发布后在博客园首页展示得到了挺多的阅读量,我这篇文章就是对上篇文章的千万级数据库表在高并发访问下如何进行 ...

  7. 再送一波干货,测试2000线程并发下同时查询1000万条数据库表及索引优化

    原文:再送一波干货,测试2000线程并发下同时查询1000万条数据库表及索引优化 继上篇文章<绝对干货,教你4分钟插入1000万条数据到mysql数据库表,快快进来>发布后在博客园首页展示 ...

  8. 40万奖金 | 阿里云天池第三届数据库性能大赛,广邀英才挑战创新上云

    简介:日前,"第三届数据库大赛--创新上云性能挑战赛"在阿里云天池官网正式开赛.据悉,本次大赛由阿里云.英特尔联袂主办,聚焦数据库核心技术场景,探索新介质极致性能,挑战海量数据高效 ...

  9. nginx负载均衡两台服务器文件,Nginx之负载均衡 :两台服务器均衡(填坑)

    第一步,两台服务器都要安装好Nginx和Tomcat,我这边的安装的是Nginx 1.16.1 Tomcat9: 第二步,安装完成之后,选择你要做均衡的那台服务器,,打开其Nginx 配置文件,在se ...

  10. 服务器无法执行该事务_分布式事务、MVCC、事务隔离级别

    我们都知道,OceanBase 是一个分布式数据库,数据是打散到多台服务器上的,当一个分布式事务要执行的时候,可能需要跨越多台 OB Server,如果在执行过程中遇到各种各样的异常情况,OceanB ...

最新文章

  1. redis缓存穿透-解决方案
  2. Qt QTcpSocket 对连接服务器中断的不同情况进行判定
  3. 在Chrome console里修改Vue界面元素,更新如何刷新回UI?
  4. java8 stream案例分析
  5. 软考网络工程师学习笔记1-计算机网络概念
  6. getch和getchar的区别
  7. 蒙特卡罗模拟_Stata博文 | 使用蒙特卡罗模拟计算功率part 1:基础知识
  8. 44. 将样式表放在顶部(5)
  9. 一款上手即用的Java代码混淆工具
  10. JS中的CommonJS和AMD
  11. 基于apache搭建文件下载服务器
  12. 洛谷P1424 小鱼的航程(改进版)-c++题解
  13. 【qstock数据篇】行业概念板块与资金流
  14. android 阻塞 对话框 完全阻塞 停止主进程类似于window MessageBox
  15. 蜗牛学院:你是码农,还是IT工程师?
  16. Java端飞书接口开发
  17. 不请客不送礼不求人,坚持四条“土经验”,领导不得不重用你
  18. 庄子 内篇 人间世第四
  19. 快速识别手机质量的好坏
  20. 操作系统 第6章 设备管理

热门文章

  1. Parasoft c++test安装使用导引
  2. 飞机大战-玩家飞机被击中
  3. 无人驾驶全家桶:机场“人货场”的改造之路
  4. 将solidworks建的机器人模型导入到ros中
  5. Oracle基础--PL/SQL编程基本语法
  6. SQL常用脚本大全,建议收藏!
  7. codesmith mysql 模板_CodeSmith代码自动生成器 JAVA模版的制作---CodeSmith+MySQL+MyEclipse 10...
  8. Windows2003搭建IIS网站
  9. 一个程序员和一个黑客群的故事
  10. [Win32] 打字游戏MFC版