欢迎访问 OceanBase 官网获取更多信息:https://www.oceanbase.com/

本文来自OceanBase社区分享,仅限交流探讨。原作者风华流沙,武汉东方赛思数据部总负责人


我所在的武汉东方赛思软件股份有限公司是一家专注于大数据分析、大数据平台软件研发和服务的国家高新技术企业,我们的项目涉及卫生健康、智慧税务、数字政务、市场监管领域,帮助这些企业做好数字化转型。

提起技术选型的起因,还要从我们使用的开源操作系统 Centos说起。由于Centos停止维护,让我们不得不开始思考当国外软件突然不提供服务后,我们的业务该如何稳定进行。为避免后续相关事件对公司项目造成影响,我们决定将所有软硬件都替换为国产方案。

数据库替换背景

在数据库层面,我们正在使用的 MySQL 也需要替换为国产开源的产品。当然,替换原因不止这一点。我们在使用MySQL 的过程中,面临的一些痛点越来越难以解决。

  • 痛点一:我们当前的业务系统涉及大量 ETL 数据加工、处理,MySQL 8.0 的性能难以支撑,迫使我们寻求一个性能表现更好的数据库。
  • 痛点二:在大型项目中会使用到多套 MySQL 实例及分库分表架构,日常运维与管理非常繁杂。
  • 痛点三:由于近期项目中的实时在线数据量非常大,一旦出现节点宕机情况,就会波及业务系统的稳定运行,甚至带来更为严重的后果,因此,寻找一款更为稳定可靠的数据库势在必行。

基于上述痛点,我们开始着手国产数据库的调研,从多个平台了解到,华为OpenGuess、蚂蚁OceanBase、腾讯TDSQL、达梦数据库DB8在国内拥有较好口碑,因此对这几款数据库产品进行测评,包括性能、兼容性、高可用特性等方面,旨在筛选出最适合我们需求的国产数据库。最初,我们计划先在内部 OA 系统的发票报销模块尝试新产品的适配,但经过一番产品调研后,了解到OceanBase不仅兼容MySQL,也支持HTAP混合负载,其高可用能力甚至达到 RPO=0、RTO<8s,这些特性促使我们决定正式测试、适配OceanBase。下文详细介绍我们对各数据库产品的测试过程及数据表现。

国产数据库产品测试对比

TPC-C 基准测试

众所周知,TPC-C 基准测试是衡量数据库整体性能的重要指标。因此,我们首先对 ​OpenGuess 3.0、OceanBase 4.0、TDSQL10.3、DB8等国产数据库进行了 TPC-C 基准测试,并与MySQL 8.0 的性能作比较。我们以商品销售交易业务为基础设计了 9 张表,并统一设置 TPC-C 的测评参数为10个仓库(数据体量)、10个终端(用户体量),来观察在无硬件资源瓶颈的情况下,各数据库在相同数据体量与用户体量的场景中,OLTP 能力哪家强,测试数据如下图所示。

由测试数据可以看出,在开源软件中,OceanBase 4.0 的表现最好,是MySQL 8.0 的1.2倍左右。​因此,在接下来的测试中围绕OceanBase 4.0,考察其整体表现。

场景压测

完成TPC-C的性能测试之后,我们基于当前的一个项目——某省编办环境做数据库产品的场景压测。由于该项目使用的是 DM8 ,因此将 OceanBase 4.0 和 DM8 进行压测对比​,我们​选取了机构修改、用编申请、人员管理三个典型场景,测试环境规格是基于内存 30GB 的单节点环境,通过 web 节点向数据库写入并查询数据,部署 jmeter 进行压测,总共涉及 80+段 SQL,涵盖插入、删除、更新、清单查询、统计查询。测试数据如下图所示。

从测试数据可以看出:在并发 100 的情况下,OceanBase 4.0 能确保平均响应时间少于 3 秒,满足响应时间要求,TPS 远高于 DM8。压测结果符合业务的预期响应时间,性能也满足需求,说明业务可行。

高可用测试

为验证在集群节点宕机时 OceanBase 4.0 的表现,我们通过模拟故障的方式,验证在单节点宕机情况下数据库是否还能继续提供服务,以及恢复正常服务要多久。

我们使用 3 台配置为10GB 的服务器部署 1-1-1 3节点集群环境,在测试环境下利用脚本,持续分批写入数据​,每秒向数据库指定表插入 2000 条数据,查看 QPS 和表写入变化。在集群节点都在线的情况下 Kill 掉其中一个 OBServer 进程,观察脚本分时写入情况。我们发现在宕机时,BI 查询仍然正常,数据写入有短暂的明显降低,但大致3秒写入就自动恢复,可以证实 RTO<8s。 OceanBase 确实具备高可用能力。

发票报销系统可行性验证

通过上述测试已经表明 OceanBase 4.0 满足我们的业务需求,那么它是否适合我们的业务呢?我们在内部选择了一个发票报销系统进行可行性验证,验证过程主要是将业务数据从MySQL迁移到OceanBase 4.0,然后将业务流量切换到OceanBase上,运行一段时间观察实际情况。数据的迁移主要使用 MySQLDump 将 MySQL 8.0 的数据离线导出,然后导入 OceanBase 4.0。切换后,对业务的各项功能和数据库的功能再次进行了验证,包括数据库备份恢复及业务各功能模块,目前已稳定运行两个多月,还未发现有功能异常或性能问题,基本验证了OceanBase在后续项目中推广的可行性。

OLAP性能对比

目前 OceanBase 4.0 已经在我们 OA 系统的发票报销系统稳定运行两个多月,后续我们计划将整个OA系统都在 OceanBase 4.0 上线,同时也在进一步测试 OceanBase 4.0 的 AP 能力。我们选取了基于往期项目中的经济户口表改写而成的 10 条典型统计类 SQL,主要可以反映数据的批处理能力以及复杂查询性能。由于我们多数业务使用Oracle支撑,因此将 Oracle 与 OceanBase 4.0 进行对比。本次测试两个环境分别使用一台配置为 125GB、56核CPU 的机器,硬件条件相同。

通过测试发现,在查询方面,OceanBase 4.0 的实测数据大幅优于 Oracle,在统计查询类 SQL 中 ,Oracle 耗时分别是 2s、7s、9s,OceanBase 4.0 均在 1s 内,极大地超出了我们预期。

经验总结

以上是我们在国产化数据库选型道路上的尝试过程,总体而言已经满足了我们的业务需求,后续会进行更多的实践测试,在测试过程中,我们遇到了两个问题,在此也分享出来供大家参考。

  • 第一,在数据迁移过程中我们发现 ​OceanBase 4.0 对 MySQL 8.0 的视图并不完全兼容,视图迁移失败,使用 MySQL 5.7 时视图迁移成功。由此可知,OceanBase 4.0 对 MySQL 5.7 兼容性更好,希望后续对MySQL8.0的支持能够更进一步。
  • 第二,在与 Oracle 的压测对比过程中,我们发现OceanBase 4.0 暂不支持 Oracle 的递归查询语法,后续我们通过定制函数解决了该问题,目前OceanBase已支持MySQL8.0的递归语法。

希望后续我们的业务 BI 系统和后台分析系统可以在 OceanBase 中实现所有数据的一站式处理,优化内部数据架构。同时我们也希望 OceanBase 社区可以开放更丰富多元的社区用户奖励机制,鼓励更多的用户参与到社区的建设中,最后希望 OceanBase 社区越来越红火。

欢迎访问 OceanBase 官网获取更多信息:https://www.oceanbase.com/

分享:软件全面国产化替代,10款数据库TPC-C测评哪家强相关推荐

  1. 信创势不可挡,数据传输软件怎样国产化替代?

    2018年,受华为.中兴等企业被美国技术制裁的影响,技术创新的重要性被再次强调,2019年,信创,即信息技术创新成为新的风口.2020年是信创产业"元年","2+8&qu ...

  2. 什么游戏视频录制软件比较好?10 款的游戏录屏软件你值得收藏

    市面上有各种各样的游戏捕捉软件,当然,它们都声称是有史以来最好的游戏软件.但有些比其他的更好,最适合您的游戏记录器在很大程度上取决于您要玩的游戏以及您运行的 PC 类型. 目前最好的游戏屏幕录像机 让 ...

  3. 分享你一定不知道的10 款小工具

    在工作生活中,会遇到一些小的问题,虽然自己动手也能解决,但是有了一些小工具,解决这些问题就得心应手了.今天我给大家分享一些我在工作生活中积累的小工具,这些小工具都是我日常中是使用的,用了很久之后,越觉 ...

  4. 最满意的10款PC 软件分享

    取舍太难了! 经过一番思想斗争,我终于从自己常用的20多款 PC 效率软件中,筛选出这10款! 软件大都免费可用,覆盖文件管理.图形管理.文件转换.综合绘图.密码管理等10+领域,全面解放你的生产力. ...

  5. 10款最好的Photoshop替代软件

    Photoshop作为一种老式的设计软件,在世界上享有很高的声誉,所以很多人说学习设计,第一反应是学习Photoshop,结果打开电脑发现:配置不够,预算不足,课程有点困难,因为这条路不起作用,想想找 ...

  6. 凯旋直播间分享10款视频制作工具,凯旋直播剪辑软件

    软件在精不在多,我使用软件就两个,一个无他相机,一个是快剪辑,有些时候快剪辑我都不用,直接用无他相机拍摄完成我就上传了. [凯旋直播间分享10款视频制作工具,凯旋直播剪辑软件][凯旋直播kx3690] ...

  7. 10 款下载量最高的 Mac 软件分享

    给大家分享 10 款 MacBook 上非常受欢迎的软件,下载量非常高.以下软件均可在Mac毒站内下载. 1. Downie -- Mac上最好的视频下载器 Downie for Mac 是一款 Ma ...

  8. oracle数据库软件侵权,中国软件网发布《央企Oracle数据库国产化替代的难点与路径研究报告》...

    海比研究院联合中国软件行业协会应用软件产品云服务分会.中国软件网共同发布了<央企Oracle数据库国产化替代的难点与路径研究报告>.Oracle数据库的国产化替代不是国内数据库厂商为谋求自 ...

  9. 10 款你不知道的 Linux 环境下的替代工具

    作者:JackTian 来源:公众号「杰哥的IT之旅」 ID:Jake_Internet 转载请联系授权(微信ID:Hc220088) 原文地址:10 款你不知道的 Linux 环境下的替代工具! 大 ...

最新文章

  1. Scrapy 学习笔记(-)
  2. 好久没写博客了,改天要把原博客资料整理下,弄个链接什么
  3. RDC如何打造支撑百万用户的分布式代码托管平台
  4. springboot+swagger传递参数的几种格式
  5. linux安装lrzsz,并使用rz sz 命令
  6. 图注意力网络_EMNLP 2019开源论文:针对短文本分类的异质图注意力网络
  7. 迁移实战:一次AntDB(基于pgxl分布式架构的数据库)数据库迁移经验分享
  8. 高并发场景下,如何保证生产者投递到消息中间件的消息不丢失?
  9. 03-neo4j的命令
  10. asp html转word文档,asp生成word文档
  11. 高级终端termux下载不了Python_基于Termux打造Android手机渗透工具
  12. 被90%中国人误解了12年的斜杠
  13. navicat的使用技巧
  14. Gilbert Elliot丢包模型
  15. arduino蓝牙通讯代码_手机与Arduino蓝牙串口通讯实验及完整例程
  16. js除法保留小数_javascript(js)的小数点乘法除法问题详解
  17. 【值得收藏】如此心机的老婆,不难教出一个优秀的女儿。谁娶了都是福。
  18. 圣迭戈与哥大电子计算机,加州大学圣迭戈分校
  19. SSL证书配置(https访问接口, 单向认证和双向认证)
  20. JavaScript单选框选择操作

热门文章

  1. 关于联想Win10每次开机默认浏览器重置为Edge
  2. 湘潭不明原因肺炎病例样本将送WHO
  3. linux ls 显示文件大小单位 k m g
  4. 老相机快门速度测试软件,这款手持快门速度测试仪能让相机曝光更精准
  5. 6.3.3Transmit ONOFF time mask
  6. 英语到数字翻译 (20 分)
  7. 【MySQL】入门基础(一)
  8. java一键设置环境变量_一键设置windows java环境变量
  9. 2020年Vue面试题汇总
  10. 产品健康度模型(1) 任务介绍