01 Apache ShardingSphere 论文被 ICDE 收录

近日,由 Apache ShardingSphere 社区、SphereEx 以及重庆大学计算机系团队共同撰写的 “Apache ShardingSphere:A Holistic and Pluggable Platform for Data Sharding” 论文,被数据管理与数据库国际顶级会议 ICDE 全文录用,成为业界首篇关于数据分片的顶级会议论文。

ICDE(The International Conference on Data Engineering)是中国计算机协会(CCF)推荐的 A 类国际学术会议,是数据库和数据挖掘领域顶级学术会议之一,电气与电子工程师协会(IEEE)的旗舰会议,和 SIGMOD、VLDB 并称数据管理与数据库领域的三大国际顶尖学术会议。

此次被收录,代表 Apache ShardingSphere 所倡导 Database Plus 理念的工程化实践,经过 5 年多的研发及生产验证外,已经得到理论层面的验证。其提出的基于数据库之上的增强计算引擎,及内置的多层可插拔架构得到很好的印证。其研究成果获全球顶会认可,也代表着 Apache ShardingSphere 在数据库底层核心基础性技术研究方面持续获得了创新性突破。该论文印证了关系型数据库仍然是在线事务处理的主力,但缺乏可扩展性以及无法高效解决高并发问题,以及 NewSQL 数据库会带来额外学习成本的背景下,Apache ShardingSphere 作为一款数据库中间件来连接和管理众多已有的数据库,已经成为一种十分友好且高效的方式。

02 验证 Apache ShardingSphere 的科学发展路径

Apache ShardingSphere 从诞生至今,已经走过了 6 年多时间。在旁观者的视角看来,不论是项目本身或是开源社区,Apache ShardingSphere 都已经相当成功。

我们为什么要完善现有的数据库生态,而并非新建一款数据库?

Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并非实现一个全新的关系型数据库。

时至今日,关系型数据库作为支持完整事务的最优选择,其仍然是在线事务处理的主力。但由于关系型数据库在设计初期是针对单台机器的,并没有考虑到流量、数据过大时的场景,因此可扩展性欠佳并且无法高效解决高并发问题。在此背景下 NewSQL 应运而生,New 就意味着是从零开始开发的数据库。虽然适合现在的应用场景,但其还没有大量接受过真实生产环境的检验,并且还会为企业的维护人员带来额外学习成本。

在此背景下,Apache ShardingSphere 也一步步从工具发展到生态,立足点越来越高,影响范围越来越广,这样的系统打破了关系型数据库架构的限制。目前,Apache ShardingSphere 已更新至 5.1.0 正式版。伴随着此次更新,Apache ShardingSphere 也正式将产品定位转向以 Database Plus 为核心的全新领域,旨在构建多模数据库上层的标准和生态。除在数据库上层提供强大的增量能力之外,Database Plus 架构也为开发者和用户开放了高度可扩展的数据库生态,帮助用户站在数据库的上层视角,更多关注数据库之间的协作。

Apache ShardingSphere 的多重特性

  • 可插拔

Apache ShardingSphere 项目采用微内核 + 三层可插拔模型,使内核、功能组件以及生态对接完全能够灵活的方式进行插拔式扩展,开发者能够像使用积木一样定制属于自己的独特系统。在 Apache ShardingSphere 的框架下,所有功能均可通过积木化的形式组装到 ShardingSphere 体系中,且可以叠加使用。而在开发者面向标准的 SPI 编程中,内核对增量功能是无感知的,所以 ShardingSphere 在实际的应用场景中可以灵活组合多个功能模块,为用户提供无限的想象空间。

此外,Apache ShardingSphere 是基于 SPI(Service Provider Interface,一种 Java 语言中的服务发现机制)和多种设计模式设计的。因此,更多类型的数据库、功能、分片算法都能够非常方便地加入、移除以及自由组合。

其中,作为研发 ShardingSphere 的起源诉求,数据分片一直以来都是 ShardingSphere 的重要特性之一。对于许多用户来说,分片功能也是其使用 ShardingSphere 的初期原因之一。综合来看,对关系型数据库进行数据分片操作,以水平数据分片的方式突破单台机器存储量的限制,是基于现有情况下更适合于企业的解决方案。

  • 高性能

论文中提到,重庆大学与 SphereEx 在 Sysbench 和 TPCC 这两个测试环境下进行了多轮实验,验证了在相同的配置下 Apache ShardingSphere 的性能都优于大多数分片系统和新架构数据库。详细数据可参照下图:

(Sysbench 测试结果)

(使用 TPCC 对不同分布式系统的比较)

03 结语

Apache ShardingSphere 目前已经在数百家海内外企业的生产环境中得到应用,涉及互联网、游戏、银行、保险、证券、制造业、电信、新零售、政府等多个行业,已得到多个真实生产场景的验证。

随着本篇论文被 ICDE 收录,也标志着学术界对 Apache ShardingSphere 理念的认可,将会为数据库行业发展、提升数据处理效能等方面提供新的解决思路,也为关系型数据库应用分布式能力、可插拔架构的普及、数据库上层生态的建设奠定了坚实的理论基础。

通过本篇论文,希望 Apache ShardingSphere 在该领域下的探索可以启发到其他数据库领域的开发者与学者,共同繁荣数据库生态,将数据库打造为更加贴合业务场景的数据服务平台而努力。

⏰ 论文原文后续将在公众号及 ICDE 官方发出,欢迎大家关注。

Apache ShardingSphere 首篇论文被 ICDE 收录,全球数据库发展迎来新局面相关推荐

  1. 厚积薄发!华为云7篇论文被AAAI收录,2021年AI行业技术风向标看这里!

    摘要:近期,全球人工智能领域的顶级学术会议AAAI 2021将于2月2日-9日在线上召开,华为云的7篇AI科研成果被收录. 全球人工智能领域的顶级学术会议AAAI 2021将于2月2日-9日在线上召开 ...

  2. 他入狱10年自学数学,如今凭借手稿发了篇论文,被同行评价“足以开辟数论新领域”...

    杨净 梦晨 发自 凹非寺 量子位 报道 | 公众号 QbitAI 2010年,他因吸毒.杀人被捕入狱,被判有期徒刑25年. 在狱中,他靠自学数学打发时间. 没有计算机.没有老师,单靠手写.以及数学教材 ...

  3. 他入狱10年自学数学,如今凭借手稿发了篇论文,被同行评价“足以开辟数论新领域”

    点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 杨净 梦晨 发自 凹非寺 量子位 报道 | 公众号 QbitAI 2 ...

  4. 小米AI实验室六篇论文获ICASSP2022收录,多模态语音唤醒挑战赛夺冠

    1月22日,全球语音.声学顶级会议ICASSP 2022公布了论文入选名单,小米AI实验室6篇学术论文被接收.小米"自由说"系统在MISP(基于多模态信息的语音处理)挑战赛中荣获多 ...

  5. 知识蒸馏首篇论文解读

    论文:Distilling the Knowledge in a Neural Network 目前的深度学习仍然处于"数据驱动"的阶段,通常在模型训练的时候,仍然需要从巨大且冗余 ...

  6. 虚拟试鞋行业分析及首篇论文解读

    目录 项目背景 论文解读 摘要 引言 2.相关工作 2.1 2D姿态估计 2.2 6-DoF姿态估计

  7. 计算机数据库方向论文ei,数据库实验室1篇论文被《计算机研究与发展》EI期刊录用...

    基于关系数据库的top-k聚合关键词查询 张东站,  苏志锋,  林子雨+,  薛永生 (厦门大学计算机科学系  福建厦门  361005) (ziyulin@xmu.edu.cn) Top-k Ag ...

  8. ICDE 2022 | Apache ShardingSphere: 一个功能全面和可插拔的数据分片平台(附论文)

    相信大家在网上抢购时遇到过网页无法正常访问的情况,一部分原因可能是数据库无法很好地应对不断增加的并发访问.如何有效地解决数据库现有的这些缺陷呢?数据分片是一个可选的方案.本篇文章将为大家解读由重庆大学 ...

  9. 京东AI研究院8篇论文被AAAI 2019收录,国际顶会彰显京东科技实力

    https://www.toutiao.com/a6651795835203879432/ 2019-01-29 20:55:00 美国时间1月27日,AAAI 2019大会在夏威夷正式拉开序幕,AA ...

最新文章

  1. oracle11g自带优化吗,windows下Oracle11g的优化教程
  2. Excel 公式 两个时间比大小
  3. Redis安装与配置( Windows10 )
  4. 解决-硬盘安装器/GHOSTERR/WINPE/FreeLaunchBar问题
  5. 排序算法第四篇——冒泡排序
  6. Telnet FTP Xwindow
  7. 接口自动化-接口测试初介
  8. java从入门到精通 人民邮电_Java从入门到精通【人民邮电出版社】课后习题答案全集...
  9. 肝了 10 万字 ,Go 语言保姆级编程教程2021最新版(建议收藏)
  10. 基于掷色子规则的c语言编程,掷骰子游戏-C语言
  11. 互联网进化论在中国科技论文在线正式发表
  12. 查看计算机bios版本,如何查看电脑BIOS版本
  13. pc端vue调用屏幕键盘
  14. 文件管理器和FTP客户端:ForkLift for Mac
  15. 常用的140个Win XP设置技巧
  16. 后浪HTML5推前浪Flash:2020,为何大家都不支持Flash了?
  17. Qt多功能计算器(四)——base64加密和解密
  18. python 寻找MC宝藏的具体位置
  19. java数据查询_数据的查询
  20. blah什么意思,blah

热门文章

  1. Redis—苹果Mac电脑os系统安装Redis步骤
  2. 嵌入式物联网入门:物联网工程就业方向及前景
  3. 【计算机图形学】OpenGl基础
  4. 1198 今天星期几
  5. 耗时一个星期整理的APP自动化测试工具大全
  6. neutron基础六(bridge fdb)
  7. 【技巧】Python找不到指定的模块可能需要安装VC_redist(微软公司出的C++库)
  8. 孤荷凌寒自学python第四十一天python的线程同步之Event对象
  9. 【Centos】如何下载centos的各个版本镜像(演示下载Centos7.3)
  10. 纽约大学 计算机科学 录取分数线,上海纽约大学