如今,大型企业的应用平台正在向微服务架构进行转型。在微服务架构下,应用程序和数据库等底层平台的关系将会被重构。

作为新一代分布式数据库,其架构与功能特性需要保证在与传统数据库全兼容的基础上,拥抱微服务与云计算框架。因此,分布式数据库对于分布式交易与 ACID 必须保证与传统技术完全兼容。同时,在面向微服务应用开发与云计算基础架构时,新一代分布式数据库必须支持弹性扩张、资源隔离、多租户、可配置一致性、多模式(支持各类 SQL 协议)、集群内可配置容灾策略等一系列功能。

传统单点数据库的容量瓶颈,仅仅是分布式数据库所解决的问题之一。更重要的是在未来微服务化应用开发以及云化平台的趋势下,应用不再以“烟囱式”的中间件加数据库模式进行构建,而是采用数千甚至上万的微服务程序构建成的复杂网状模型。因此,分布式数据库需要满足以下能力,才能够满足上层应用的弹性扩展、高并发、高吞吐量、与灵活敏捷的需求。

在这些技术需求驱动下,分布式数据库核心技术能力分为两个方面,一方面是对传统技术的兼容,包括:

  • 完整的 ACID 支持,事务和一致性保证;

  • SQL的完整支持,传统数据库如 MySQL/PostgreSQL 的语法完全兼容。

另一方面,则是技术创新,包括:

  • 分布式与扩展性,应对数据量的变化,实现存储层和计算层的弹性扩展;

  • 多模式访问接口,支持多类型数据管理和多种模式的访问接口;

  • HTAP 交易 / 分析混合处理能力,复杂业务需求下,实现数据的物理隔离,互不干扰。

作为一款金融级分布式关系型数据库,SequoiaDB 巨杉数据库的分布式数据库架构和面向微服务的云化产品形态,已经帮助包括民生银行、恒丰银行在内的多家大型金融客户实现了大量业务系统的底层数据库云化转型升级。

目前,巨杉数据库在银行生产系统单机群最大物理节点数达到 135 个,单集群最大存储容量超过 2.1 PB,单集群最大管理数据条数 1318 亿条。

SequoiaDB 巨杉数据库作为一款金融级的分布式关系型数据库,在企业客户云化架构转型过程中,提供了多种重要技术能力。

微服务下的分布式数据库业务架构示意

数据存储资源池化

SequoiaDB 数据存储引擎采用原生分布式架构,数据完全打散在分布式节点间存储,自动化数据分布和管理,数据可以按需灵活扩展。

SequoiaDB 采用分片技术为系统提供了横向扩展机制,其分片过程对于应用程序来说完全透明。该机制解决了单台服务器硬件资源(如内存、CPU、磁盘 I/O)受限的问题,并不会增加应用程序开发的复杂性。巨杉数据库通过原生分布式架构,可以轻松实现 PB 级别数据管理,目前生产环境最大支持超过 1500 个节点集群。

SequoiaDB 巨杉数据库存储引擎也实现了 multi-model 多模数据管理,支持非结构化、结构化和半结构化数据全覆盖并统一管理。SequoiaDB 的多模引擎设计让数据库平台场景更多样,也能符合云数据架构下对于多样化业务数据的统一管理与运维要求。

同时,在一个大型集群中,SequoiaDB 提供了多维度、多层级的逻辑与物理隔离能力。在一个典型的数据资源池类型基础数据服务平台(DBaas,DataBase As A Service)中,SequoiaDB 巨杉数据库能够同时服务于成百上千个不同 SLA 服务级别、优先级、业务特性、与数据量的应用程序,并保证应用程序之间的数据逻辑与物理隔离。

SequoiaDB 提供的“数据域(Domain)”特性,能够将整个集群在物理设备层面进行隔离,确保不同的表、表空间、与数据库实例坐落于独立的硬件设备上,保证高优先级的联机交易应用与后台统计分析相互隔离互不干扰。

数据库实例化

SequoiaDB 巨杉数据库支持数据库服务实例化。

针对微服务应用架构,用户可以在同一个集群中创建成百上千个不同的关系型数据库实例。数据库实例的访问与使用方式和传统关系型数据库 100% 兼容,同时其底层所使用的数据从逻辑上完全独立,每个实例拥有自己独立的权限管理、数据管控、甚至可以选择部署在独立的硬件环境或共享设备中。

目前 SequoiaDB 巨杉数据库支持用户创建 MySQL、PostgreSQL 与 SparkSQL 实例,同时还提供了 JSON、S3 对象存储以及 Posix 文件系统实例,充分满足用户对于结构化、半结构化、以及非结构化数据的需求。

从应用程序开发者与 DBA 的角度看,SequoiaDB 巨杉数据库所提供的关系型数据库实例,与传统 MySQL、PostgreSQL 和 SparkSQL 保持全兼容。例如,在 SequoiaDB 巨杉数据库中的 MySQL 实例中,其所有的增删改查语法、视图、触发器、事务、甚至访问计划都与传统 MySQL 保持一致。

作为分布式数据库,SequoiaDB 巨杉数据库的 SQL 实例用户不需要关心底层的数据到底被分散在一台还是多台设备中。用户可以简单创建一个分区表,向其中写入上亿条记录,其数据将会被自动分散在不同的物理设备中,对于应用程序根本无需关注分库分表,数据库自动提供分布式事务以及分布式访问等能力。

双活容灾与数据安全

双活容灾即灾备系统中使主生产端数据库和备机端数据库同时在线运行,处于可读可写状态的技术。在银行的交易系统中,双活容灾能力不仅保证数据不丢失,也保证系统在遭遇事故时能够短时间内重新上线。在正常情况下,双活架构的两个数据中心都能够同时提供业务的读写服务,而当一个中心宕机后,所有前端应用可以立刻切换至依然存活的数据中心继续使用。

SequoiaDB 巨杉数据库在内核层面实现了多种容灾方式,包括同城双活、同城双中心、同城三中心、两地三中心、与三地五中心等容灾策略。通过使用 SequoiaDB 巨杉数据库的容灾与高可用机制,数据中心内的服务器故障可以保证 RTO 与 RPO 均为零,而整个数据中心或同城网络故障也可以做到秒级 RTO、RPO=0。

关于 SequoiaDB 巨杉数据库

巨杉数据库专注新一代分布式数据库技术研发,自 2011 年成立以来,坚持从零开始打造分布式开源数据库引擎,是中国首家连续两年入选 Gartner 数据库报告的数据库厂商。巨杉数据库的主要产品包括 SequoiaDB 分布式关系型数据库与 SequoiaCM 企业内容管理软件,企业级应用场景包括分布式在线交易、数据中台、分布式内容管理等。目前巨杉数据库已在超过 50 家 500 强级别的大型商业银行核心生产业务上线,企业用户总数超过 1000 家。

分布式 java 应用:基础与实践_单集群数据超1000亿,微服务架构下分布式数据库应用实践...相关推荐

  1. 深入解读微服务架构下分布式事务解决方案

    微服务倡导将复杂的单体应用拆分为若干个功能简单.松耦合的服务,这样可以降低开发难度.增强扩展性.便于敏捷开发.概念一经提出迅速火遍全球.当前 Hailo 有160个不同服务构成,NetFlix 有大约 ...

  2. 阿里微服务架构下分布式事务Seata

    转载自  阿里微服务架构下分布式事务Seata Seata 是什么? Seata 是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务.在 Seata 开源之前,S ...

  3. 进阶必学之微服务架构下分布式事务解决方案,你不知道的58同城

    1 微服务的发展 微服务倡导将复杂的单体应用拆分为若干个功能简单.松耦合的服务,这样可以降低开发难度.增强扩展性.便于敏捷开发.当前被越来越多的开发者推崇,很多互联网行业巨头.开源社区等都开始了微服务 ...

  4. 微服务架构下分布式事务解决方案——阿里GTS

    1 微服务的发展 微服务倡导将复杂的单体应用拆分为若干个功能简单.松耦合的服务,这样可以降低开发难度.增强扩展性.便于敏捷开发.当前被越来越多的开发者推崇,很多互联网行业巨头.开源社区等都开始了微服务 ...

  5. 微服务架构下分布式事务解决方案 —— 阿里GTS

    1 微服务的发展 微服务倡导将复杂的单体应用拆分为若干个功能简单.松耦合的服务,这样可以降低开发难度.增强扩展性.便于敏捷开发.当前被越来越多的开发者推崇,很多互联网行业巨头.开源社区等都开始了微服务 ...

  6. 一行代码,保障分布式事务一致性—GTS:微服务架构下分布式事务解决方案

    摘要: 虽然微服务现在如火如荼,但对其实践其实仍处于初级阶段.即使互联网巨头的实践也大多是试验层面,鲜有核心业务系统微服务化的案例.GTS是目前业界第一款,也是唯一的一款通用的解决微服务分布式事务问题 ...

  7. 【转】微服务架构下分布式事务方案

    1 微服务的发展 微服务倡导将复杂的单体应用拆分为若干个功能简单.松耦合的服务,这样可以降低开发难度.增强扩展性.便于敏捷开发.当前被越来越多的开发者推崇,很多互联网行业巨头.开源社区等都开始了微服务 ...

  8. 微服务架构下分布式事务解决方案——阿里云GTS

    1 微服务的发展 微服务倡导将复杂的单体应用拆分为若干个功能简单.松耦合的服务,这样可以降低开发难度.增强扩展性.便于敏捷开发.当前被越来越多的开发者推崇,很多互联网行业巨头.开源社区等都开始了微服务 ...

  9. 这个清明节我要学习微服务架构下分布式事务Seata

    Seata 是什么? Seata 是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务.在 Seata 开源之前,Seata 对应的内部版本在阿里经济体内部一直扮演 ...

最新文章

  1. 白话Elasticsearch55-数据建模之对每个用户发表的博客进行分组 (Top Hits Aggregation)
  2. boost::mpl::aux::largest_int相关用法的测试程序
  3. 网络知识 | 《图解HTTP》读书笔记(上)
  4. php界面设置编码格式,php设置编码格式的方法
  5. mysql characteristic_MySQL存储过程定义中的特性(characteristic)的含义
  6. 计算机网络 谢希仁 课后习题部分答案
  7. Oracle移除表空间的数据文件 ora-00604 ora-01426
  8. delete kubectl pod_kubectl delete
  9. linux sed命令_Linux sed命令用法与示例
  10. bpftrace - tcpstates.bt
  11. 今日BIM—中交一公院发布道路专用BIM设计软件
  12. 微信支付宝无现金之争:瞄准用户支付大数据
  13. 怎么才能打开dwg图纸?
  14. 如何用邮件客户端收发电子邮件,如何配置邮件客户端?
  15. 学术-物理-维空间:二维空间
  16. 【转帖】年轻人不讲武德=白piao接口测试知识还白piao接口测试工具会员
  17. html标签中英文对照,更好理解html标签
  18. 设置每天定时给自己发送邮件、企业微信提醒
  19. HRS 请求走私 学习记录
  20. 成语猜猜看小游戏(一)

热门文章

  1. java字符串反转及替换_字符串的替换(str_replace)
  2. java nio 系列教程 四_Java NIO系列教程(四) Scatter/Gather
  3. maven添加子工程_Maven建立父子项目和跨项目调用内容的步骤—佳佳小白
  4. 打印循环换行_一个案例轻松认识Python 循环语句(for)——10以内的素数
  5. R 语言 Windows 环境 安装与Windows下制作R的package--Rtools
  6. ThinkPHP系的两个东东OneThink和ThinkCMF
  7. Cordova+Ionic之坑
  8. php cookie赋值使用
  9. 在wince中添加微软的雅黑字体
  10. 如何在VisualStudio中加入你自己的assembly的Intellisense?