一、这是一个最好的时代,也是一个最坏的时代


这是最好的时代,互联网技术带来的红利,让一大波创新者得以实现自己的梦想,发展新的商业模式和形态,为社会带来新的升级与活力。

这是最坏的时代,传统的机构和企业面临众多挑战和互联网、数字化转型的压力。

适应大数据时代,海量数据存储、计算、查询和大规模应用系统稳定、高效运行的需求,在数据库领域,从传统的DB2、Oracle已经逐渐转变为现在流行的,分布式大规模的,开源数据库集群架构。

拥抱互联网,是每个传统企业必须要面对并且尽快付诸行动的紧要之事。

二、某传统金融机构旗下货币服务平台引领行业互联网转型

某传统金融平台在23年的业务快速发展过程中,众多IT系统垂直建设,不同系统之间存在复杂多样的关联性关系,核心业务系统既需要保证极高的可用性,又要为业务创新和发展做好技术架构准备,面临着IT时代被IOE架构困扰已久的“稳定-创新”经典困局。

如何做好企业架构治理、为业务灵活创新做好技术基础,提升应用开发速度、投入产出效率,降低运维难度,将严峻挑战转化为创新驱动力,完成从IT到DT成功进行数字化转型呢?

为充分利用高并发、高灵活、高可用的互联网平台优势,提升在线服务性能,该货币服务平台选择使用了阿里云EDAS中间件、DRDS分布式数据库、MySQL服务。

袋鼠云的数据库团队核心成员来自淘宝,曾参与主导过阿里巴巴“去IOE”的架构演进,对大规模分布式数据库架构设计与实践有着丰富的经验,曾服务过特步、中航金网、国泰产险、东风裕隆、浙江智慧网络×××、绿城信息等行业客户,是阿里云生态中数据库技术领域的技术领先者。

在向互联网级分布式架构转型中,涉及到的数据库架构设计和改造实施内容,该货币服务平台通过阿里云找到了——阿里云生态合作伙伴袋鼠云实施完成。

三、从DB2到DRDS、MySQL,该传统金融平台的分布式数据库架构构建之路

该传统金融平台原先采用DB2,经过10多年的业务发展和数据沉淀,数据库结构和表结构较为复杂,需要大量梳理。数据来源于上游系统,来源方式多样,由中间库、源库、目标库组成的数据摆渡链路较为冗长。

据了解,该传统金融平台每次功能变更都需要重新发布整个系统,系统耦合度高。

结合平台庞大的业务体系,袋鼠云和客户决定对其数据库进行先垂直后水平的拆分改造,后端数据库技术架构如下:


难点一:如何进行数据库拆分设计以适应满足复杂业务需求?

由于该传统金融平台的业务体系过于庞杂,第一要务是对整个应用系统进行业务模块的梳理和拆解。在调研初期,袋鼠云为该平台客户梳理出三大垂直的业务系统,目的是进行应用的功能剥离及数据解耦,并以业务模块为基准,对其数据库进行垂直拆分设计。

垂直拆分后,数据层在存储以及性能方面已经做到隔离,但十多年的业务积累,导致部分业务表数据量已经超过数千万条记录。为了提高单表的查询性能,以及解决单库存储容量问题,接下来需要基于DRDS对部分表进行水平拆分。在客户现场,进行反复调研及沟通,逐个分析各个业务的查询场景以及数据存储规律,和客户共同制订出针对大表的水平拆分方案,这个过程也称之为“分库分表”。

该传统金融平台的数据库垂直拆分架构大致如下:

通过DRDS将若干大表进行水平拆分,大致如下:


难点二:针对复杂业务逻辑,袋鼠云为其定制数据迁移程序

该传统金融平台隶属于国家级金融机构。任何一条数据的不准确、延迟、丢失,都将影响中国金融市场的稳定和健康发展。

所以,这就要求在拆分迁移过程中,还要对接收到的来自不同上游的数据进行计算和准确性校验。校验的精细度要求是:每条数据都需要验证,而且迁移过程是一次全量多次增量,数据迁移,数据验证,数据又迁移,数据再验证,如此循环往复,需要投入大量时间和人力。

针对该传统金融平台复杂的业务逻辑,以及对数据高完整性的需求,袋鼠云为客户定制化迁移程序,进行DB2数据库到DRDS的数据迁移工作。深入理解客户的业务逻辑并完成数据重组,期间不断聆听客户的业务需求,最终通过严格的多阶段数据验证考验。数据迁移过程如下:

难点三:为满足金融平台的高性能要求,SQL优化、压测、再优化,进行了8轮...

客户平台原采用的DB2数据库,有很多复杂SQL,对数据库带来一定负担。同时,还有数据库存储过程、视图等高级功能的使用,SQL书写不规范,表未建索引....大量的SQL需要袋鼠云数据库专家进行逐行审核,并和客户工作人员一起优化、压测、再优化、再压测、再再...,如此进行了8轮。除了常规的优化手段外,还需要对传统应用进行改造,如拆解查询、逻辑上拉至应用层、业务功能适度妥协等,最终完成对客户不同场景下的查询优化,最大程度提升了客户系统的性能。

并且在后端的数据库节点上,袋鼠云数据库团队基于DRDS设计读写分离的架构,利用只读实例分担主库的数据查询压力,配合EDAS的限流功能,避免了后端数据库在业务高峰期的流量冲击。

最后:

通过采用分布式数据库架构,该传统金融平台全链路数据库瓶颈得以解决,对数据解耦,缩短数据访问链条长度,显著提升了自身数据服务性能。

从DB2到MySQL、DRDS,该传统金融平台完成了自身互联网转型的一大步。

数百万亿人民币交易背后的共享服务平台,正在开启一个技术驱动的“新金融”时代。

转载于:https://blog.51cto.com/13766600/2176026

袋鼠云服务案例系列 | 从DB2到MySQL,某传统金融平台的互联网转型之路相关推荐

  1. 【云栖大会】探索企业互联网转型之路

    2016杭州云栖大会在云栖小镇召开,本届大会以"飞天·进化"为主题,内容规模比去年翻倍,从原本2天的议程增加至4天,从10月13日持续到16日,超过400场主题演讲使开发者们对阿里 ...

  2. 美云智数移动平台互联技术,为传统企业打开了转型的切口

    在中国,移动互联技术很早之前就已经在盛行了,到了现如今,它的发展已经上升到了又一个全新的阶段.美云智数移动互联技术被众多的传统企业而应用,一方面助力了企业更好发展,另一方面也为更多的传统企业打开了又一 ...

  3. 【云服务】云服务案例分析Quiz

    Quiz1 1.In IT service management, what is NOT the benefit in use of processes? a. measurable b. simp ...

  4. 云服务案例分析 BB平台 Quiz6

    课程资源会逐步转移至个人GitHubPage,如有需要请收藏网址. 答案不保证完全正确,可能会有错误,如有问题感谢反馈. 问题 1 Which of the following statements ...

  5. 云服务案例分析 BB平台 Quiz4

    后续资源和其他课程资源会逐步转移至个人GitHubPage,如有需要请收藏网址. 答案不保证完全正确,可能会有错误,如有问题感谢反馈. baaba cbbcd 问题 1 For the dimensi ...

  6. 云服务案例分析 BB平台 Quiz3

    课程资源会逐步转移至个人GitHubPage,如有需要请收藏网址. 答案不保证完全正确,可能会有错误,如有问题感谢反馈. 问题 1 An IT Architect is ( ). a. a resul ...

  7. 云服务案例分析 BB平台 Quiz 2

    后续资源会逐步转移至个人GitHubPage,如有需要请收藏网址. 答案不保证完全正确,可能会有错误,如有问题感谢反馈. 问题 1 The graphical user interface (GUI) ...

  8. 云服务案例分析 BB平台 Quiz5

    课程资源会逐步转移至个人GitHubPage,如有需要请收藏网址. 答案不保证完全正确,可能会有错误,如有问题感谢反馈. 问题 1 What's the significant problem wit ...

  9. 云服务案例分析 BB平台 Quiz 1

    课程资源会逐步迁移至个人GitHubPage,如有需要请收藏网址. 问题 1 In IT service management, what is NOT the benefit in use of p ...

  10. 【计算机科学基础】云服务案例分析Quiz

    文章目录 Quiz1 Quiz2 Quiz3 Quiz4 Quiz5 Quiz6 Quiz1 1.In IT service management, what is NOT the benefit i ...

最新文章

  1. OpenCL™(开放计算语言)概述
  2. 使用Word2010灵活掌握文档结构
  3. 用了很多年Dubbo,连Dubbo线程池监控都不知道,觉得自己很厉害?
  4. IT人保持健康的必备法宝
  5. 443 ERROR [main] client.ConnectionManager$HConnectionImplementation: Can‘t get connection to ZooKeep
  6. Log4Net 配置
  7. Flex制作的一个Mp3播放器
  8. python使用字典实现switch_python之 利用字典与函数实现switch case功能
  9. 转载-extern “C”用法分析
  10. 【caffe-Windows】微软官方caffe之 matlab接口配置
  11. 前端面试题-url、href、src
  12. 7.25第一次组队赛
  13. 一、OpenStack架构
  14. 将mdf文件转化为excel
  15. 移动网优大神VoLTE学习笔记(五):被叫信令流程
  16. python爬虫基础案例——爬取猫眼电影并保存数据到excel
  17. php如何去除文件扩展名,php怎样去掉文件扩展名_后端开发
  18. 5568 -- 【BJOI2018】治疗之雨
  19. c语言arg是什么函数,arg函数(arg辐角公式)
  20. 【OpenCV】在Linux下用CMAKE编译安装OpenCV3.2.0

热门文章

  1. 2020华为软挑热身赛 个人总结
  2. 黑客攻防技术系列高清视频教程+必备工具包下载
  3. c语言二级考试报名费,c语言二级考试(计算机二级c语言报名)
  4. 通过代理查看Myeclipse的主页
  5. SQLite Developer破解 cmd 运行 reg delete HKEY_CURRENT_USER\SharpPlus\SqliteDev /v StartDate /f
  6. CoolHC Volume 1 By CoolFire
  7. 在Windows NT上装还原卡
  8. [Zer0pts2020]ROR1
  9. Vue 中的 key 有什么作用?
  10. 虚拟机下载-下载windows镜像