GBASE助力山东移动大数据平台PB级数据主仓业务跨机房无感知迁移
近日,山东移动完成了PB级数据仓库跨机房的搬迁及扩容,项目实施做到了业务应用的代码零改动,通过修改JDBC的连接串,重启服务就完成了系统割接,真正意义上做到了经分大数据数据主仓完全业务无感知的跨数据中心搬迁工作,目前扩容后系统已良好运行超过30天。
项目背景
2012年7月开始山东移动经分系统开始采用GBase 8a MPP数据库对DB2进行全面替换,经过几期建设,2020年逐步建成大数据开放运营平台,通过MPP数据库服务能力为大数据平台数据对内对外服务提供助力。
随着承载量的剧增,2021年开始云经分数据主仓的72节点集群存储超过90%,存储长时间高水位可能引发频繁的硬件故障,同时数据库整体性能也会有所下降,这就要求运维团队随时监控集群情况,一方面是运维投入的增加,一方面是影响新的业务开发,所以集群扩容成为亟待解决的问题。
山东移动第五数据中心是省公司最早建设的数据中心之一,目前已饱和使用,无剩余空间用于业务扩容,所以只能将大数据平台进行跨机房搬迁和扩容。经分大数据主仓库PB级的数据量、15万张的表、每日库内超过3000个作业以及日加工时间超过16个小时等客观情况都为迁移工作带来巨大挑战。
解决方案
经过周密计划,GBASE制定了2步骤的搬迁扩容方案:
1、基于GBase 8a镜像集群实现数据复制,进行机房搬迁
通过GBase 8a MPP 产品V95版本搭建跨数据中心的双活集群架构,在第六数据中心创建虚拟集群VC2,要求VC2与第五数据中心VC1的集群规模、分片个数、distribution和hash map完全相同,创建VC2之后通过镜像关系开始集群的全量数据同步,同时上层应用修改JDBC连接,开始访问VC2的Coordinator节点,此时VC1的datanode节点仍然作为生产数据集群对外提供数据服务。
当数据同步完成后将VC2的Coordinator向下访问数据集群修改为VC2的datanode,最终完成数据主仓的跨数据中心迁移工作。
此方案做到了业务应用的代码零改动,通过修改JDBC的连接串,重启服务就完成了系统割接,真正意义上做到了经分大数据数据主仓完全业务无感知的跨数据中心搬迁工作。
2、对搬迁完成后的集群进行节点扩容,提升大数据平台的存储容量及计算能力
最终通过7天时间的数据重分布完成了PB级数据由72节点到158节点的扩容工作,目前扩容后系统已良好运行超过30天。
价值体现
通过GBase 8a MPP V95版本的虚拟集群功能,在虚拟集群中将两个同样规模和数据分布策略的子集群建立镜像关系来构建实时数据复制,可以构建大数据业务平台实时双活的容灾方案。
通过山东移动大数据平台主数据仓库的成功迁移,验证了通过虚拟集群搭建双活或容灾架构的可行性,为其他预计搭建双活或容灾集群的省公司积累了丰富经验,也证明了GBase 8a MPP的产品力和南大通用的自主研发能力,为进一步助力中国移动数字化全面转型添砖加瓦。
GBASE助力山东移动大数据平台PB级数据主仓业务跨机房无感知迁移相关推荐
- 国家教育部牵手曙光公司——“百校工程”助力教育行业大数据平台建设
5月14~15日,以"向互联网+与智能制造进军"为主题的第三届产教融合发展战略国际论坛在河南省驻马店市召开,教育部副部长朱之文.河南省副省长徐济超.教育部学校规划建设发展中心主任陈 ...
- 飞天大数据平台助力轻松筹数字化运营
简介:本文讲述了轻松筹是如何利用阿里云大数据平台搭建低成本的数据中台,实现数据化运营.数据中台支撑了轻松筹丰富的运营活动,通过智能化的手段,为用户和企业创造了价值. 轻松筹数据平台部高级总监 孟奇奎 ...
- 实战分享:从京东618数据井喷看大数据平台峰值处理制胜关键
一.大数据综述 随着DT(数据技术)时代的到来,人们能比以往更容易地获取更丰富的数据.数据作为一种新的能源形式,正在源源不断地发挥其巨大的价值,帮助我们激发更多的技术驱动力,提供更优质的服务. 在京东 ...
- 硅谷企业的大数据平台架构什么样?看看Twitter、Airbnb、Uber的实践
导读:本文分析一下典型硅谷互联网企业的大数据平台架构. 作者:彭锋 宋文欣 孙浩峰 来源:大数据DT(ID:hzdashuju) 01 Twitter的大数据平台架构 Twitter是最早一批推进数字 ...
- 如何保障大数据平台的安全性
大数据平台的建设应以实际项目为基础,以现代信息安全理论为基础,遵循国家标准,采用国内外先进的信息安全技术,采取有效的安全策略.建立技术手段在硬件网络,操作系统,数据库,应用软件和管理等各个方面覆盖统一 ...
- 大数据平台架构与原型实现-读书笔记8
第八章 批处理与数据仓库 一.大数据与数据仓库 从大数据应用的角度看,数据仓库是大多数企业"试水"大数据的首选切入点,原因为: 数据仓库的主要编程语言以SQL为主,在大数据平台上, ...
- 大数据平台在互联网行业的应用
本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结.以实际经验讲解了大数据从雏形到发展,以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用. 大数据显雏形--发展 所有 ...
- 重庆移动大数据平台 实现流量计费可视化
日前,重庆移动在大数据平台上自主设计开发的流量计费可视化系统正式上线,将为流量计费质量监控.分析处理提供有效支撑. 据了解,该系统可实时监控流量计费并将结果展示到大数据天眼系统,一旦某个时间段计费出现 ...
- 大数据平台助力核与辐射安全监管
大数据平台助力核与辐射安全监管 核能开发利用是大国发展的战略必争之地,也是调整能源结构.应对气候变化和建设生态文明,进而确保国家安全的重要手段.虽然我国核与辐射安全监管能力不断提升,但仍面临诸多挑战. ...
最新文章
- 使用c:forEach 控制5个换行
- php signature解密,openssl RSA非对称加密、解密、签名、验签
- 定义DO/DTO/VO等POJO类时,不要设定任何属性默认值
- spring 环境配置
- JEECG_3.7开发环境搭建与代码生成器入门级教程-张代浩-专题视频课程
- [ARM-Linux开发] 主设备号--驱动模块与设备节点联系的纽带
- 【BZOJ3669】【codevs3314】魔法森林,写作LCT,读作SPFA
- 注意了!人社部宣布:未来5年,这 10 个新职业有千万缺口
- matlab nist接口文件,Matlab调用refprop教程说明
- PostgreSQL安装及关联ArcMap,创建地理空间数据库
- 45 pinctrl子系统 和 gpio子系统
- 远程桌面管理工具源码
- ArcGIS实验教程——实验四十二:ArcGIS密度分析(核密度、点密度、线密度)
- 磁盘如何除写保护(常规解决方案)
- android怎么更换播放器,android 播放器切换 出错
- 基于Java毕业设计影院网上售票系统源码+系统+mysql+lw文档+部署软件
- 华为 显示端口 计算机,华为交换机查看端口命令?全部啊。
- MATLAB | 如何在MATLAB中使用python全部colormap配色
- cf 1168 C. And Reachability
- Python真正实现PDF按顺序静默打印
热门文章
- 录屏工具哪个好?手机、电脑录屏都ok
- TIME_WAIT状态产生的原因、过多的危害
- LinkedIn领英开发客户方法大全(篇一)
- OpenCV系列之Canny边缘检测 | 十九
- MacOS 安装 QtCreator 5.9.8 作 C++ 的 IDE 开发工具
- iperf3----网络吞吐量测试工具
- 关于“设计模式”和“设计程序语言”的一些闲话
- leetcode系列--40.组合总和 II
- 施工员简历英语计算机水平,技术施工员英文简历范文
- 自考计算机组装与维修试卷,贵州自考计算机组装与维护模拟试卷一