数据中心安全风控_平安银行Hadoop集群跨数据中心迁移项目告捷项目骨干专访

Hadoop集群跨数据中心迁移

平安银行东莞数据中心建成

平安银行科技中心零售大数据团队

平安银行科技中心科技运营中心

群迁告捷

经过平安银行科技运营中心和大数据团队的不懈努力，作为平安银行AI战略转型攻坚战中关键的一环—平安银行Hadoop集群跨数据中心迁移项目—在历时近一年后圆满完成，新建成的数据中心将在未来的三到五年内承载平安银行全行信息系统运行中枢的职能，为“科技引领、零售突破、对公做精”转型三大战略和五大金融生态构提供了夯实的根基。

科学规划，高效执行

Accurate Planning&Excution

自2019年下半年，科技运营团队和大数据团队在意识到当时机房容量可能会对不断发展的业务量产生限制，于是对数据中心的扩容和迁移方案进行了谨慎和详尽的论证和推演，在稳步推进数据中心建设和设备采购的同时，最终确定了新机房继续采用当前集群的方案。在800Gbps带宽的条件下，全量同步保税区集群HDFS数据到东莞集群，并灵活运用多种迁移工具，保证了同量数据的高效传输和增量数据的高效同步.

面对失误，及时调整

Timely Adjustment

在首次变更即将完结时，因为误删了Hive数据仓库目录的原因，导致第一次变更未能如愿。团队负责人快速决策，及时回退，避免了工作量进一步加大，同时团队也认真总结，汲取教训，为二次的变更积累了经验，保证了群迁项目最终成功。

面对第一次失误积极改善访谈小视频

群迁工程师的声音

Voice of Engineers

作为数据底层架构团队近两年最大最复杂的项目，迁移工作涉及线下诸多业务职能部门和供应商以及线上10余个系统和部门数据开发。从初期谨慎的调研分析，到科学的规划设计，从高效的迁移实施，到遇到问题的灵活调整，整个项目从数据中心建设开始一直到迁移步骤整理演练和实施，见证了两个团队的努力、成长和成熟，并见证着两个团队乃至所有平安人的勇于创新、忠于效率和善于协同的精神。小编有幸请到了两个团队项目骨干为大家小视频分享项目的经历和经验。

科技营运中心访谈小视频

零售大数据团队访谈小视频

对Hadoop群迁计划详情有兴趣的粉丝，点击阅读原文查看群迁详细技术报告。

“每一次挑战都是自我精进的机会，每一次攻坚都是团队超越的过程”， Hadoop团迁移项目中，科技营运中心和大数据团队展现了平安人不畏挫折，不惧艰难，敢于自省，善于攻坚的精神，相信后面的项目一定会有更多的成就。

平安银行科技中心大数据团队热招岗位

欢迎投递

大数据产品经理(营销、推荐、风控、AI、数据治理)

Java架构师/Java开发工程师

大数据架构师

数据开发工程师

工作地点：上海/深圳

简历投递邮箱：CHENHUAFANG640@PINGAN.COM.CN

平安银行科技中心科技运营团队热招岗位

欢迎投递

容器平台架构师

应用运维开发/前端开发工程师

安全技术工程师

工作地点：上海/深圳

简历投递邮箱：DAIWENJIA227@PINGAN.COM.CN

数据中心安全风控_平安银行Hadoop集群跨数据中心迁移项目告捷项目骨干专访相关推荐

同程旅行Hadoop集群跨机房迁移实践
本文作者:郭飞.现任同程旅行技术专家. Apache Hadoop.Hive.Spark contributor 背景随着同程旅行业务和数据规模越来越大,原有的机房不足以支撑未来几年的扩容需求,同 ...
软件架构自学笔记----分享“去哪儿 Hadoop 集群 Federation 数据拷贝优化”
去哪儿 Hadoop 集群 Federation 数据拷贝优化背景去哪儿 Hadoop 集群随着去哪儿网的发展一直在优化改进,基本保证了业务数据存储量和计算量爆发式增长下的存储服务质量.然而,随着 ...
本地日志数据实时接入到hadoop集群的数据接入方案
1. 概述本手册主要介绍了,一个将传统数据接入到Hadoop集群的数据接入方案和实施方法.供数据接入和集群运维人员参考. 1.1. 整体方案 Flume作为日志收集工具,监控一个文件目录或者一个文 ...
Hadoop集群大数据解决方案之MapReduce 程序实战进阶(自定义partitionsortgroup)（六）
准备在上一篇博客举了个简单的word count,重在说明mapreduce的流程,但是针对mapreduce的编程,程序员能控制的,远远不止map和reduce,还有诸如partition, ...
hadoop小型集群_小型Hadoop集群的Ganglia配置和一些故障排除
hadoop小型集群 Ganglia是一个针对大型集群的开源,可扩展且分布式的监视系统. 它收集,汇总并提供数十种与计算机相关的指标(例如CPU,内存,存储,网络使用情况)的时序视图. 您可以在UC ...
hadoop 集群间数据迁移
hadoop集群之间有时候需要将数据进行迁移,如将一些保存的过期文档放置在一个小集群中进行保存. 使用的是社区提供的功能,distcp.用法非常简单: hadoop distcp hdfs://nn1 ...
HADOOP集群大数据词频统计及设计比较（完整教程）
###如若发现错误,或代码敲错,望能评论指正!!! 通过百度网盘分享的文件:Hadoop相关需要的软件链接:https://pan.baidu.com/s/1XzDvyhP4_LQzAM1auQCS ...
大数据学习笔记（四）Hadoop集群(完全分布式)
一.Hadoop集群(完全分布式) 1. 准备工作 1.1 拿模板机克隆三台虚拟机(DT100,DT101,dt102),其中DT100作为master,DT101,102作为slaves A.在ma ...
【大数据】第二章：搭建Hadoop集群（送尚硅谷大数据笔记）
尚硅谷Hadoop3.x官方文档大全免费下载. https://pan.baidu.com/share/init?surl=P5JAtWlGDKMAPWmHAAcbyA 提取码:5h60 搭建集群没什 ...

数据中心安全风控_平安银行Hadoop集群跨数据中心迁移项目告捷项目骨干专访

数据中心安全风控_平安银行Hadoop集群跨数据中心迁移项目告捷项目骨干专访相关推荐

最新文章

热门文章