随着银行业的竞争日益激烈,银行业务种类迅猛增加,业务系统及应用系统规模和复杂度也随之增加,银行对数据的分析需求越来越多,系统与系统间的数据交互活动越来越频繁,构建批量数据交换平台以满足日益迫切、频繁的批量数据交换需求成为各家银行的普遍选择。

本文以国家政策性银行中国农业发展银行(以下简称农发行)为例,深度解读农发行企业级批量数据交换研究与实践,为金融行业数据共享交换管理提供一种新思路。

项目背景

随着金融科技的迅猛发展,农发行原有的数据交换平台在功能上、时效性、安全性以及支持大数据交换等方面已不能满足全行需要,存在诸多问题:

  • 交换性能较低,基于Oracle作为中间存储,以落地文件为交换媒介
  • 安全性低,数据交换通过FTP文件交换,缺乏安全管控
  • 缺乏服务管理,缺少有效的管理手段,影响性分析的粒度较粗
  • 时效性低,需要上游系统统一批处理完成,T+1才能开始卸载
  • 缺乏统一规划,数据交换功能没有统一规划,定位不够清晰
  • 数据交换类型有限,目前为文件及数据库表的数据交换

项目内容

为配合农发行新一代核心业务系统的建设,根据其IT整体规划中的数据架构规划,结合各应用系统现状,在新一代核心上游生产系统和下游数据消费系统(数据仓库、报表平台等)之间,采用统一采集交换平台批量传输数据服务模式,建设新的数据交换平台。

基于亿信华辰自主研发的数据交换软件EsDataExchage,为农发行建设了全行级数据交换平台,该平台利用数据总线架构模式,承担全行数据传输的枢纽工作,统一维护行内各个系统之间的数据接口,统一协调数据资源,统一为各个系统提供数据交换共享。

新的数据交换平台与农发行企业级批量数据流转架构的关系如图所示。

△农发行新数据交换平台批量传输架构图

①数据交换平台从数据生产系统采集数据,主要有文件采集和DBLINK采集两种模式。

②数据交换平台采集数据生产系统数据并下发至数据仓库。

③数据交换平台交换数据至数据集市,主要分为三种供数情况:一是贴源数据直接供给数据集市;二是数据集市加工后数据回流数据仓库;三是数据集市间的数据交换。

④数据仓库加工后数据回流至数据交换平台,数据仓库数据有以下两种供数情况:一是数据仓库卸载数据文件通过数据交换平台供给数据集市;二是数据仓库卸载数据文件通过数据交换平台供给数据生产系统、大数据平台、省行平台等。

⑤通过集中调度平台实现数据集市、数据展示层与数据仓库之间的数据流转,无需数据交换平台参与。

⑥数据交换平台将获取的数据生产系统数据或数据仓库、报表平台等加工后的数据,传输给省行平台。

⑦数据生产系统间批量数据交换。⑧数据交换平台直接采集数据生产系统数据并下发大数据平台。

项目价值

新的数据交换管理平台,构成了银行数据体系的基础。该平台提供转码、拆分、合并等简单的数据加工服务,一方面帮助数据供应系统减轻数据下发压力;另一方面通过提供增量数据及共性数据加工,帮助数据消费系统减少数据处理时间,提高效率。该平台具有以下三大价值:

时效性强。平台支持7×24小时数据交换,不仅为总行相关系统提供T+1、T+0以上批量数据,也将成为各种分行的数据消费的唯一来源

扩展性高。平台提供了丰富的脚本组件、转换组件、清洗组件、存储过程组件、系统命令组件,并内置了多种函数库,提供跨数据库类型和版本的算法兼容性,同时支持自定义,保证了平台工具的扩展性。

安全可靠。采用加密传输机制,内置大量的数据脱敏算法,支持对系统和数据的操作行为审计,保证数据的安全性。

总体来看,农发行基于亿信数据交换软件搭建的数据交换管理平台,实现银行内各种信息系统的互通互联和数据共享,形成统一的数据服务层,为上层应用提供数据服务,为银行业务信息服务的便利、完善和高效提供可靠的数据基础。当然,亿信华辰数据交换平台在税务、卫生、法院、政务、交通等行业也有着重要的应用,敬请期待下次分享。

银行数据仓库体系实践_案例:农发行数据交换共享平台建设实践分享相关推荐

  1. 145页6万字政务大数据交换共享平台建设方案

    第一章 需求分析和项目建设的必要性 ...........................................4 1.1 项目建设目标.内容........................ ...

  2. 政务部门数据交换共享方式对比

    近年来我国各级政府已经进入了信息化高速发展的时代,随着各级政府业务开展的同时,业务数据越来越多的积累,部门之间为打破"信息孤岛",开展业务协同进行了不懈的努力.随着国家政策的不断完 ...

  3. 袋鼠云数据中台专栏(一) :浅析数据中台策略与建设实践

    袋鼠云数据中台专栏(一) :浅析数据中台策略与建设实践 https://yq.aliyun.com/articles/604571?spm=a2c4e.11153940.0.0.22e27e09zv9 ...

  4. 货拉拉数据治理平台建设实践

    导读:在数据开发和数仓建设过程中,数据治理落地和提升数据质量的重要性逐渐凸显,本文将从货拉拉的数据治理实践出发,分享货拉拉在数据治理体系构建.数据质量平台建设.元数据平台建设方面的实践. 今天的分享会 ...

  5. 七牛云大数据平台建设实践

    2017 年 1 月 14.15日,为期 2 天的 ECUG Con 十周年大会在深圳圆满结束,会上七牛云 CEO 许式伟做了题为<七牛大数据平台建设实践>的演讲,首次披露七牛云在大数据方 ...

  6. 知乎的 Flink 数据集成平台建设实践

    简介:本文由知乎技术平台负责人孙晓光分享,主要介绍知乎 Flink 数据集成平台建设实践.内容如下: 1. 业务场景 : 2. 历史设计 : 3. 全面转向 Flink 后的设计 : 4. 未来 Fl ...

  7. 知乎数据集成平台建设实践

    摘要:本文由知乎技术平台负责人孙晓光分享,主要介绍知乎 Flink 数据集成平台建设实践.内容如下: 业务场景 历史设计 全面转向 Flink 后的设计 未来 Flink 应用场景的规划 01 业务场 ...

  8. 基于Apache Flink的爱奇艺实时计算平台建设实践

    导读:随着大数据的快速发展,行业大数据服务越来越重要.同时,对大数据实时计算的要求也越来越高.今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践. 今天的介绍会围绕下面三点展开 ...

  9. 宜信智能监控平台建设实践|分享实录

    摘要:介绍宜信智能运维平台UAVStack的设计思想.技术架构和核心功能,及落地实践经验. 内容来源:宜信技术学院第6期技术沙龙-线上直播|宜信智能监控平台建设实践 主讲人:宜信高级架构师 & ...

  10. 宜信智能监控平台建设实践

    摘要:介绍宜信智能运维平台UAVStack的设计思想.技术架构和核心功能,及落地实践经验. 内容来源:宜信技术学院第6期技术沙龙-线上直播|宜信智能监控平台建设实践 主讲人:宜信高级架构师 & ...

最新文章

  1. 记录 之 tensorflow常见的数据预处理操作
  2. 洛谷 - P3980 [NOI2008]志愿者招募(最小费用最大流+思维建边)
  3. web数据交互_通过体育运动使用定制的交互式Web应用程序数据科学探索任何数据...
  4. 小说中人称转换作用_长篇儿童小说《合欢》:一树红绒落马缨
  5. JDK9.0.4安装配置
  6. 【数据库】使用PLSQL工具时,ORACLE客户端连接串的配置
  7. 【2019杭电多校第二场1009=HDU6599】I Love Palindrome String(回文树的fail树)
  8. 科学计算机度转弧度,角度弧度换算器在线(70°角度转换弧度)
  9. spring boot全局日期格式化配置
  10. mysql 计算15位身份证_15位身份证补全为18位身份证算法
  11. 图解三层交换机:局域网都用它来组网
  12. 怎么隐藏电脑桌面的计算机图标,怎么隐藏电脑桌面右下角图标
  13. 【VideoQA最新文献阅读】Open-Ended Multi-Modal Relational Reason for Video Question Answering
  14. 计算机基础知识对程序员来说有多重要?
  15. 并发控制中的乐观锁与悲观锁
  16. 机器人瓦力 配乐_浅析《机器人瓦力》的电影配乐
  17. 【读书笔记】理工科思维解读《万万没想到》
  18. loopback interface data flow
  19. Linux 系统信息查看命令
  20. Adroid 触摸屏设备

热门文章

  1. banner 获取当前指示物_ConvenientBanner使用指南
  2. 室内定位程序_在哪都能找到你!苹果新iPhone将支持UWB高精度室内定位
  3. HTML:页面布局和背景
  4. python3基本语法规则,Python中的语法规则
  5. android 添加联系人地址,android – 如何向联系人添加新字段?
  6. 面板x轴模式包括哪些_虎扑轻跃 | 体验一汽大众探岳X
  7. Mysql数据库性能优化配置:my.cnf/my.ini配置说明详解(测试机器为16GB内存)
  8. C++_auto_ptr与unique_ptr智能指针
  9. python_numpy_矩阵乘法multiply()、dot()、 matmul()、 * 、 @ 辨析
  10. opencv图像分析与处理(15)- 图像压缩中的编码方法:霍夫曼编码、Golomb编码、Rice编码、算术编码及其实现