【数据治理案例分享】赣州银行数据管控平台建设项目（一）
文章摘自【2020数据质量管理标杆奖项征集作品精选】
一、 研究课题背景
国家政策对金融大数据发展提供政策支持，央行官方正式发布了《金融科技(FinTech)发展规划(2019—2021年)》，强调进一步增强金融业科技应用能力，实现金融与科技深度融合、协调发展。
大数据、云计算等信息技术的发展为金融产品创新提供了良好的基础。信用风险、智能客服、精准营销、反欺诈和风控创新应用都离不开数据。
2018年5月21日，银保监会发文《银行业金融机构数据治理指引》，给中小型城商行数据治理提供了引导支撑。在实际建设操作过程中，发现了数据标准不一致、指标产生不统一、数据微小差异难识别等现实问题，对本行金融产品创新产生了严重阻碍。基于这些问题，我行有一些思考，并在数据管控平台中进行了实践。
二、 中小银行数据治理难点
中小银行由于地域、规模、人员、业务等多方面与大型银行存在一定的差距与差异，因此在数据管控与治理领域也有着自身特性与难点，主要表现在：
组织人员“支撑难”
中小型银行往往存在人员匮乏、员工专业技能及经验尚不足的难题，既懂业务又懂数据管控与治理的综合人才更是稀缺，因此很难找到足够多、足够专业的人员来组成专门的数据治理团队会来支撑管控的各个环节。
历史问题“处理难”
由于历史原因，中小型银行很多存量系统建设不规范，没有统一的标准作为指导，升级改造又面临诸多困难，这些都成为了标准体系建设的阻碍，增大了标准规范实施落地的难度。
质量问题“辨别难”
中小型银行往往为了更好的差异化经营，业务种类繁多，从而数据问题类型也复杂，数据质量不高，但仅凭行方人员人工判断难度大，这对本就专业人员匮乏的中小型银行来说，更是难以快速、精准的辨别并处理。
跨越领域“协同难”
数据管控和治理涉及工作内容很广，跨越多个部门，中小型银行往往缺乏相关的流程，协调沟通困难，成本较高；同时在技术层面，中小型银行也并未将元数据、数据标准、数据质量等领域打通，难以实现高效联动协同。
三、 “新一代”数据管控平台建设思路
针对中小型银行数据治理存在的诸多难点，同时为全面达成数据管控与治理目标，我行本次以全新的思路打造“新一代”数据管控平台。
1. 新方法解决当前问题。面对当前的各类数据治理难题，数据管控平台在建设上具备针对标准、质量等迫切问题的解决方法，实现问题的快速辨别与有效落地，从而帮助我行告别以往事后处理的被动局面。
2. 新理念建立完善的管理体系。数据管控平台在建设上不仅仅是一个提供解决问题方法的工具，同时也是各系统、各流程、各角色的连接枢纽，从而帮助构建一个完善的体系闭环，保证数据管控从顶层到底层的全面落地贯通。
3. 新技术适应未来发展。大数据时代的发展瞬息万变，数据管控平台的建设要着眼未来，在建设上凭借其极强的通用性，同时融入多种智能新技术，以保证能够自动更迭扩展，从而满足发展的需要。
4. 新观念构建治理人文氛围。数据治理是一个长期持续的过程，各角色基于平台对各治理领域的深度融合，从观念上进一步理解，养成习惯，形成氛围，主动优化，实现从僵化到固化到优化，保障管控治理的长久生命力。
四、 “新一代”数据管控平台建设亮点
1、运用多项智能和可视技术，解决组织人员“支撑难”
针对中小银行人员匮乏，特别是既懂业务又懂数据的综合性人才稀缺问题，我行在关键环节运用了多项智能技术和可视化技术，取得了比较好的效果。
关键环节实现智能化，释放管控人员工作压力。通过调研发现，标准的落标映射和检查是最费时费力的。标准应该在哪些系统，哪些表，哪个字段去遵守？大家有没有持续遵守？现在业界大部分用人工的方式去完成，我行采取了智能化的方式，实现了数据标准和数据来源智能映射和自动检查，大大减少管控人员的工作量。
对于技术人员，实现了目录活化技术，当数据来源结构变化，能对数据资产智能化更新。大大降低技术人员底层的维护工作量。
业务部门即是数据的生产者也是消费者，参与数据管控工作的深入程度决定了管控效果的好坏。管控平台设计上，引入了主流的可视化技术，尽可能以业务人员能理解的方式组织功能界面、交互和展示治理成果，打通业务人员全流程的可视化，保证业务人员与技术人员的理解一致，降低对管控人员技术能力的要求。
2、构建全域全流程管理规范，解决历史问题“处理难”
针对中小型银行很多存量系统建设不规范，没有统一的标准作为指导，升级改造困难的局面，我行通过全面的梳理与规范，进行了有效的处理。
随着我行信息化建设的不断深入，业务系统逐步增多、结构关系日趋复杂，管控平台特此针对现有的各类数据源实现了元数据自动化采集，从而全面了解历史建设情况，并以此为基础进行深度梳理，形成完善的词根管理。通过定义统一的用语规范，为各方提供了权威可信的参考依据。
当前银行各类存量系统，由于建设时期、建设厂商不尽相同，使用的规范更是五花八门，有的没有数据字典只能依靠原厂商，有的甚至原厂商都难以联系上，因此改造成本高、困难大。面对此情况，我行通过链接图谱、映射转换等技术手段，可以有效的进行标准规范的转换落地，避免了系统的改造，较好的降低了成本，解决了历史遗留问题。
3、提炼多种针对性检查规则，解决质量问题“辨别难”
针对中小型银行业务种类繁多，数据问题类型复杂，数据质量不高，仅凭行方人工判断难度大的问题，我行通过研究自身数据特征，量身打造了数据质量问题管控体系。
基于对大量问题数据的研究分析，总结出契合我行的14大类质检规则，充分利用四则运算、数理统计、数据挖掘等多项技术，提供百余种质量规则模板，有效覆盖了90%以上问题场景，较好的降低了人工辨别难度。
数据质量问题的管控不仅仅是一次性的发现辨别，而是持续性的监控提升，因此管控平台通过对质量规则的组合、调度，实现了数据问题的自动、智能探查，避免了需要人工反复排查的局面。
现在业界很多费了大力气辨别出问题后，却没有更进一步的整改修复措施，我行通过在平台上定义规范的整改流程和绩效评分机制，并提供多维度的质量绩效报告为依据，实现责任到人，促进落实数据整改工作。
4、打通全流程线上管理，解决跨越领域“协同难”
针对中小型银行数据管理，跨部门流程缺乏，协调沟通困难；数据治理，跨领域，未融合联动的问题，我行将全流程在线上打通，实现了高效协同。
防患于未然，从源头把控，往往可以有效的减少后续诸多不必要的沟通协调与处理。因此平台设计了严格的变更管控流程，变更前须通过提交变更申请，及其参考依据，审批会签通过后，才允许进行实际变更，保证了从源头进行管理。
对于现已存在的各类流程，管控平台专门研发了流程设计工具，通过简单的拖拉拽就可灵活配置符合我行实际业务场景的规范流程，实现全流程线上管理，并可随着管理制度、组织架构的变更而变更，做到了快速协同反应。
对于数据治理的几大核心领域，为避免出现业界普遍存在的流于表面现象，管控平台采用全新Spring Boot+EUI开发，微服务架构，实现各模块的深度融合与联动，治理场景全面打通。同时，也充分考虑了系统集成与二次开发扩展性，保证能够适应未来发展需要。
【数据治理案例分享】赣州银行数据管控平台建设项目（一）相关推荐
- 【数据治理案例分享】论工业企业物料数据质量管理方法
文章摘自[2020数据质量管理标杆奖项征集作品精选],本文荣获DQMIS2020第四届数据质量管理国际峰会之"2020数据质量创新论文奖",论文作者:王建峰. 01 物料数据质量管 ...
- 【活动预告】金融大数据治理实践分享（12/03）
原创 DAMA数据管理 # 本期主题 金融大数据治理实践分享 数字化时代,数据的价值受到越来越多的关注,有人将其比作黄金,也有人将其比作石油,成为组织中的最重要资产之一.针对数据这种有特殊属性的资产, ...
- 谈谈医疗行业数据治理的四个关键阶段【后附医院数据治理案例】
数据是推动医疗行业的改进,驾驭不断变化的医疗行业环境的必要资源.它使医疗行业组织能够评估医疗的提供和支持方式.患者参与和教育的方式,以及支付者和提供者如何共同努力提高价值.但是医疗行业数据很复杂,而且 ...
- 【ECdataway数据威】2018电商大数据与案例分享会 品牌方免费公开报名开启
5月中旬开始,电商2大平台已经打响了"年中大促"的大战,并且将战线拉长到接近一个月,2大平台随后也晒出了骄人的战绩,在这战绩的背后是电商迭代的进化与演变,ECdataway数据威用 ...
- 华为云数据治理生产线DataArts，让“数据‘慧’说话”
摘要:数据治理生产线DataArts改变了传统"人拉肩抗"的数据处理方式,帮助提升效率:降低技术门槛,让"人人都是分析师":让"数据'慧'说话&quo ...
- 数据治理价值链模型与数据基础制度分析
数据治理价值链模型与数据基础制度分析 黄科满1, 杜小勇1,2 1中国人民大学信息学院 2数据工程与知识工程教育部重点实验室 摘要:培育数据要素市场是实现数据价值充分释放的重要机制.而数据要素市场的繁 ...
- sap系统前台数据与后台表之间_数据治理之SAP软件非生产数据清除方法
作者:JongWill声明:本文章仅用于SAP软件的应用与学习,不代表SAP公司.(注:文中所示截图来源SAP软件,相应著作权归SAP所有.) 我们知道SAP系统软件往往在使用多年后,底层数据库中的数 ...
- 数据治理（二）：数据治理功能方面
文章目录 数据治理功能方面 一.主数据管理 二.元数据管理 三.数据标准管理 四.数据质量管理 五.数据集成管理 六.数据资产管理 七.数据安全管理 八.数据生命周期管理 九. ...
- 关于数据治理的读书笔记 - 企业数据治理的“道、法、术、器”
读书笔记的历史文章, <关于数据治理的读书笔记 - 数据治理.数据管理和数据管控的理解> <关于数据治理的读书笔记 - 什么是数据治理?> 数据治理的本质是管理数据资产,改善数 ...
最新文章
- c# 实现 加减乘除
- 斐波纳契数列递归和非递归算法
- SpringMVC-文件上传
- mysql程序设计排球比赛_Jsp+Ssh+Mysql实现的排球馆预约管理系统项目源码附带视频指导运行教程...
- MariaDB架构图与执行流程概述
- 用代码玩剧本杀？第3届83行代码大赛剧情官方解析
- Gitee同步GitHub仓库如何操作
- spark学习——（一）spark简介
- 一盘商家一盘货，拼多多为什么比手淘便宜？
- 数字孪生新型智慧城市一网统管云平台建设方案（44页PPT）
- Eyoucms采集-易优实时数据采集-Eyoucms自动采集
- 圆周运动的古中医学摘抄
- Maya模型导入到Unity3d 的秘诀
- 一天一阔阔儿ZYNQ的linux移植完整版(Linux环境搭建以及内核编译)
- 获取处于选中状态的checkbox的id值
- Stochastic Depth ResNet
- h5发送短信以及判别用户浏览器版本
- Camera 手电筒修改
- 使用快捷键打开当前目录iTerm
- CSS 框模型概述 CSS 框模型 (Box Model) 规定了元素框处理元素内容、内边距、边框 和 外边距 的方式...