讲师介绍

蒋梦琴(点神),数澜科技华中交付部门负责人,10余年行业数据经验,兼任大数据资深架构师,擅长数据建模、数据治理、数据仓库、数据技术架构等领域,完成10余个数据中台建设项目。曾在万科集团、恒大人寿等大型项目中主导大数据架构实践,包括集群架构,数仓规划建设,实时架构与开发等实践和落地。


以下内容为点神分享内容整理而成

一、数据治理全链路方法论

1. 什么是数据治理?

数据治理是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行, 关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。这里可以看到,数据治理涉及到数据使用、管理行为、组织、流程制度等;

2. 为什么要做数据治理?

当前涉及数据治理涉及数字化转型政策频出,在《十四五年规划和2035远景目标》最高级别的文件中,国家明确提出加快发展数字化,建设数字中国。在国家数字化指导背景下,企业也逐步迈开了数字化步伐。

目前在数字化建设中政府和企业内部在数字化转型进程中经常面临以下问题:

数据多样化,缺少统一标准,统一取数口径;
数据质量低下,统计分析不准确;
数据孤岛情况严重,数据无法溯源,出了问题找不到原因;
缺乏数据管理组织,缺乏相应的制度、流程,数据问题没有认责和追责;
数据在哪里,有多少,哪些是高价值数据;
数据安全和用户隐私得不到保障,数据风险隐患大;

3. 数据治理能解决哪些问题?

1)制定统一标准:帮助政府和企业建设数据标准,制定统一标准

2)挖掘数据价值:帮助企业和政府梳理资源,形成数据资产,丰富分析应用全面掌控数据来龙去脉,以获得更多的数据洞察力,进而挖掘资源中的隐藏价值。

3)管控数据质量:帮助企业和政府建立数据质量管理体系,对数据质量实时监控,及时整改, 全面提升政府和企业数据的完整性、准确性、及时性,减少因数据不可靠导致的决策偏差及损失。

4)提升信息服务水准:帮助政府和企业制定相关流程、政策、 标准,保证信息的可用性、可获取性、 优质性、一致性以及安全性,提升信息服务水准。

5)降低数据安全风险:提升政府和企业数据资产安全性, 并帮助建立相关安全规范和响应机制,全面保障其数据安全。

4. 数据治理的主要价值?

面对来源丰富、特征多元的数据,数据汇聚管理正逐渐成为企业信息化建设和管理的重要内容和要求,数据治理是实现数字化运营的重要基石,数据治理能够

促进开放共享:
数据治理能够消除数据的不一致性,建立规范的数据应用标准,实现数据广泛共享。
提升数据质量:
增效降本运营通过数据治理,能够及时发现,解决及监控数据问题,从根本上改善和解决系统的数据问题,保障数据的可用性、数据质量等。
提升风控水平:严密的数据安全机制,降低数据风险。
促进管理创新:增强业务流程和资源配置的优化,提供业务管理能力。
优化流程管控:
大多数据治理的各模块都是独立地执行其功能,通过数据治理可以将数据管理各环节大通,实现完整的数据管控流程。

5. 数据治理体系框架如何搭建?


数据治理整体框架围绕“115N”进行开展。即以1套平台为支撑,构建5大治理体系,承载N个业务场景,实现1个目标。

6. 数据治理体系框架具体说明?

战略层:建立以业务价值驱动的数据治理体系,以数据的可见、可用、可运营为目标;坚持基于规则的质量管控,基于成本的价值运营,基于场景的数据生产三大原则。

战果层:以业务场景价值为驱动,智慧审计、数字孪生、精准营销等等,紧密围绕数据治理过程进行建设;大规划、小试点,数据治理体系逐步建立;

战术层:构建数据治理的五大治理,管控体系、标准体系、质量体系、安全体系、资产体系。

战法层(工具层):搭建数据平台,按照总体规划,分步拉通全域数据;支撑数据治理体系的落地,确保数据治理成果的可持续。

7. 五大治理体系介绍

对于战术层的5大体系进行初步认识后,下面我就每个体系进行详细拆解:

1、管控体系

1)管控体系·组织保障

组织是数据治理工作开展的前提。数据管理组织由决策层、管理层和执行层构成,涵盖了从数据生产、采集、加工、处理、消费的各项环节。

下面图例就是我们通常在组织建立的这三个层级,有数据管理委员会、数据管理中心,另外还有底层的外部用户、数据使用部门、数据业务部门和数据支撑部门。

2)管控体系·制度制定

制度是数据治理工作的保障。制度包含了政策、制度与指引、细则与规范,通过规则、办法、流程、规范的约束,相关责任部门及人员可以更清晰、更有力的配合数据管理工作的推进。

3)管控体系·流程保障

流程是数据治理工作的关键。不仅包括数据的生命周期管理流程,还包括支撑数据生命周期顺利开展的相关过程领域的流程,它是解决数据治理工作协同的关键保障。

流程梳理的框架,分为数据标准体系的流程,数据质量体系的流程、等7个流程,每个流程关键点与主要步骤如列表所示。

4)标准体系·数据标准

在流程机制的保障下,接下来要考虑标准体系的建设,最重要的就是数据标准的建立,建立标准化的目的是为了降低沟通成本。

数据标准是保障数据内外部使用和交换的一致性和准确性的规范性约束,这种约束不仅是系统间的,也是业务间的。标准的特性包括业务属性,技术属性,管理属性等,那么具体如何制定?

标准的制定流程:现状评估——分析诊断——形成标准化定义初稿并讲解,修正并形成数据标准——确定映射的系统范围、制定映射的规则、并根据数据验证映射规则——提出标准在未来落地可能带来的各种影响,就标准与现状的实际差异给出具体的执行建议,执行验证和执行推广。

5)标准体系·数据标准

在学习标准体系建设流程后,我们继续分析建设过程中它是如何运作的;

数据标准通常可分为基础数据标准和指标数据标准,数据标准不仅指数据本身的标准,也包括影响数据过程的标准,如开发标准。右图是数据开发规范,通过标准的开发规范,能够规避指标加工因流程不统一,而产生数据源头情况不明,开发效率低的问题。

2、质量体系·数据质量

数据质量是指数据满足应用的可信程度,质量管控的目的是保证数据的应用效果。

数据质量管理可以聚焦于影响“财报”和“业务运营”的关键数据,对准数据质量六性进行评估,如主数据、核心事务数据等。

数据质量梳理过程:发起数据质量需求——结合被评估的数据集和数据质量评估指标——产生针对评估对象、评估指标、权重、期望值等数据质量评估规则——通过数据质量任务进行校验落地,产生数据质量评估结果——形成质量处理的闭环。

3、安全体系·数据安全

数据分类分级是数据安全管理的基础。数据的收集、存储、处理、共享等一系列活动都应在数据分类分级的基础上进行,安全管控的目的是保障数据的充分共享。

从业务线出发,结合数据资产进行业务的细分,主要考虑管理范围和管理对象,形成数据分类结果,基于数据分类结果做级别的判定,采取对应的数据防护措施,包含数据脱敏和数据权限两个方面的措施,最终落实数据分类分级结果及数据管控方案,监控执行情况。

数据分类分级结果需与数据存储、权限、脱敏、开发等措施挂钩,才能确保安全体系的落地;

数据的安全级别并不是一成不变的,在数据流转、传递、使用过程中,可能会因业务需求、数据处理、数据生命周期的不同而不同。如:进行了数据汇聚,数据泄露所造成的危害必然会增大,此时数据安全等级应该上升,而数据进行脱敏后使用、传输和存储,其安全等级则相应下降。

4、资产体系·数据资产

构建资产体系过程就如做菜的过程,资产体系的过程,即是对原料进行加工,形成可以对外提供服务的产品的过程。

数据好比做菜的原材料,不同的搭配加工形成了数据资产,通过不同的业务场景驱动,形成不同的对外的资产服务,不同业务线去使用不同的数据。

构建资产体系的目的是为了让数据好找、好用。构建数据资产体系的过程是从业务数据化、数据资产化、资产服务化到服务业务化的过程;

通过数据的汇聚、整合、治理、编目并对外提供服务,是目前实践出的一条最有效的资产化的路径。

5、数据体系·数据分布

数据技术能力驱动(与具体应用场景无关)划分了数据域,通过数据业务能力驱动(与具体应用场景相关),形成不同对象的数据资产,应用到业务中去。

资产类目:资产目录是以元数据管理为基础,以数据搜索为核心,面向数据的最终消费用户,针对数据“找得到”“读得懂”需求而设计的。
标签类目:标签是面向业务的数据资产组织方式,其在数据资产中处于核心位置,是目前实践出的一种最有效数据资产化方法。
数据服务:以API的形式,构建敏捷交付的服务能力,满足数据服务需求;数据服务是基于用户需求产生的,而业务需求是动态变化的,为保证消费者总能拿到“最好的”数据服务,所以数据服务也是有生命周期的,如根据运营度量策略而做出的下架。
管控平台:保障治理成果的可持续。
08 数据中台工具平台建设优势:

数据中台建设与数据治理息息相关,相互促进与补充。只有构建和落地了完整的数据治理体系与机制,才能保障数据中台有效、快速解决数据类问题。

同样数据中台的建设与应用,也会促进企业关注数据价值,注重积累高质量的数据,并通过数据应用驱动数据治理体系的健壮与完善。

而拥有一套数据中台建设的工具平台,能有以下好处:

可以快速的构建企业级数据模型,指引业务系统建设;
可以将数据治理融入到数据中台开发团队中;
可以构建闭环的数据问题反馈机制,持续监控数据问题;

二、数据治理建设思路

1. 数据治理实施建议

通过轻咨询+项目实施+软件平台,实现数据治理的落地。

2. 数据治理咨询方法

通过四步走,现状调研、分析评估、顶层设计、路径规划。总结八个字“博观远虑,顺势谋局”。

3. 数据治理实施步骤

三、数澜数据治理的特点及优势

1、数澜具备咨询和落地的能力,一切以落地为导向

数澜科技聚焦行业客户的数据治理和数据资产建设的属性,依托“数据中台方法论”和众多行业实践,为客户提供融合数据、业务、应用和技术架构的建议和咨询,助力企业数据治理和数据资产建设。已形成5项管理规范、5项管理办法,7项工作指引以及完善的实施规划路线。

2、数澜数据治理产品的整体优势

拥有贯穿数据治理过程从事前、事中、事后等各个环境的产品落地。

3、数澜数据治理特点

1)丰富的客户案例:为数百家客户提供数据中台服务,客户满意度极高,多个客户与数澜有二期甚至多期合作(万科、方太、温州检察院、中信集团、时尚集团等);

2)无缝对接各类大数据平台:无论是数澜科技自身的大数据平台,还是第三方大数据平台,数澜科技的数据治理都可以无缝对接,保持对已有大数据平台的最小影响。

3)本地化实施和运维:数澜科技提倡为客户提供本地化的实施和运维服务,更快响应,更好服务。公司在全国五个城市设有分公司,保持对客户的敏捷响应。

讲解到这里,相信大家对数据治理已经有了深入的了解。最后一段话送给大家,共勉。

“我们很容易忘记自己仍身处数字化转型漫长征程的早期阶段。这种变革的推动力量非常明确:数据呈指数级增长,国家将数据提升为生产要素,数据中台走向规模化。

疫情加速了部分场景的数字化进程,但是,许多最为困难、最为复杂的业务场景仍有待我们去完成。如何从视频、声频、图像和文本等海量的数据,来自政府、社会、产业链等数据源里的数据,交换汇集在一起,构建数据资产体系,开发数据应用,向各行业提供管理、决策、预测等权威数据信息还有待完成。


总结

以上就是点神老师在直播中分享的内容,本文简要探讨了数澜科技在数据治理是如何落地的。

点此获取完整ppt和直播回放

大咖分享|蒋梦琴:浅谈数字化转型与数据治理相关推荐

  1. 如何在数字化转型战略中真正获得价值?浅谈数字化转型的四个层级

    人们很容易认识到数字技术在现代经济中正在发挥改变游戏规则的作用.大多数公司尚未认识到的挑战在于,如何充分获取这些技术所提供的不同价值? 但制定充分利用这一价值的数字转型战略也并非易事.如果不全面评估数 ...

  2. 世界人工智能大会大咖云集,共商赋能传统企业数字化转型之路

    7月7日,由上海市人民政府与国家发展和改革委员会.工业和信息化部.科学技术部.国家互联网信息办公室.中国科学院.中国工程院.中国科学技术协会共同主办的"2021世界人工智能大会(WAIC)& ...

  3. 大咖分享会 | 百度首次揭秘如何构建用户画像与移动统计

    从11年开始,互联网进入大数据时代,相比传统的调查分析,大数据是企业通过互联网便利的获取用户更广泛的反馈信息,为进一步精准.快速地分析用户行为习惯.消费习惯等重要商业信息,提供了足够的数据基础.本次P ...

  4. 腾讯云大学大咖分享 | 物联网边缘计算的前生今世与实践

    点击观看完整课程 2019年在网络科技领域最火热技术名称是什么?物联网.5G.边缘计算想必这些词汇大家早已是耳熟能详,听了这么久的热词,相信各位也会有很多的疑问.为什么边缘计算会突然热起来?为什么云计 ...

  5. 三包围结构的字是什么样的_手帐排版的高段位秘诀:运用艺术字丨大咖分享

    这是手帐进化论的第212篇文章编辑 / 饭团儿君 之前在建立手帐群时,我的建群初衷之一,就是希望提供一个平台,给大家互相交流手帐.互相提高技巧的机会,同时,希望手帐群可以作为一个沙龙基地,帮大家邀请手 ...

  6. 【PMCAFF大咖分享会】揭秘大数据驱动下的京东供应链体系

    报名方式:回复"报名线下"至公众号,即可进入报名环节 时间:10月24日(周六)14:00-18:00 地点:待定(录取后统一发送邮件通知地址) 费用:免费 讲师简介 ▍翟松涛个人 ...

  7. PMcaff脉脉大咖分享会 | 走出BAT!从0到1做一款自己的产品

    由PMcaff和脉脉联合主办的大咖分享会第二期,邀请了友友租车产品负责人江宽和慕课网产品负责人张国政.两位嘉宾都曾任职于国内知名互联网公司,他们在离开大公司的体系和资源优势后,从零开始,重新打造一款自 ...

  8. 腾讯云大学大咖分享 | 自然语言处理技术(NLP)究竟能做些什么?

    自然语言处理(Natural Language Processing,缩写作 NLP)是人工智能(AI)领域的一个重要分支,被广泛应用于聊天机器人.机器翻译和搜索引擎等场景.为帮助大家更好地理解NLP ...

  9. 快讯 | 公链专场,四位大咖分享了些什么(附PPT)

    8月11日,由CSDN主办,区块链大本营.柏链道捷.极客帮创投.孔壹学院.ChainDesk.壹金链数字加密谷.准脉90孵化器协办的第十期区块链技术沙龙,在北京中关村软件园如期举办.  本期区块链 ...

最新文章

  1. 矩阵微积分的一些实用结论与推导
  2. 英特尔高级副总裁:收购McAfee是为股东考虑
  3. C#中使用JavaScriptSerializer类实现序列化与反序列化
  4. Educational Codeforces Round 96 (Rated for Div. 2) C. Numbers on Whiteboard///思维
  5. Scrum Master
  6. Logistic回归解析
  7. String、StringBuilder、Math、System基本知识总结
  8. CTS ( 9)---CTS 源码分析
  9. python登录验证码生成及自动化测试规避
  10. Winform中自定义xml配置文件后对节点进行读取与写入(XmlDocument)
  11. 计算机毕业设计(附源码)python兴澜幼儿园管理系统
  12. js 中json对象转字符串
  13. numpy中的multipy, matmul, dot的区别
  14. 有哪些让人相见恨晚的记笔记方法?
  15. Python面向对象加强2.Python 中类的内置属性和内置方法(魔法函数)
  16. 自学白帽黑客第一年总结
  17. [项目管理] 项目管理之配置管理
  18. 北京上地海淀IDC数据中心机房托管-永丰数据中心
  19. 从外包到React核心团队成员
  20. 垃圾填埋场渗滤液厌氧处理过程中沼气的综合利用

热门文章

  1. 概论_第3章_已知联合密度求边缘密度
  2. Coding and Paper Letter(六十七)
  3. 代码随想录第二天 |LeetCode977.有序数组的平方,LeetCode209.长度最小的子数组,LeetCode59.螺旋矩阵II
  4. html的文件头标志,各类文件的文件头标志.doc
  5. 看服务器是物理机还是虚拟机,如何判断一台机器是物理机还是虚拟机
  6. java监视器_java锁与监视器概念 为什么wait、notify、notifyAll定义在Object中 多线程中篇(九)...
  7. springboot生成图片并在图片上添加字体进行换行
  8. 怎样编写一个chatgpt聊天网页
  9. blink的后续计划
  10. 【数据分析应用】-财务数据分析指标讲解