为什么要做数据治理以及如何进行数据治理？
大家好，我是王老狮，今年工信部进行数据安全管理认证，公司很“幸运”的倍挑中进行试点执行，那么为了保证数据安全合规且满足数据管理等级的认证，今年做了很多的动作。那么就根据数据治理的一些经验给大家进行分享一下。
数据治理背景
政策背景
国内
• 2019年11月， 党的十九届四中全会在《中共中央关于坚持和完善中国特色社会主 义制度 推进国家治理体系和治理能力现代化若干重大问题的决定》 中首次明确数据作为生产要素参与社会分配。
• 2020年3月发布的《中共中央 国务院关于构建更加完善的要素市场化配置体制机制的意见》 中提出， 要加快培育数据要素市场， 推进政府数据开放共享， 提升社会数据资源价值， 加强数据资源整合和安全保护。
• 2020年5月发布的《中共中央 国务院关于新时代加快完善社会主义市场经济体制的意见》 中提出， 要加快培育发展数据要素市场， 建立数据资源清单管理机制， 完善数据权属界定、 开放共享、 交易流通等标准和措施， 发挥社会数据资源价值。 推进数字政府建设， 加强数据有序共享， 依法保护个人信息
海外
2019年12月， 美国发布《联邦数据战略与治理》
2020年02月， 欧盟发布《欧洲数据战略》
2020年09月， 英国发布《国家数据战略》
总结
- 多国将数据战略上升为国家战略
- 数据治理是促进数据价值实现重要保障
- 数据开放共享是释放数据价值基础条件
- 数据质量管理是释放数据价值的关键环节
技术背景
DIKW金字塔模型
DIKW金字塔模型 : 数据是基础， 数据质量是数据价值的根本
技术挑战
• 信息孤岛： 孤岛现象突出， 业务系统“各自为战”数据分散， 且数据已业务为导向
• 标准不统一： 未制定统一的数据标准， 各系统业务口径和技术定义差距较大
• 数据质量低： 各系统数据良莠不齐、 质量低数据格式不统一
• 数据管理成本高： 数据很难得到高效的组织与管理
• 数据共享难： 未建立数据全局数据共享机制， 实现数据互联互通
• 数据安全： 数据安全问题日益严峻
• 多模态： 数据不可用（非结构化数据）、 不能用（质量低） 、 不好用（未有效整合） 问题突出
数据治理的目标和意义
- 数据架构：合理
- 数据质量：提升
- 数据标准：权威
- 数据目录：清晰
- 数据流通：共享
- 数据价值: 放大
- 数据安全：可控
- 数据资产： 家底清、 底数明
目标： 进得来、 管得了、 治理好、 看得见、 控得住、 可共存
提升数据的使用价值
实施方法介绍
PAI实施方法论介绍
P:Process-oriented 流程化
提供工作流程与模板
将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段， 并规定每个阶段的输入输出内容及模板
A:Automation 自动化
提供产品与工具
产品（赋能） 包括： 资产管理平台、 标签管理平台、 资源服务平台、 BI
工具（提效） 包括： 针对数据接入、 开发、 调度等提供工具批量化实施
I:Intelligence 智能化
提供非结构化数据处理和分析能力， 及结构化数据治理效率和质量增强能力
非结构化： 文本、 视频、 语音等处理能力、 图谱构建能力
结构化： 数据标准化、 建模、 数据融合加工
四大能力建设
聚：数据汇聚能力，面对数据来源各异，数据类型纷繁多样，数据时效要求不一等各类情况，数据治理首先能把各类数据接入到平台中，“进的来”是第一步。
治：狭义数据治理能力，包括数据标准、数据质量、元数据、数据安全、数据生命周期、主数据。核心是保证数据标准的统一、借助元数据掌握数据资产分布情况及影响分析和血缘关系、数据质量地持续提升、数据资产的安全可靠、数据资产的淘汰销毁机制以及核心主数据的统一及使用。
通：数据拉通整合能力，原始业务数据分散在各业务系统中，数据组织是以满足业务流转为前提。后续数据需求是根据实际业务对象开展而非各业务系统，所以需要根据业务实体重新组织数据。比如政府单位针对人的综合分析通常会涉及：财产、教育程度、五险一金、缴税、家庭成员等，需要以身份证号拉通房管局、交通局、教育局、人社局、税务局、卫健委等多个委办局数据。数据拉通整合能力是后续满足多样化需求分析的基础，是数据资产积累沉淀的根基，也是平台建设的另一个重点。
用：数据服务能力，数据资产只有真正赋能于前端业务才能发挥实际效用，所以如何让业务部门快速找到并便利的使用所需数据资产是数据治理平台的另一项核心能力。
P：plan，标准、规划、流程制定；D：do，产品工具辅助落地；C：check，业务技术双重检查保证；A：action，持续优化提升数据质量及服务。
狭义数据治理
广义的数据治理
数据治理流程化介绍
数据类项目交付流程
数据治理流程化
数据治理自动化
产品赋能
为什么要做数据治理以及如何进行数据治理？相关推荐
- 大数据治理工程师_大数据治理关键技术解析（转自EAWorld）
在企业数据建设过程中,大数据治理受到越来越多的重视.从企业数据资产管理和提升数据质量,到自服务和智能化的数据应用,大数据治理的内容在不断地发展和完善,其落地实施的过程中会遇到各种各样的难题和挑战.本篇 ...
- 一文讲清数据治理、数据管理、数据资产管理区别，数据专家必看
转载/谈数据 数据治理.数据管理.数据资产管理,有什么不同?这是一个我被问的最多的问题. 如果要用一张图来描述它们三者之间的关系,你跟赞成以下两幅图的哪个? 图1:数据治理包含数据管理,数据治理提出了 ...
- 大数据如何改善社会治理：国外“大数据社会福祉”运动的案例分析和借鉴
一.背景 今年,国务院印发<促进大数据发展行动纲要>明确指出大数据将成为提升政府治理能力的新途径,提出:建立"用数据说话.用数据决策.用数据管理.用数据创新"的管理机制 ...
- DAMA数据治理与数据质量--非结构化数据的数据质量管理
本文根据汪广盛先生在[DQMIS 2020第四届数据质量管理国际峰会]现场演讲内容整理而成. 图1.1 DAMA(国际数据管理协会)中国区主席 汪广盛 演讲嘉宾介绍 -- 汪广盛 国际数据管理协会( ...
- 大数据时代网络舆情与社会治理研究
大数据时代的到来,已成为人类不可阻挡的趋势,也是社会发展客观规律作用的必然结果.人类能够获取.分析和使用的数据大量增加,使得传统的数据管理模式难以适应,驾驭数据的难度不断增长,致使社会管理特别实施特定 ...
- 谈谈大数据时代企业如何进行数据治理体系建设
随着云计算.物联网.移动互联网等新一代信息技术的快速发展,人类产生的数据量呈指数级增长.据资料显示,2012年,全球数据量达到2.8ZB,预计到2020年,全球数据量将达到40ZB.大数据蕴含着巨大的 ...
- Data.gov.uk电子政务云，牛津大学NIE金融大数据实验室王宁：数据治理的现状和实践...
牛津大学NIE金融大数据实验室王宁:数据治理的现状和实践 我是牛津互联网研究院的研究员,是英国开放互联网的一个主要的研究机构和相关政策制订的一个机构.今天主要给大家介绍一下英国数据治理的一些现状和实践 ...
- 数据赋能：Uber的数据治理实践分享
作者丨Krishna Puttaswamy.Suresh Srinivas 来源丨Uber,谈数据整理分享 全文共7286个字,建议阅读15分钟 01 数据赋能 Uber Uber 通过赋能数十亿打车 ...
- 万亿级数据，如何高效进行数据治理
个推资深数据分析师 远见 在数据智能时代,对企业而言,"数据驱动业务"或者"数据即是业务"的理念逐渐成为业界的一种共识.然而,数据孤岛.数据标准不统一等问题在一 ...
最新文章
- 图的遍历——DFS（邻接矩阵）
- JButton 圆角_昆明圆角灯箱哪家好
- IT治理和IT管理的区别
- 模拟springIOC容器的annotation
- android webview内存泄漏,Android由webview引起的内存泄漏
- 测试的主要评测方法（3）
- 使用Dependency Walker对模块进行故障排除
- Fake it till you make it: face analysis in the wild using synthetic data alone
- Rest-assured框架详解
- 爬虫大作业~以爬取hao123漫画为例
- linux mmc驱动框架,Linux mmc framework2：基本组件之mmc
- 20200717——python 复习 一
- linux 新建1 10文件夹,linux创建目录和文件的命令
- python基础教程Day04
- 【CQBZ模拟赛】星际旅行
- 响应式织梦模板风景摄影写真类网站
- Android Studio调用谷歌浏览器打开网页
- 基于Python+django的航班查询与推荐-计算机毕业设计
- CAN通信中终端电阻的作用
- 终于把mt6771的ahd转mipi的yuv摄像头搞定了。