数据治理的时代演变之道：大数据分析与机器学习落地应用的未来
本篇概要：
数据治理经历的时代演变，数据治理各时代演变的历程，合理化推想数据治理的未来
数据治理经历的时代演变
随着第四次工业革命的来临，数字化生产已经成为普遍的商业模式，全球各行各业都在积极探索和开展数字化建设，期望通过数字化技术来支撑业务的长期、持续增长。企业进行数字化转型，要先抓住数据治理这个”牛鼻子“。那么问题来了：数据治理领域有没有代际之分，它可以被划分为哪几个时代？
通信领域里G是指Generation，1G、2G、3G、4G、5G网络分别指：第一、二、三、四、五代移动通信系统，从1G到5G，代表了通信领域技术的飞速发展。数据治理领域的5G能否像通信领域的发展那样激动人心，至此未有终论。
数据治理各时代演变的历程
业务烟囱时代
在信息化时代初期，企业为了满足业务信息化的需求，于各部门建立了很多相对独立的业务系统，典型的特点是形成了“一类业务、一个系统、一个数据库”的封闭式架构。这类模式有些像烟囱，大家知道烟囱间是不会互通的，这就导致了业务壁垒的出现，带来的直接问题就是“数据孤岛”。
企业的业务本身天然是连续的，不会因为部门墙的存在而消失，跨业务的需求难以得到满足，跨业务活动的效率并没有随着信息化的发展而提升。这些问题限制了运营效率的提升和效益的改进，企业迫切需要改变这种状况，于是数据中心的理念浮出水面。
数据中心时代
存量的“烟囱”遍布各个业务但又支撑着海量的交易和分析，数据被“私有化”为各个业务部门的“资产”。数据中心的建设应运而生，建机房、买硬件、装软件，大家期待着数据中心能够解决长期以来困扰企业的业务烟囱问题。
数据中心的初衷是把所有的数据汇集在一起，实现数据的互联互通，达到共享的目的。企业通过ETL工具(ETL工具本身就是从手工代码E-T-L中发展出来的，主要是用于提高工作效率)把各个业务系统的数据抽到数据中心的服务器上，将数据汇集在一起，以期实现“数据实时可视、海量业务自动、算法支撑决策”。
这个想法是很好的，但也存在一些天然的缺陷。大家觉得跨业务数据不能互联互通是因为数据在部门内部形成闭环，仅仅想着把数据放到数据中心，让有权限的任何人都能为他们所用，以兹解决数据壁垒这一矛盾是行不通的。主要原因是，抽过来的数据还是原来那些数据，这些数据在产生前的设计过程中，根本就没有考虑其他业务的使用需求，哪怕把它们放在数据中心，其他人也不一定用的了。
大家可能会好奇，什么数据就算拿来了，别人也用不了呢？比如，企业的一个设备，营销部门和检修部门都在管理，营销部门更侧重设备所服务的客户体验，检修部门更侧重这台设备的运维检修状态。如果检修部门有一天想停电检修某台设备，需要让营销部门通知对应服务的客户。检修部门将这台设备的名称和编码提供给营销部门，结果营销部门对应这个数据在自己的系统中根本查不到这个设备。因为两个部门对每台服务客户的设备数据施行独立管理，名称和编码在各自独立体系中并不相通。这种情况下，就是上文提及的即使将数据统一汇总到数据中台，也无法实现数据能在企业内顺畅流动起来，为企业带来巨大的价值。逐渐地，人们对数据中心也失去了信心，属于数据治理的下一个时代正悄然到来。
标准治理时代
如何制定统一的标准数据，增进数据在企业内的流通效率且能拿来即用，这成为了标准治理时代最重要的命题。统一设计顶层数据标准，再通过各种管理手段将标准落地，已经成为标准治理时代数据管理界的基本共识，可这一过程的实践与优化也是困难重重。
企业在想到做数据治理的时候，该拿多年积累下来的存量系统和大量历史数据怎么办？由于信息化过程中企业搭建了各种各样的系统应用，而这些系统应用都高度依赖对应的数据，如果这些数据按照新的统一标准进行改造，很有可能会影响现有系统的正常使用。
如何通过建立新老环境融合的双模架构，把企业的新老数据和应用与正在及未来将要产生的数据连接在一起，构建统一的数据与应用平台，并与机器学习、人工智能等技术手段相结合，使数据产生更大的价值。不至于在改造过程中承担因数据处理不当产生的风险，这导致标准落地的难度陡增，标准和执行出现断层。
融合治理时代
大家须牢记做数据治理的初衷，即为解决数据不统一带来的业务问题。标准统一实际上是动态管理的过程，当前亟须解决如何应对历史业务问题，融合治理时代应需求而生。
融合治理的核心是在统一标准前先接受各个专业既有的数据情况，通过业务专家对跨业务的数据进行人工的融合映射，以先解决跨业务场景的问题为优先。当跨业务场景的问题被解决后，数据治理的价值得到认可，企业高层以此更有信心来支持实现最终标准统一化的目标。
智能治理时代
企业需意识到，只要业务在运转，数据就会持续增加，数据污染也会持续累积。人工数据治理虽然能在一定程度上解决数据污染的问题，但治理的速度远远赶不上数据污染的速度。人们逐渐意识到，可以利用当下大热的人工智能技术来解决数据治理中的复杂问题，让机器学习算法来训练数据治理模型。于是，智能算法作用于数据治理的时代一步步向我们走来。
近年来，头部企业倚赖智能增强型数据治理取得了不错的成绩。这些信号表明智能治理已经逐渐获得大众的认可，未来随着越来越多的企业加入探索的行列，数据治理的效率将会持续提升，数据污染的扩散态势将得到有效遏制。
合理化推想数据治理的未来
深耕大数据领域的人，不免发出同样的疑问：数据治理的本质到底是什么，它未来会发展成为什么样子？
如果把数据想象成一张网，它很像我们人类大脑的记忆网络，承载了现实世界运转的蛛丝马迹。人类接触新的事物、学习新的知识，不用专门去做所谓“治理”工作，仿佛假以时日即可熟能生巧，习得的技艺就能为己所用。在未来，企业的数据治理能否实现像人脑一样具备全自动治理的能力，让机器自发整理获得新数据、新信息、新知识与新智慧，真正打造属于企业自己的数字大脑。在这个美好愿景的鼓舞之下，数据治理的未来值得期待。
聚焦企业数字化转型实践，解析Tempo产品、解决方案和应用能力，一起探索后疫情时代企业业务提质增效新思路！
美林数据2022数智云论坛即将正式开始，多位行业大咖将围绕企业大数据分析应用需要的业务思路、解决方案、产品能力，以及行业头部企业的大数据应用落地实践案例进行主题分享，欢迎点击链接了解详情。数智云论坛https://meeting.asktempo.com/meetings/MeetingPc/Detail?pf_uid=27656_2091&id=59688&source=2&pf_type=3&channel_id=27148&channel_name=%E5%BE%AE%E4%BF%A1%E5%85%AC%E4%BC%97%E5%8F%B7&tag_id=bbc683545d8cf2b7
数据治理的时代演变之道：大数据分析与机器学习落地应用的未来相关推荐
- 【计算机大数据毕设之基于spark+hadoop的大数据分析论文写作参考案例】
[计算机大数据毕设之基于spark+hadoop的大数据分析论文写作参考案例-哔哩哔哩] https://b23.tv/zKOtd3L 目 录 一 引言1 二 系统分析2 2.1 必要性和可行性 ...
- 机器学习第一章之大数据分析与机器学习简介
大数据分析与机器学习简介 1.1 大数据分析与机器学习概述 1.1.1 大数据分析与机器学习的应用领域 1.1.2 机器学习的基本概念 1.1.3 Python在数据科学中的作用 1.2 Python ...
- 大数据分析培训课程机器学习
大数据分析培训课程机器学习这份简单易懂的指南对开始进行项目所需的所有机器学习先决条件进行了结构化概述,包括从导入和清除数据到建模和生产的完整数据管道. 我们都从考虑数据集或目标入手.一旦我们发现,收集 ...
- 2018年最好的软件开发、云计算、大数据分析和机器学习工具
InfoWorld编辑和评论家评选出今年最好的软件开发,云计算,大数据分析和机器学习工具. 欢迎来到InfoWorld的年度技术奖,这是我们对信息技术领域中最好,最具创新性,最重要的产品的年度庆典. ...
- python大数据分析入门实例-Python大数据分析与机器学习商业案例实战
大数据分析与机器学习技术已成为各行各业实现数字化变革的关键驱动力.本书以功能强大且较易上手的Python语言为编程环境,全面讲解了大数据分析与机器学习技术的商业应用实战.全书共16章,讲解了线性回归模 ...
- 大数据进入人工智能时代：2017年大数据生态地图新鲜出炉
随着人工智能技术的高速发展,2017年是大数据全面进入人工智能时代的关键一年,根据IDC的报告,未来几年大数据和数据分析市场规模将进入高速增长阶段,从2016年的1300亿美元,增长至2020年的20 ...
- 聚焦大数据与智能时代：2016中国大数据应用大会将于7月举行
2016年5月19日,"2016中国大数据应用大会"新闻发布会在北京国家会议中心举行.中国大数据专家委员会秘书长林润华.中国电子器材总公司常务副总经理陈雯海等领导出席发布会,并就大 ...
- 数据分析师需要具备什么能力，大数据分析书单
数据分析师到底在做什么? 数据分析师需要具备什么能力? 快速学习能力应该是每位数据分析师必备的.大数据环境下催生了很多新的数据分析工具和方法,分析师们比拼的就是学习速度.快速掌握很重要. 如何快速成为 ...
- 每日生产万亿消息数据入库，腾讯如何突破大数据分析架构瓶颈
背景介绍 对于腾讯庞大的大数据分析业务,几千台的 Hadoop 集群,近百 P 级的存储总量,每日产生万亿的消息数据入库,需要针对几十亿 IMEI 手机设备去重,并关联数千亿的历史全表,进行曝光.点击 ...
最新文章
- 微信8.0全心全意考虑用户需求为企业开展网络营销带来全新思考
- cfnet用于嵌入式_做嵌入式驱动的，你一定要挺住!
- Android 笔记一
- jsDate对象和倒计时图片案例
- Maven的学习资料收集--（九） 构建SSH项目以及专栏maven
- licode学习之erizo篇--Pipeline_service
- html上下走马灯特效,上下左右滚动的走马灯文字代码
- 月薪2W和月薪10W的差别，怎么判断一个产品经理的专业水平高低？
- SAP HANA创建类型(SAP HANA CREATE TYPE):
- SQL2008-显示表大小行数
- python 菜单调用_python---权限管理和菜单生成
- MySql：Unknown collation: ‘utf8mb4_0900_ai_ci‘
- 传输信道加密Stunnel配置
- linux读写磁盘文件寿命,linux下TF卡测试寿命的测试程序编写
- 【QT】QT网络编程简介
- win10计算机切换用户,win10账户切换,详细教您win10怎么切换账户
- Python编程从入门到实践(第2版)个人学习笔记
- 基于JAVA的免费天气预报接口查询
- Android wms粗略介绍
- 电气比例阀外接压力传感器和PID控制器实现微正压0.1%的超高精度控制