数据中台解决的三大问题

本文笔记全部来自《极客新闻》

在极客新闻上看到一篇文章《数据中台解决的三大问题》，文中解决了数据中台的定义，落地的价值。简单来说就是要解决效率、质量和成本的问题。

数据中台是什么？

数据中台是企业级大数据通过系统化的方式实现统一、标准、安全、共享的数据组织，以服务化的方式赋能前台数据应用，提高数据的使用效率。

数据中台与数据平台最本质的区别在于数据中台是具备业务属性的，输入的是原始数据，输出的是指标。数据中台包含了业务对数据的组织方法论，体现在主题域、业务过程的划分、数据模型的设计，以及对指标、维度、度量的管理。如果要确定一个数据是指标还是维度，就必须理解业务。

数据中台解决的三大问题

归结起来，主要是三个：效率、质量和成本。

一、效率问题可以分为数据研发的效率、数据发现的效率和数据分析的效率。

（1）数据研发的效率问题

初期，由于业务模式还不固定，变化比较快，往往缺少良好的主题域和分层设计，烟囱式的开发模式占据主导，随着业务复杂度和规模的上升，大量重复性的数据开发，制约了数据需求交付效率。一个需求往往需要一个星期甚至更长时间才能上线，需求响应速度经常被业务部门诟病。

（2）数据发现的效率问题

开发数据和使用数据的人是不同的人，面对动辄数万张表，每张表有数十个甚至上百个字段，准确理解每张表的含义是一件非常困难的事。如果没有一个好用的系统，往往需要大量的沟通成本，工作效率也大打折扣。

（3）数据分析的效率问题

数据分析本身就存在门槛，取数对于大多数非技术专业的运营和分析师就是一个大问题，遇到技术问题更是不知所措。传统的数据分析基本依赖分析师的个人经验，如何将经验变成一种知识，甚至是一种规范，沉淀到产品中，通过系统自动地进行全维度的钻取分析，降低数据分析的门槛。

二、质量是数据中心需要解决的第二个问题，质量包括数仓设计的质量、指标的一致性、数据研发的质量。

数仓设计得好不好，主要体现在三个方面，完善度、复用性和规范性。数仓设计一般采用的是面向主题域的分层设计，对于ODS层保存的是业务原始数据，DWD保存的是经过清洗的明细数据，DWS是经过轻度聚合的汇总数据，ADS或者DM是应用层、集市层数据，这是一个常见的4层模型划分。

完善度就是对于使用者而言，“要啥有啥”，对于不同分层，完善度的衡量方式也各有不同。复用性主要强调的是一个表被多个表使用的情况，复用性越高，说明数仓的设计越合理，更多的数据在数仓被复用。规范性主要是指数仓中的表、字段的命名规范统一，相同指标、维度、度量的标识是一致的。

质量还包括数据的质量，如数据的一致性、准确性、及时性以及完整性。

一致性具体表现在集市层相同的指标数据是否一致、维度是否一致、相关指标的趋势是否一致、不同数据源对同一个实体的值是否一致。

准确性体现在数值计算的逻辑是否符合预期，数据格式是否正确。

及时性主要体现在数据产出时延方面。

完整性主要是表记录是否完整，包括记录数是否完整，字段是否完整。

三、成本是数据中台需要解决的第三个问题，成本包括计算资源成本、存储资源的成本以及人力研发成本。

数据如果不定时清理，就会占据存储空间。大数据成本比业务增长还要快，一方面是由于烟囱式的开发导致的数据重复加工，浪费计算和存储资源，另一方面是由于没有定时清理无用数据，浪费了大量的存储资源。

数据中台解决的三大问题相关推荐

重磅！明略发布数据中台战略和三大解决方案
11月15日,明略科技在上海举办以"FASTER 聚变·增长新动力"为主题的2019数据智能峰会,宣布"打造智能时代的企业中台"新战略,同时推出了两大新产品&q ...
网易数据中台建设实践
数据中台是什么? 从 Hadoop 集群的开发运维,到构建大数据平台,再到数据中台建设,这是很多大型互联网公司大数据的建设历程.到底什么是数据中台,数据中台跟我们之前一直说的大数据平台有什么区别,我想 ...
全面分析阿里数据中台，小白也能看懂 | CSDN原力计划
扫码参与CSDN"原力计划" 作者 | yuanziok 来源 | CSDN原力计划获奖作品数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享,2015年阿里提出&qu ...
数据中台你想知道的都在这里！
导读,文章万字左右,重点内容导读如下: 数据中台是什么? 数据中台和数据仓库,数据平台的关系是什么? 数据中台和业务中台的区别是什么? 数据中台建设的最大挑战是什么? 数据中台的数据质量应该如何保障? ...
阿里数据中台演进四个阶段
1.数据中台最终要帮助企业降本增效作为数据业务领域的先行者,阿里云总裁张建锋,在最新的演讲中,把数据智能作为数据处理的核心能力: 今天处理数据绝大部分都不是单纯靠算力,算力是基础,而主要是靠上面的智 ...
阿里数据中台七年演化史——行在口述干货
口述/行在整理/何夕口述者行在(张金银),奇点云CEO,阿里巴巴第一个数据仓库的创建者,阿里巴巴第一个消费者数据平台TCIF的创建者,阿里云数据智能平台数加的创始人,2004年以数据技术专家身份加 ...
八问数据中台：关于数据中台你想知道的都在这里！
八问数据中台:关于数据中台你想知道的都在这里! 原创: 筱愚她爸凯哥讲故事系列 1周前数据中台最近特别火,各个企业都在关注如何构建自己的数据中台,利用数据中台打造数据驱动的经营能力.数据中台的概念 ...
数据中台落地实施之法
让数据中台真正落地是实现数字化转型的重中之重.企业做好数据治理.体系建设及人才配备等前期工作后,接下来要做的是数据中台实施落地的关键. 企业首先要掌握数据中台建设的三大核心要素:选对数据建设方式.厘清 ...
数据中台为什么那么火？
数据中台为什么这么受欢迎? 为什么有这么大的需求? 数据实际上是一个非常传统的行业. 在有软件开始的那一天起,数据这个行业就存在了.比如说原来最早的时候,有非常多的数据报表数据可视化,然后到后来,有了 ...

数据中台解决的三大问题

本文笔记全部来自《极客新闻》

数据中台是什么？

数据中台解决的三大问题

数据中台解决的三大问题相关推荐

最新文章

热门文章