【数据中台】学习摘录-纵观数据中台
文章目录
- 1. 做数据中台的前提
- 1.1 那如何挖掘业务的痛点呢？
- 1.2 推进数据中台项目落地
这段时间将极客时间上的网易的《数据中台实践》与《阿里的大数据之路》粗略的看了一遍（两本书写的内容涉及面非常之多，也有很多细节没有展开，但都是非常好的数据中台指南，两本内容侧重点不同，网易的更偏实践，阿里更偏理论，都适合放在案台用作工具书翻看），也将整个数据架构梳理了一遍，对数据中台有了更深层次的理解，也看清了数据中台在整个公司中的战略位置。下面我将梳理一些我所学到，理解的数据中台及实现方案。
首先，先说明结论，数据中台是企业构建的标准的、安全的、统一的、共享的数据组织，通过数据服务化的方式支撑前端数据应用。对于庞大且繁多的业务线，构建数据中台的成本是持续的，并且构建初期效果也是甚微的，但长期来看，对公司的业务发展是有好处的。但对于业务的需求变化缓慢，且数据非海量的情况下，照搬大厂的数据中台建设体系，构建数据中台的效率提升与优化成本的优势是发挥不出来的，反而会增加企业的资源成本。
由于涉及的东西非常之多，本系列笔记摘录将挑选关键的内容，围绕着这些关键的内容进行展开，并后期应该是会不断地调整，丰富内容。
1. 做数据中台的前提
如果准备要建数据中台，首先要考虑这样几点：
- 问问自己为什么要建中台，与业务达成一致的目标；
- 把数据中台作为一个公司级别的顶级项目来推进，而不是一个数据部门自己的 KPI；
- 数据中台必须要有清晰的、可量化的价值来衡量（从主观上也要得到业务部门的认可）
建立数据中台的最终目的是更好的服务于业务，让业务更好的去服务于客户。
可见立项是建数据中台最关键的一步，因为它的核心就是挖掘业务的痛点，跟业务达成一致的建设目标。如果能达成一个一致的、可量化的目标，数据中台的项目就成功了一半。
1.1 那如何挖掘业务的痛点呢？
首先通过调研业务方，这里需要重点关注两点：
- 当前数据使用过程中存在哪些痛点；
- 当前业务部门最关注的业绩目标。
对于一些传统企业来说，业务部门的数据思维能力比较薄弱，数据使用水平还比较初级，根本讲不出什么痛点。如果遇到这种情况，可以多关注一下业绩目标（比如，如何让数据帮助企业达成KPI）。
一般来说，公司内一般都普遍存在以下几类痛点：
- 指标业务口径不一致
- 需求响应速度慢
- 取数效率低
- 数据经常违反常识
- 数据成本指数级增长
除了找准痛点，还需要调研各个部门的业务目标，目的就是让数据帮助解决更多的业务问题。
有了这两方面的调研之后，还需要进一步制定目标，网易该项目是从效率、质量和成本三个方面和业务部门制定共同的KPI，然后选择与之最相关的部门进行合作，共背业绩KPI。
- 模型复用比：一个模型被读取，直接产出下游模型的平均数量。
比如一张 DWD 层表被 5 张 DWS 层表引用，这张 DWD 层表的引用系数就是 5，如果把所有 DWD 层表（有下游表的）引用系数取平均值，则为 DWD 层表平均模型引用系数，一般低于 2 比较差，3 以上相对比较好（经验值）。
这个表里包含中台建设和业务支撑两部分，前者对应的是业务痛点，后者对应的是业务目标。更为关键的是，我们都是从业务出发制订的这两部分内容，我认为这是业务愿意和中台团队达成共建 KPI 的基础。后来，在 CTO 的推动下，供应链、仓配以及市场部门把指标梳理、自助取数、数据模型迁移中台纳入了 KPI 考核。当然，对数据中台的支撑工作，这部分在业务部门的 KPI 中比例不会很高，一般最多 20%，但是却很重要，因为只有这样，业务部门才有压力去做这个事情。
1.2 推进数据中台项目落地
调整团队组织架构，明确各个团队的职责。
因为每个业务团队都有自己的数据开发，数据分析，数据产品，分析师，为了避免不必要的纠纷，数据中台数据开发的职责调整成，基于数据中台数据，加工私有的集市层和应用层。主要负责DW层公共数据，以及跨部门共享的集市层和应用层的数据建设。数据整合
首先面对的是混乱的指标业务口径，所以要通过业务深层调研来梳理指标，建立全局的指标管理规范，去除了冗余指标，对齐口径不一致的指标。这里需要强调的是，中台团队必须要完全接管ODS层数据，这可以强迫业务部门必须要基于中台数据进行再加工。研发工具产品
在数据中台构建过程中，积累了很多规范和经验，但数据中台如果要形成落地、长久的运行机制，就必须把这些规范和经验沉淀到产品中，通过产品化的方式实现。以下为网易的数据中台支撑技术产品的清单。
数据产品构建
就是业务支撑，通过构建数据产品，帮助业务达成业绩目标。螺旋式开发
建设数据中台不是一口气就能吃成一个胖子，它的建设往往是滚雪球的方式，随着一个个应用的迁移，中台的数据也越来越丰满，发挥的价值也越来越大。
【数据中台】学习摘录-纵观数据中台相关推荐
- mysql没法修改数据_MySQL学习笔记之数据的增、删、改实现方法
本文实例讲述了MySQL学习笔记之数据的增.删.改实现方法.分享给大家供大家参考,具体如下: 一.增加数据 插入代码格式: insert into 表明 [列名-] values (值-) creat ...
- 零基础转行大数据怎么学习？大数据学习路线
大数据要怎么学,本文来说说到底要怎么学习它,以及怎么避免大数据学习的误区,以供参考.数据科学特点与大数据学习误区 (1)大数据学习要业务驱动,不要技术驱动:数据科学的核心能力是解决问题. 大数据的核心 ...
- DAMA数据治理学习笔记-大数据和数据科学
大数据和数据科学 定义 对多种不同类型的数据进行收集(大数据)和分析(数据科学.分析.可视化),以此来为在分析的初始阶段未知的问题找到答案 目标 发现数据和业务的联系 支持将数据源迭代集成到企业中 发 ...
- 大数据开发学习，大数据学习路线（完整详细版）
很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:199427210,有大量干货(零 ...
- 大数据怎么学习：大数据学习的关键技术知识体系、学习路径和误区
由于大数据技术涉及内容太庞杂,大数据应用领域广泛,而且各领域和方向采用的关键技术差异性也会较大,难以三言两语说清楚,本文从数据科学和大数据关键技术体系角度,来说说大数据的核心技术什么,到底要怎么学习它 ...
- matlab中清洗数据,个人学习笔记：数据清理
所用的书是Matlab data analysis.学习的结果跟大家分享一下.其中所用的数据都可以在matlab中直接加载. 分析数据的第一部是数据清理.首先可以将数据放在图上,看数据是否存在某些特征 ...
- mysql php 增删数据,php学习之mysql数据的增删改查
1.插入数据 语句:insert into 表名 [(字段1,字段2,字段3,-.)] values (值1,值2,值3,-); 单行插入数据 省略字段名,这种写法后面的值必须要完整,有多少字段就要插 ...
- 清掉数据_学习之大数据项目笔记第七篇【数仓模块-日志预处理篇】
1 需求说明 1.1 清洗过滤 1)去除json数据体中的废弃字段(这是前端开发人员在埋点设计方案变更后遗留的无用字段): "email" "phoneNbr" ...
- 数据中台 -- 学习笔记（一）
数据中台: 是指通过数据技术,对海量数据进行采集.计算.存储.加工,同时统一标准和口径,中台还可以根据ThoughtWork首席咨询师给出的定义来解释."企业级的能力复用平台":& ...
最新文章
- AutoCAD 2011、Map 3D 2011, Civil 3D 2011命令行中不能输入中文的修复补丁
- MyEclipse使用总结——修改MyEclipse默认的Servlet和jsp代码模板
- oracle exp 二进制,Oracle备份之exp自动逻辑备份（二）
- java虚拟机的俩种异常
- P3711 仓鼠的数学题（伯努利数）
- VMware vSphere “I moved it” or “I copied it” – What’s the difference?
- 排序专题之C++中的sort函数调用
- springboot redisTemplate 外部反序列化
- RayData大数据可视化教程(1)——软件使用和材质渲染基础
- Error MSB3774 找不到SDK WindowsMobile, Version=10.0.17763.0
- 小程序容器在一体化在线政务服务平台中的应用
- websocket 1006错误码
- 人事代理行业 薪酬福利外包市场：老树发新芽，数字 化转型提质增效
- 教你利用VMM虚拟机安装LEDE旁路由实现软路由超强功能的方法教程
- jdom操作xml实战
- vue打包中background-image图片路径问题
- 前端技术火爆的原因，为什么更多的人转行进入前端
- 听说你也有拖延症快来看看这篇文章
- vscode 快速生层vue模板
- 爱米云共享网盘linux,Cozy Drive下载-云盘同步程序 v3.27.0 官方版 - 下载吧