本文根据新康众数据中台负责人闫顺成《数据中台建设中的得与失》的演讲整理。主要内容如下:

一、什么是数据中台

每个企业、每个岗位、每个人对数据中台的理解都有所不同。在阿里,数据中台与方法论、组织架构、工具等密切相关,是数据服务 + 解决方案 + 团队保障。

我很认可的一种说法是:数据中台是一套可持续“让企业的数据用起来”的机制,一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建一套持续不断把数据变成资产并服务于业务的机制。

纵观整个市场,大多数的中台都是用来支撑业务创新的,数据中台亦是如此,它能够帮助企业在此基础之上驱动业务增长,而不是花费过多时间在数据采集、处理等方面。

在数据中台的建设过程中,需要配备五个要素:企业数据高效使用、数据能力快速输出、解决方案、组织保障、建设方法论。其中,在数据能力快速输出方面,我们将其分为五个层级,如下图所示:  · 建设数据模型,帮助企业在做 BI 深度分析的时候,轻松、快速拿到想要的数据。

· 数据 API 的应用服务,正如通过 PPT 做报告的形式输出,该层级通过形成一种通用 API,满足产品调用需求。

· 基础报表,它仅覆盖常用数据,并非 BI 形成的场景化分析报表。

· 数据可视化,我们提出了一个概念叫全链路经营可视化,目的是为了帮助企业快速决策。

· 数据智能,目前我们已经针对具体场景做了探索,接下来会将数据智能发展成为一种能力,比如预算能力、文本识别能力等,并将其作为数据中台输出能力的一部分。

二、新康众数据中台建设历程

新康众由四家企业整合而成,各自运用的系统不一样,组织方式也不一样,因此我们在成立后做的第一件事情就是系统整合。在这个过程中,数据频繁变动,很难立即推出数据中台的概念来支撑业务发展,因此在第一年,也就是公司的整合阶段,我们采用传统数仓 + BI 的方式,整合数据,快速支撑业务顺利开展。

第二阶段即数据中台的建设阶段,我们借用阿里的平台工具,完成基础模型的搭建,进行模型拆分、业务思考等,实现数据与业务的统一。 接下来是提升阶段,大力推进全链路经营可视化,并将其落到实际场景中去。

在新康众的数据中台架构中,我们通常将其分为四大模块:

· 数据采集,运用神策数据的私有化部署;

· 存储计算,运用阿里的 DataWorks;

· 数据标准体系建设,根据我们自身的业务场景抽象出业务域,并基于此完成建设,并设置指标中心、标签中心和画像中心;

· 数据应用,利用 BI 工具接入我们的数据体系,联合数据 API、报表系统、数据可视化和数据智能,推动数据能力的输出,最终支持业务决策。 

三、数据中台的得与失

接下来介绍一下我对数据中台的八点认识:

1.数据中台建设必要性

数据中台不是非做不可,它很大程度上取决于企业管理层的态度——对时间、人力、金钱等投入的态度以及对数据中台的需求程度。

首先,在企业的数字化战略方向,企业是否愿意往前推进决定着数据中台建设能否顺利提上日程,因为数据中台相较于传统数仓等,需要的人力成本和时间成本较高;另外,数据稳定性、业务复杂性、数据开发团队规模也影响着数据中台的建设;其次,企业是否有建设数据中台的能力也至关重要。

另外,判断企业是否遇到数据重复建设、数据协作效率低、团队能力不齐等问题,是否需要建设数据中台来整改。

2.数据中台的边界

阿里经常提“大中台小前台”的概念,即中台体系较大,对前台可操作的空间有所限制。很多场景下,提供基础模型输出,到达 API 层级即可满足企业业务需求;但如果团队规模较大、能力够强、对业务的了解足够深入的话,可以考虑继续拓宽数据中台的边界。

目前新康众规划中的推进全链路经营可视化便是拓宽数据中台边界的表现。在这个过程中,最好的建设方式是:先确定边界,然后一部分一部分地去完善、补充。

3.数据中台规划思路

在我们规划建设数据中台时,主要强调以下两点:

(1)从业务入手,思考业务的本质

对于大多数企业来说,早期建设数据中台时,会优先基于企业内部现有数据做模型搭建、API 输出,这种做法虽然也能产生一定的作用,但若想要数据中台在企业内部发挥长远价值,就要去思考企业的业务发展方向,并随着业务的发展去考虑数据中台的模型架构图该如何搭建。

(2)向下推动业务数据化,向上推动数据业务化

数据中台是要满足企业对数据使用的需求,但数据从哪里来也是需要思考的问题。当你根据企业的业务方向做模型预测时,发现企业的实际应用系统跟你想象中的不一致,那么此时就可以从数据角度去推导业务和产品的具体场景。

数据最终是支持业务的,因此我们向上要帮助业务部门把数据用起来,充分发挥数据的价值;向下要打通多端数据源,规范数据。也就是说,在建设数据中台的过程中,我们不仅要思考如何建设数据中台,还要考虑如何推动数据中台发挥其价值。

4.数据中台落地思路

数据中台的建设周期通常较长,为了能够与业务部门的需求及时匹配,可以优先推动业务发展,在此基础上获取数据进行分析后再驱动业务,形成闭环。同时,我们采用整体规划、场景切入的形式,每个模型框架落地到一个具体的业务场景,以此推动数据中台快速发挥价值。

5.数据的完整性

针对此,我们将数据中台全链路打通,根据业务需求逐步落地,确保数据完整、真实。

6.数据的安全性

数据安全管控差的话,对企业经营有较大风险。在新康众,我们坚持数据透明,对某些敏感数据会进行脱敏,BI 数据等对内会相对宽松,C 端同学也是可以看 B 端数据的,这样有助于交叉业务的高效发展。

同时,我们会面向业务人员设置数据权限,结合人员标签,实现数据安全的全局控制。

另外,我们也设置了场景审核,人员查看数据后的延伸场景在哪里,发给谁、用在什么地方等等。

7.数据的准确性

在准确性方面,我们面临着数据难以完全治理的问题,主要表现在业务变动系统更新、业务系统 bug 不断这两方面。

针对此,我们首先对数据源进行监控,通过系统开发反馈,系统自动监控,结果数据监控三种方式实现;然后保重点场景,如业务核心场景以及 CEO 高频查看场景等;最后,要尽可能地早于业务方发现问题及时同步并做预先处理。

8.数据中台团队协作

在新康众,数据仓库团队由技术开发、BI、产品和算法共同组成,因此对团队协作上要求较高,包括业务域划分、边界明确、场景协作等。

四、数据中台之神策案例

接入神策数据私有化部署以来,我们的多条产品线均有明显提升。接下来为大家介绍两个具体案例场景:

1.洛书项目:产品指标中心

我们的细分产品有三四十个,每个产品都涉及产品数据、业务数据、用户行为数据等,在定义产品指标的过程中,我们通过神策数据的埋点技术,将多端数据打通并汇入数据中台产生报表,生成多样化产品指标,再用可视化的形式进行展示。

在后台,我们可以实现跨产品线管理,也可以清晰划分单独产品线,完全可以根据自己的业务需求来进行配置,也无需担心数据安全,这就是私有化部署的魅力所在。

2.数据智能:搜索链路分析

在康众汽配 APP 中,我们借助于神策数据的埋点技术,关注每个坑位的搜索与转化情况,用户流失情况,以此评判 UV 和 PV 的利用效率,去发现如何能够实现用户的高效转化的策略并快速落地。

数据的价值犹如漂浮在海面上的冰山,绝大部分被隐藏在我们看不到的地方,而数据中台的建设正是为了保证数据价值充分发挥,提高研发人员、业务人员、运营人员以及企业管理者的工作效率。

关于神策数据

神策数据是专业的大数据分析和营销科技服务提供商。公司围绕用户级大数据分析和管理需求,推出神策分析、神策用户画像、神策智能运营、神策智能推荐、神策客景等产品。

数据中台建设中的得与失相关推荐

  1. 新康众闫顺成:数据中台建设中的得与失

    本文根据新康众数据中台负责人闫顺成<数据中台建设中的得与失>的演讲整理.主要内容如下: 一.什么是数据中台 每个企业.每个岗位.每个人对数据中台的理解都有所不同.在阿里,数据中台与方法论. ...

  2. 收藏:不错的数据中台建设方法论

    数据中台建设方法论体系,需要从组织.保障.准则.内容.步骤5个层面全面考虑,以确保数据中台建设和实施能如期完成. 1种战略行动,把用数据中台驱动业务发展定位为企业级战略,全局谋划 2项保障条件,通过宣 ...

  3. 数据中台的正确理解和数据中台建设的关键环节

    数据中台是数据治理的关键,在数据治理上发挥着建设.管理和监督的作用.但即使在今天,对数据中台仍然没有形成一个统一的理解.笔者结合自己的研究和近些年数据治理的经验,参考其他同行的研究成果,浅谈对数据中台 ...

  4. 数据中台:宜信敏捷数据中台建设实践|分享实录

    2019独角兽企业重金招聘Python工程师标准>>> 内容来源:宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 分享嘉宾:宜信数据中台平台团队负责人 卢山巍 导读: ...

  5. 宜信敏捷数据中台建设实践|分享实录

    内容来源:宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 分享嘉宾:宜信数据中台平台团队负责人 卢山巍 导读:宜信于2017年推出了一系列大数据开源工具,包括大家熟悉的DBus.Wor ...

  6. 千万QPS毫秒响应:快手数据中台建设实践

    " 本文整理自快手数据平台部,数据服务化中台负责人倪顺发表的<快手数据中台建设-大数据服务化之路>的演讲. 围绕数据资产服务化,服务于业务产生商业价值进行了分享: 第一部分是背景 ...

  7. 数据中台:宜信敏捷数据中台建设实践

    2019独角兽企业重金招聘Python工程师标准>>> [宜信技术沙龙]是由宜信技术学院主办的系列技术分享活动,活动包括线上和线下两种形式,每期技术沙龙都将邀请宜信及其他互联网公司的 ...

  8. 数据中台建设常见的几大误区,如何规避,你需要知道这几点

    由于不同行业.不同企业的发展程度存在差异,因此会导致不同企业的数据中台的建设起点不同. 虽然起点存在差异,但是数据中台的建设应该是一个不断迭代和优化的过程,没有终点. 另外,不是每个企业都需要建设一个 ...

  9. 安信证券王环:安信证券数据中台建设历程

     2020 年 10 月 13 日,在以"数字化 正当潮"为主题的「神策 2020 数据驱动用户大会」现场,安信证券信息技术中心数据平台团队负责人王环发表了<安信证券数据中台 ...

最新文章

  1. php acl rbac,建站常用的用户权限管理模型ACL和RBAC的区别
  2. 数学推导题,NTT,快速数论变换,Wannafly-导数卷积
  3. java读取src xml文件路径_Java获取路径方法相对路径读取xml文件方法
  4. 对mysql进行压力测试_mysqlslap对mysql进行压力测试
  5. java监听器演示样例
  6. es6 modules 和commonjs
  7. 成都Uber优步司机奖励政策(1月27日)
  8. 百度视频播放器android,百度视频播放器
  9. opencv 二值化图像 像素统计 countNonZero
  10. iPhone通讯录整理及vcf-CSV互转
  11. 如何管理和组织一个机器学习项目
  12. 图论算法 若干定义
  13. java中创建库存_java案例实例 商品库存管理系统
  14. dataBinding 配置问题 Could not find method buildFeatures()for arguments xxx on extension ‘android
  15. Qt图像处理技术二:对QImage图片简单滤镜(暖色,冷色,反色,老照片,灰度)
  16. 优化方法理论合集(10)——贝尔曼动态管理方法
  17. 2018腾讯游戏面试总结
  18. Java 树形结构目录树的几种生成方式
  19. 微信小程序(2)入门初识小程序
  20. 2014年托福考试共计全国38场考试

热门文章

  1. window中搭建jenkins_Windows环境中的jenkins构建时报错
  2. java map equals_Java中EnumMap的equals()方法: Java.util.EnumMap.equals() - Break易站
  3. delete hive_「挑战30万年薪」 Hive语句详解之从SQL到HQL的应转习惯
  4. java spring省略jsp,Java +Tomcat + SpringMVC实现页面访问示例解析
  5. python字典添加主键_python 字典相关操作
  6. 垂直梯形校正画质损失多少_投影仪梯形校正会影响画质吗?投影仪梯形校正调不正怎么办?...
  7. 使用php和json实现html页面,php – 将HTML放在JSON中
  8. java1.6 linux_linux java1.6 安装
  9. python什么是关键字参数_Python 函数 (关键字参数)
  10. 字符串中斜杠换行注意事项之-多余空格