【数据中台】你的企业是否需要建设数据中台？

最近在学习极客学习数据中台相关课程，现整理部分学习笔记分享给大家。

建设中台前，面临哪些挑战？

中台可以解决以上问题吗？

数据中台如何解决这些问题？

建设数据中台适合那些企业？

建设中台前，面临的挑战

大量数据产品出现，在不断提高企业运营效率同时，也暴露很多尖锐问题：

指标口径不一致
数据重复建设，需求响应时间长
取数效率低
数据质量差
数据成本线性增长

中台可以解决以上问题吗？

问题一：指标口径不一致，可能三个不一致原因导致：业务口径，计算逻辑，数据来源。

应对之道：对同一个指标，只有一个业务口径，加工一次，数据来源必须相同。

问题二：数据重复建设，需求响应时间长，原因重复开发，大量重复逻辑代码。

应对之道：做到数据复用，确保相同数据只加工一次，实现数据共享。

问题三：取数效率低，由于找不到数据或取不到数据。

应对之道：找不到数据需要构建一个全局企业数据资产目录，实现数据地图功能。而取不到数据则需要为非技术人员提供可视化查询平台，方便使用。

问题四：数据质量差，其实是数据问题很难被发现，数据链路加工一般较长，出现问题时，增加排查复杂度，无法及时恢复故障。

应对之道：及时发现然后快速恢复数据。

问题五：数据成本线性增长导致大数据成本加大，与需求响应慢背后的数据重复建设有关。

应对之道：消除冗余数据，减少重复建设。

数据中台：企业构建标准的，安全的，统一的，共享的数据组织，通过数据服务化的方式支撑前端数据应用。中台目标实现高效率，高质量，低成本支撑业务。

数据中台如何解决这些问题？

指标口径问题：指标是数据加工的结果，对指标口径进行统一管控，提高指标管理效率。明确每个指标业务口径，数据来源，和计算逻辑，按照类似数仓主题域的方式进行管理。对全局指标梳理，消除产品中指标接口经二义性，提供方便分析师，运营查询的指标管理系统。

重复建设问题：所有数据只加工一次，相同粒度的度量或者指标只加工一次，构建全局一致的公共维表。需要两个工具产品：

数仓设计中心，模型设计阶段，强制相同聚合粒度的模型，度量不能重复。实现公共计算逻辑的下沉和复用。
数据地图，方便数据开发能快速理解一张表的准确含义。

效率问题：数仓数据通过API接口的方式供给数据应用（对应用端屏蔽不同查询引擎访问方式的差异），提高接入和管理效率。同时提供可视化取数平台 + 企业数据地图。完成非技术人员自助取数。

质量问题：全链路数据质量监控，对一个指标的产出上游链路中涉及的每个表，都实现一致性，完整性，正确性和及时性的监控，确保在第一时间发现，恢复，通知数据问题。

成本问题：从应用维度，表维度，任务维度，文件维度进行全面治理。及时将低价值报表下线，从而降低数据治理成本。

建设数据中台适合那些企业？

企业在选择数据中台综合考虑重要因素：

是否有大量的数据应用场景，中台本身并不能直接产生业务价值，其本质是支撑快速地孵化数据应用。
存在较多业务数据的孤岛，比如电商初期，仓储，供应链，市场运营都是独立数据仓库，做数据分析时，跨多个数据系统。
团队面临效率，质量，成本问题束手无策，领导还要求控制数据成本时。
企业面临经营困难，想通过精益运营，提高运营效率。
企业规模要匹配，中台投入大，收益偏长线，较适合业务相对稳定的大公司。

数据中台构建需要投入非常大，离不开系统支撑，这些系统能否匹配中台建设，需要持续迭代打磨，同时面对大量数据需求，需要额外人力做数据模型重构。

温馨提示：不能盲目跟风，适合自己才是最好的。