大数据基础课18 数据中台：用大数据赋能业务

上节课我们介绍了数据安全相关的问题和解决方案，在我们的大数据体系中，有那么多的数据、无数的流程和纷繁复杂的工具和应用，似乎每一个环节都会受到数据安全的威胁。随着业务的不断扩张，部门越来越多，项目越来越大，每一个部门每一个项目都需要各自不同的数据，也会产出各自不同的数据，如果没有很好的统一协调管理，那么处在大数据之下的每一个人都像盲人摸象一样，各自看到的只是大数据的一部分而不是一个整体。这样我们在工作中就不能充分利用内部的数据，部门间的沟通和配合变得越发困难。

假设我们是在一个做内容的公司，有着图片、视频、文本多种内容形式，每一个形式的内容由一个部门负责，并有一个单独的 App。如果说每一个大的部门都有一套自己的数据挖掘小组，他们分别为各自部门的内容进行标签挖掘：

图片部门的人产出了一套标签，里面有一个叫“汽车”的标签；
而负责视频的团队产出的标签里有“试驾”“自驾”“房车”几个标签；
负责文本的团队产出的标签里有“汽车测评”“开车去哪玩”的标签。

他们在做着十分类似的事情，所产出的标签虽然含义雷同但是名称和 id 也都不一样，如果有一天我们需要不同部门的业务共同去构建一个包含了图片、文本、视频等不同形式的与“车”有关的 App 项目，要把这些内容对齐是多么困难。不仅如此，他们还可能在使用着不同的数据源，使用着不同的大数据工具，一个把数据放在 MySQL，一个把数据放在 HBase，一个把数据放在MongoDB，有着不同的更新时间、字段名称，可想而知，没有个半年甚至一年的时间，很难把这些东西理清楚。

什么是数据中台

很多公司饱受这些问题的困扰，想要改进却不知从何入手。这个时候，数据中台概念横空出世。说起数据中台的提出还有一个小插曲，据说早在 14 年，马云去参观芬兰的游戏公司 supercell，这个只有不到 500 人的公司通过一个中台组织负责开发游戏引擎、素材、算法等等，而具体的游戏业务都可以复用这些东西，创造了诸如《部落冲突》《海岛奇兵》《皇室战争》等多款策略游戏。回来之后马云受其启发，在阿里推出中台战略，推动 “大中台，小前台” 的组织调整。

说了这么多，到底什么是数据中台呢？有一个公开的定义是通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。这个定义乍看似乎并没有什么特别的地方，感觉跟一个统一的数仓并没有什么区别，但是实际上这句话只是对于数据中台中技术方面的解读，从《阿里巴巴数据中台实践》的资料中我们可以看到，数据中台所承载的功能是数据业务化，链接所有数据，赋能业务，数据中台距离业务更近，能更快速地响应业务和应用开发的需求，可追溯，更精准。

所以，除了技术方面的采集、计算、存储、加工等能力，数据中台更多的是要有业务能力，考虑业务的需求，而不是单纯做技术方面改进，如何通过对数据的统一管理进而提升业务目标是数据中台最需要考虑的事情。

数据中台解决的问题

1.统一数据汇集

要做数据中台，首先就需要有数据汇集的能力。如果说每一个业务都是一条高速公路，那么数据中台就是交通枢纽站。各个业务所需要的数据，所产生的数据都流入数据中台，由数据中台对这些数据进行统一管理，这样一旦有项目需求即可从数据中台获取，而不需要再一个业务一个业务去了解沟通。数据汇集可能涉及大数据中的数据采集、计算、存储等各种工具。

2.统一数据管理

数据只是单纯汇集起来并不能够说是数据中台，在数据中台需要有良好的数据管理能力。数据管理就是需要对现有的数据有很好的理解能力，现在有多少数据、不同业务所汇集的数据是否存在联系、数据的分布、数据的趋势如何等等，在这个环节，对统一数据进行整理分析以及可视化，除了前面的存储、计算还会涉及可视化、数据分析等。

3.统一数据研发

数据研发是面向业务所进行的数据加工。我们大数据的课程就是建立在数据有价值的基础上，所有的环节也都是为了从数据中获取价值而构建。从业务需求的角度考虑，对数据进行加工，从大数据中萃取业务价值，比如说提供统一的标签体系解决我们开头讲的小故事中的问题，就是数据研发所需要处理的事情。在这个环节，会涉及数据挖掘相关的技术。

4.统一数据服务

基于对数据的汇集、管理以及研发，数据中台是对全局数据最为了解的部门。同时，为了赋能业务，数据中台同时也要清楚地知道业务所需要的，并提供统一的数据服务以方便业务应用。对于一些通用的数据能力，比如说推荐系统、搜索系统也可以建设成统一数据服务，只需要为业务方提供自由的配置即可在需要的位置上线。

经过了上面几个步骤，数据中台自然而然解决了我们在工作中经常遇到的几个问题。

部门协作：一个项目往往涉及多个部门的数据，甚至是由多个部门合作共同完成，每一个项目都需要一次沟通协调，需要对当前各部门的现状和数据进行一番梳理，项目需求其实都比较类似，只不过有时候是这个部门主导，有时候是那个部门主导。在数据中台的支持下，项目主导者都可以在数据中台完成对各部门所需数据的了解，减少沟通成本，加强部门协作。
重复造轮子：对于一个公司内部的应用，往往都存在着很大的关联性，比如说字节跳动的抖音、火山视频、西瓜视频都是以视频型内容为主的 App，里面关于数据的采集、存储、计算、搜索、推荐、用户画像及内容画像必然极为相似，数据中台则可以为其提供统一的数据服务，只需要一套开发人员，如果每个应用都单独建设将浪费很多人力，且生产出来的东西都是重复的东西。通过数据中台的功能复用，业务部门也可以更加聚焦在精细化运营上，专注于自己的业务特色。
效率问题：在公司中一个项目的数据链路很长，比如在我之前的工作中，发现推荐出来的内容缺少了电视节目，首先从推荐查到自己的推荐池数据，然后又找到内容生产平台，最后发现是数据源头所取的数据表字段发生了变化，耗费了大量的时间。数据中台对数据统一采集和管理，使得此类经常出现的问题得以抽象出统一的解决方案，并在数据中台即可完成整个流程，大大增加了工作效率。

避免落入中台战略坑

自从阿里巴巴推出了数据中台的概念，并将数据中台在公司内部进行大力推广和应用，无数的 CTO、CEO 开始纷纷效仿。数据中台既然这么香，那是不是每一个公司都需要有一个数据中台呢？答案是否定的。数据中台的理想虽然很好，但不是每一个公司都有需要，而且也不是每一个公司都可以做成，我觉得在做数据中台的时候至少要考虑以下三个问题。

1.是否有明确的业务需求

业务需求是搞数据中台的基础，如果说你的业务很单一，或者只有两三个重复业务，数据流程不复杂，业务部门不会交叉折叠，那么大概率你是不需要搞什么数据中台，如果硬生生搞出来一个没有业务使用的中台，那只是徒增公司负担。

2.是否有强有力的推动者

只有需求还不足以支撑我们启动数据中台计划。由于数据中台是贯穿公司全部业务的，且工程量巨大，首先是需要投入大量的人力和资金，同时还需要各个部门共同配合来完成。如果说这样的项目没有自上而下的强力推动者，往往会半途而废，即便是勉强完成，也一定是缺斤少两，只是有一个数据中台的样子，而其可用性则会大打折扣。

3.是否有明确的组织和制度

强有力的推动者可以保障数据中台项目的启动和落成，但是后续的使用和规范则需要有明确的组织和制度进行保障。数据中台不是一个一次性的项目，需要不断地进行迭代和升级。随着业务的扩充、技术的发展，负责数据中台的组织也需要不断地提升自己的能力。在使用方面，如果没有良好的制度，随着时间的流逝，数据中台可能又会变成一个废弃的项目。

因此，数据中台对于公司的问题是一个很好的解决方案，但不是所有的公司问题都可以通过数据中台来解决。不要让数据中台成为 KPI 或者 OKR 的产物；也不要说公司业务缺乏发展动力，搞一个数据中台缓解老板的焦虑。数据中台不仅仅是一个技术型的项目，更多关系到公司文化、制度、组织多方面的协调，这些方面的能力都要具备才有可能完成数据中台的建设，否则可能就是一个消耗公司资金的累赘。

总结

这节课，我们介绍了如今非常流行的数据中台。数据中台的建设几乎可以囊括我们大数据课程中所介绍的方方面面，并在一个公司内部将这些能力、方法及应用进行统一，以达到一份付出，多份收获的效果。数据中台的概念如此庞大，它所产生的价值也必定是很巨大的，但是要建设数据中台，其开销和难度也不是一般的项目可以比拟的。因此，我们在后面还讲了数据中台避坑指南，对于缺乏需求、缺乏推动者、缺乏组织和制度的公司最好不要考虑数据中台的建设，因为这可能不会让你的公司变得更好，相反的，它可能把你的公司拖向深渊。

这一讲是在最后补加的彩蛋，我们的正课实际上已经结束了，但是关于大数据的学习还远没有结束。专栏中涉及的内容繁多且复杂，虽然我们在开篇词里已经整体介绍了大数据的内容，以及就业相关的注意事项，但是我想过了这么久可能你已经有所遗忘。这一讲，我们再来梳理一下大数据发展的脉络，并给你提供一些学习建议，希望能够帮助你进一步巩固已学习的知识，为未来发展打下坚实的基础。

大数据的发展时间轴

首先我们按时间顺序回顾一下大数据的发展脉络。大数据技术并不是凭空出现的，数据本身就存在，只不过随着软/硬设施的发展，突然进入了一个爆发时代，由量变引发了质变。当数据量发生暴涨时，很多原有技术无法充分满足现有的需求，因此才出现了大数据技术。

大数据的发展可以追溯到数据库时代，数据库的出现解决了数据存储的问题；后来数据的运算工具——Hadoop 的诞生，使得大数据的价值能够以更低的成本展示在世人面前。随后，大数据展现了百花齐放的景象，各种工具、技术、概念层出不穷。

在 2010 年的 Hadoop 世界大会上，著名的 BI 软件供应商 Pentaho 公司提出了数据湖的概念，数据湖把各种类型的数据不加处理地汇聚到一起，利用数据湖强大的大数据查询、处理、分析等组件对数据进行处理和应用。

后来，大数据平台出现，能够一站式解决大数据开发的问题，大数据的发展开始向业务倾斜，从技术逐步走向业务层面。

时至今日，阿里提出“数据中台”的概念：大数据不仅仅是一个技术问题，更多的是一个业务问题。在阿里的数据中台中，已经把数据和业务紧紧捆绑在了一起。数据中台更强调应用，离业务更近，强调服务于前台的能力，能更快速地响应业务和应用开发的需求。

常见的大数据核心技术

大数据的发展不仅是概念的变更，对于我们研发人员来说，更多的是核心技术的更迭。我们的专栏中也讲了很多核心技术相关的内容。

作为当前大数据技术的基石，Hadoop 体系及其衍生工具是一定要掌握的，其中的核心技术有两个，一个是用于存储的HDFS，一个是用于计算的MapReduce。在此基础上，扩展了数据库 Hbase 和 SQL 化工具 HIVE，与其搭配的还有用于数据传输的 Kafka、收集日志的 Flume，还出现了替代 MapReduce 的产品 Spark 和 Flink。

当然，不只有 MapReduce 存在替代产品，我们讲到的每一个工具在不同的生产环境都有若干替换产品。上面提到的都属于大数据的底层工具，负责提供数据传输、存储、计算，此外还有各式各样的数据挖掘工具、数据分析工具、数据可视化工具等，用于提炼数据价值，为我们的业务提供支持。

搭建这样一套庞大的核心技术层，业务目标当然不只是做一个数据报表这么简单。当前互联网公司大数据应用最广泛的就是推荐系统和数据化运营。

绝大多数互联网公司担任着平台的角色，通过平台向用户展示内容、商品或广告，吸引用户阅览、购买等。围绕着这些场景化需求，可以通过自动化的技术方案，利用机器自行学习用户特征和物品特征匹配，完成业务目标，这就是我们说的推荐系统；另一个常用的就是数据化运营，即按照用户的主观意愿进行定制化。当然，大数据的应用相当广泛，我们专栏并没有全部介绍，随着你工作的深入可以遇到更多应用场景。

大数据相关工作的能力需求

通过我们梳理的大数据发展时间轴，你可以发现大数据流行时间不算久，并且正处于一个高速发展的时期。可能你正在从事或是想要成为其中的一员，那么你应该具备什么样的能力呢？具体的技术能力我们在正文部分已经介绍过了，这里就不再赘述。下面我们来聊一聊应对未来的情况，你所需要的能力。

专业基础技能

首先还是专业基础技能，这也是最重要的能力。比如说你想成为一个大数据开发技术人员，你的专业基础技能就是掌握代码的编写；成为一个商业分析师，你的专业基础技能就是数据分析能力。

专业基础技能很容易考察，只需让你动手实践就可以判断你掌握的程度，当然所有职业最重要的能力都是专业基础技能，这也是你工作的基本职业要求。

学习能力

在这个快速发展的时代，大数据工具和核心技术发展也是日新月异。作为专业技术人员，首先你要学习的就是不同工具的使用。如果公司也处于快速发展时期，技术框架的迭代会非常迅速，你需要持续学习新技术并能快速运用到工作中。

当然，如果你有跳槽的打算，不同公司可能采用的不同技术框架，对内部系统的封装上面也存在着很大的差异，学习能力此刻会成为你适应环境的重要技能。

业务理解力

最后一项通用能力是业务理解力。大数据时代对技术人员的要求不再是单纯掌握技术，而是把技术应用在业务上面，产生业务价值。有关业务的理解，我们在数据挖掘、数据分析和可视化、数据化运营、数据中台的课程中都提到过，你可以参考学习。

大数据本身就是为了挖掘数据中的业务价值而存在的，所以你需要有很强的业务理解力，能够明白你所做的事情的前因后果，才能发挥最大价值，避免“技术自嗨”。当然，业务理解力比基础技能和学习能力培养更困难，需要你在工作中多观察、多思考、多提问。

往后的路还很长，或许你已经在这个行业里摸爬滚打多年，或许你正准备进入这个行业，又或许你只是在观望这里的情况，但是不管怎样，大数据的发展进程不会慢下来，反而会越来越快。之前是互联网行业，以后也会逐步过渡到传统行业，越来越多的公司将会利用大数据赋能自己的业务，从大数据中发掘业务价值，所以对大数据人才的需求也会越来越旺盛。

大数据的工具和技术千变万化，但是掌握上述三个能力，可以帮你在未来的工作中以不变应万变，不管你未来去向何方，都能成为一个合格的“掌舵人”。

学习书单

最后，我整理了一份书单，列出了与我们课程中一些重点部分相关的学习书目，帮助你加深理解。当然，不是说只看这些书就可以了，大数据相关的内容过于庞杂，只介绍书单都可以单独写一本书了。

我列举书单的目的是希望帮助你在某一点深入学习，一本书中可能引用到另外一本，或者另外若干本。如果你对某一个方向感兴趣，你可以从其中一本书出发，我相信很快你也能找到更多学习资料。

你好，我是荒川，很高兴你能坚持学习到最后。两个多月的时间转瞬即逝，我们的《大数据技术基础 22 讲》专栏也临近尾声。在这里，我要感谢你对专栏的支持和鼓励；也要向你表示祝贺：你已经完整地学习了专栏的全部内容，相信你的坚持一定会有所收获。

回顾与展望

我们先来回顾一下专栏的内容。在 01 讲中，我们以天气预报的数据采集/预测为例，带你初步了解了什么是大数据；然后介绍了互联网公司常见的大数据架构以及处理工具，比如 Hadoop、Spark、Flink、HBase、Hive 等；接着对当前火热的数据挖掘和机器学习算法进行了介绍；最后我们从应用的角度了解了推荐系统、用户画像、数据化运营等与大数据息息相关的互联网公司常见项目。

当然，大数据相关的内容纷繁复杂，想通过 22 节课把大数据吃透几乎是一件不可能的事情。专栏里介绍的这些内容基本上都是我工作中的亲身实践，也许并不全面，甚至有的内容可能有些过时，但是在我看来，如果你学习这些内容后在脑海中对大数据化有一个相对体系的认知，就已经达到了我开设这个专栏的目的：

当你真正遇到与大数据有关的问题时，不会束手无策，至少知道该朝哪个方向去寻找答案；
当你身处其中的某个环节时，能够在脑海中浮现上游依赖和下游应用；
即使目前你并未身处其中，但是通过课程或许你能发现自己的兴趣点，确认自己接下来的学习路径。

我是 2020 年 12 月份开始写的这个专栏，当时寒风凛冽、疫情反复。在更新课程的这段时间里，冬去春来、万物复苏，即将进入五彩斑斓的夏天。而大数据，我想它也处在一个春夏交替的位置，虽说现在已经涌现了很多优秀的工具和应用，但还在推陈出新的阶段，远未达到巅峰。

在大数据的应用上，比如医学领域，大数据能够帮助医生进行病情诊断和分析；在金融领域，大数据可以帮助银行、保险识别风险用户；在教育方面，AI 教学、扫描答题等教育手段让不同地区的孩子可以接受同样的教育；在疫情当下，大数据帮助监测人员流动，进行大规模人员筛查……

我们真真切切地生活在一个大数据的时代，大数据相关的应用已经渗透我们生活的各个方面，但是我坚信这只是一个开始。随着能源、硬件设备的发展，大数据技术还会带来更多的奇迹，比如当前的“真香”定律——无人车。或许在不久的将来，无人驾驶的汽车就能遍布大街小巷。

再说回我们在公司中的工作。我刚入行的工作是做新闻网站的搜索和推荐系统，那时的新闻还只是依赖于传统媒体和互联网编辑们孜孜不倦的编写，也就是我们现在常说的 PGC（Professional Generated Content）模式。哪怕全国的编辑们绞尽脑汁，一天生产的新闻不过寥寥几万篇，再经过筛选、去重，每天可推的新内容最多也就几千条。

就在一两年后，UGC（User Generated Content）模式席卷了内容生态，尤其是随着 4G 网络和智能手机的发展，文本、图片、视频纷至沓来，我们每天搜集的新闻内容暴涨到几百万甚至上千万，就算经过严格的筛选和去重，每天可推荐的内容也有百万量级。

在这个过程中，我们的技术架构也发生了翻天覆地的变化。过去的数据流转、数据存储、计算框架无法适应最新需求，经常会进行迭代升级。这样的过程十分痛苦，因为每次都有新的东西进来，有新的东西要去学习。可能你手中的新工具还没有搞明白，就又要换另外一个工具了。

但是，在这样的“震荡”过程中，我们也在不断学习新的东西。最近几年，大数据相关的工具和技术逐渐成熟，解决方案也能适应数据的增长。但这并不意味着相关工具足够完备，毕竟数据量、速度、多样性以及价值仍在持续增长。这就需要我们保持终身学习的意识，积极迎接新技术的“冲击”。

当前的互联网公司，或多或少都依赖大数据工具和能力开展业务，技术人员掌握大数据相关的技术需求已经迫在眉睫。无论你的工作是前端，还是后台开发，都避免不了工具应用和数据处理的问题。了解大数据相关的技术可以让你的工作更加顺畅，同时也是对自己能力边界的拓宽。

除了技术人员，公司中的产品、运营甚至是设计和财务也应该掌握一些大数据应用的能力。我们经常会听到数据分析，是因为越来越多的工作需要使用数据驱动业务的发展：产品需要分析数据来决定产品定位和走向；运营需要分析数据定制运营策略；财务则可以通过数据分析和可视化探究财务问题；设计师也可以通过数据分析了解自己设计的样式是否能得到用户的喜爱。

哈佛大学教授加里金曾经说过：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”不只是互联网公司，数据化的进程最终会进入各行各业。数据将会成为公司的核心资产，数据化能力会成为公司的核心竞争力。所以，即使你现在不是大数据相关的技术人员，你也应该了解大数据的基本流程。

写在最后的话

大数据的能量很大，但这并不意味着当前大数据的发展毫无问题。正如我们在课程中提到的数据安全问题，就是大数据面临的巨大挑战。除了数据安全，目前讨论最多的就是大数据与人工智能导致工人失业的问题：比如无人驾驶可能替代掉司机；智能客服已经被大量使用；机器翻译则代替翻译师的工作等。

当然，问题的存在并不能阻挡大数据前进的步伐。大数据的能力以及带来的价值已经得到越来越多人的认可，它的未来一定是光明的，大数据的应用最终将渗透到每一个角落。

精选评论