作者简介：目前就职于一线互联网公司，主要是从事大数据开发工作。关注⬆️上方公众号，及时获取一线互联网技术资讯，想要联系作者，公众号有我的微信二维码。

什么是数据湖？

数据湖是一个集中的存储库，允许您以任何规模存储所有结构化和非结构化数据。您可以按原样存储数据，而不必首先构造数据，并运行不同类型的分析—从仪表板和可视化到大数据处理、实时分析和机器学习，以指导更好的决策。

为什么需要数据湖？

通过数据成功创造商业价值的组织将胜过同行。Aberdeen 的一项调查表明，实施数据湖的组织比同类公司在有机收入增长方面高出 9%。这些领导者能够进行新类型的分析，例如通过日志文件、来自点击流的数据、社交媒体以及存储在数据湖中的互联网连接设备等新来源的机器学习。这有助于他们通过吸引和留住客户、提高生产力、主动维护设备以及做出明智的决策来更快地识别和应对业务增长机会

数据湖与数据仓库相比 – 两种不同的方法

根据要求，典型的组织将需要数据仓库和数据湖，因为它们可满足不同的需求和使用案例。

数据仓库是一个优化的数据库，用于分析来自事务系统和业务线应用程序的关系数据。事先定义数据结构和 Schema 以优化快速 SQL 查询，其中结果通常用于操作报告和分析。数据经过了清理、丰富和转换，因此可以充当用户可信任的“单一信息源”。

数据湖有所不同，因为它存储来自业务线应用程序的关系数据，以及来自移动应用程序、IoT 设备和社交媒体的非关系数据。捕获数据时，未定义数据结构或 Schema。这意味着您可以存储所有数据，而不需要精心设计也无需知道将来您可能需要哪些问题的答案。您可以对数据使用不同类型的分析（如 SQL 查询、大数据分析、全文搜索、实时分析和机器学习）来获得见解。

随着使用数据仓库的组织看到数据湖的优势，他们正在改进其仓库以包括数据湖，并启用各种查询功能、数据科学使用案例和用于发现新信息模型的高级功能。Gartner 将此演变称为“分析型数据管理解决方案”或“DMSA”。

数据湖作为一个集中的存储库，可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中，可以存储数据不需要对其进行结构化，就可以运行不同类型的分析。

数据湖的创建通常没有特定的目的。它包含来自各种数据源的所有源数据，包括：非结构化的或半结构化的，这使得它在潜在的用例中更加灵活。数据湖通常建立在低成本的商品硬件上，这使得它在经济上行存储TB级甚至PB级数据。

数据仓库，也称为企业数据仓库，是一种数据存储系统，它将来自不同来源的结构化数据聚合起来，用于业务智能领域的比较和分析，数据仓库是包含多种数据的存储库，并且是高度建模的。换句话说，在数据仓库中找到的任何数据都将与数据仓库中的所有其他数据密切相关。此外，仓库中的数据往往是高度标准化和非常“干净”的。

一个数据湖可以被认为是一个巨大的原始数据池，其中的目的没有定义。数据仓库是结构化和已定义数据的存储库，这些数据已经为特定目的进行了处理。

数据湖和数据仓库之间最大的区别是原始数据和处理数据的结构不同。数据湖主要存储未经处理的原始数据，而数据仓库是存储经过处理的和精炼的数据。

由于数据湖主要存储原始和未处理的数据，所存储的数据可以用于任何目的，这使其成为人工智能(Al)、机器学习和数据科学的理想选择。然而，未处理的数据确实需要很大的存储容量，而且还存在数据治理的问题。

然而数据湖，作为廉价的原始存储，缺点在于数据的处理。如何处理数据湖中的元数据，安全性和治理？这在成本可能上升很多。

因此，“数据湖泊可以更快地产生结果，因为已有大量数据存在。但是，数据湖对用户负有更多的责任来探索数据并查找用例。

数据湖可以更快地产生结果，因为那里已经有很多数据了。然而，数据湖把更多的责任放在用户身上，让他们去探索数据和发现用例。

对于数据仓库来说，由于存储的数据是结构化的，并且已经被处理过了，这使得企业更容易发现和理解数据。但是数据仓库的这一显著优势提供的灵活性很小，并且确实需要大量的劳动力。

数据湖和分析解决方案的基本要素

组织构建数据湖和分析平台时，他们需要考虑许多关键功能，包括：

数据移动

数据湖允许您导入任何数量的实时获得的数据。您可以从多个来源收集数据，并以其原始形式将其移入到数据湖中。此过程允许您扩展到任何规模的数据，同时节省定义数据结构、Schema 和转换的时间。

安全地存储和编目数据

数据湖允许您存储关系数据（例如，来自业务线应用程序的运营数据库和数据）和非关系数据（例如，来自移动应用程序、IoT 设备和社交媒体的运营数据库和数据）。它们还使您能够通过对数据进行爬网、编目和建立索引来了解湖中的数据。最后，必须保护数据以确保您的数据资产受到保护。

分析

数据湖允许组织中的各种角色（如数据科学家、数据开发人员和业务分析师）通过各自选择的分析工具和框架来访问数据。这包括 Apache Hadoop、Presto 和 Apache Spark 等开源框架，以及数据仓库和商业智能供应商提供的商业产品。数据湖允许您运行分析，而无需将数据移至单独的分析系统。

机器学习

数据湖将允许组织生成不同类型的见解，包括报告历史数据以及进行机器学习（构建模型以预测可能的结果），并建议一系列规定的行动以实现最佳结果。

数据湖的价值

能够在更短的时间内从更多来源利用更多数据，并使用户能够以不同方式协同处理和分析数据，从而做出更好、更快的决策。数据湖具有增值价值的示例包括：

改善客户互动

数据湖可以将来自 CRM 平台的客户数据与社交媒体分析相结合，有一个包括购买历史记录和事故单的营销平台，使企业能够了解最有利可图的客户群、客户流失的原因以及将提升忠诚度的促销活动或奖励。

改善研发创新选择

数据湖可以帮助您的研发团队测试其假设，改进假设并评估结果 – 例如在产品设计中选择正确的材料从而提高性能，进行基因组研究从而获得更有效的药物，或者了解客户为不同属性付费的意愿。

提高运营效率

物联网 (IoT) 引入了更多方式来收集有关制造等流程的数据，包括来自互联网连接设备的实时数据。使用数据湖，可以轻松地存储，并对机器生成的 IoT 数据进行分析，以发现降低运营成本和提高质量的方法。

数据湖的挑战

数据湖架构的主要挑战是存储原始数据而不监督内容。对于使数据可用的数据湖，它需要有定义的机制来编目和保护数据。没有这些元素，就无法找到或信任数据，从而导致出现“数据沼泽”。满足更广泛受众的需求需要数据湖具有管理、语义一致性和访问控制。

在云中部署数据湖

数据湖是要在云中部署的理想工作负载，因为云提供性能、可扩展性、可靠性、可用性、各种分析引擎以及大型规模经济。ESG 研究发现，39% 的调查对象认为云部署主要用于分析，41% 认为用于数据仓库，43% 认为用于 Spark。客户认为云作为数据湖的优势的主要原因是更好的安全性、更快的部署、更好的可用性、更频繁的特性/功能更新、更具弹性、更广的地理覆盖范围以及与实际利用率相关的成本。

基于 AWS 在云中构建数据湖

AWS 提供最安全、可扩展、全面且经济高效的服务组合，使客户能够在云中构建数据湖，以及使用机器学习等各种分析方法分析所有数据，包括来自 IoT 设备的数据。因此，在 AWS 上运行数据湖和分析的组织越来越多，而且超过了其他任何地方信任 AWS 来运行其业务关键型分析工作负载的客户，如 NETFLIX、Zillow、NASDAQ、Yelp、iRobot 和 FINRA。

Ozone在腾讯数据湖中的应用

堵俊平.腾讯大数据海量存储与计算负责人，他在2019软件大会上做了《Ozone-下一代数据湖存储》主题分享，想要获取俊平老师的PPT，可以到公众号回复“架构”，既可以获取2019软件大会相关PPT。

总结

其实数据仓库和数据湖是我们都需要的地方，数据仓库非常适用于业务实践中常见的可重复报告。当我们执行不太直接的分析时，数据湖就很有用。

在这篇文章中我们给大家介绍了关于数据仓库和数据湖的相关知识，大家在进行数据分析工作的时候还是要根据自身的情况去进行选择工具，最后祝愿大家更好地了解数据分析。

你也「在看」吗？