数据湖，已成为海量数据存储与分析的重要承载方式

简介： 在云计算和大数据时代，基于数据开展生产、运营、决策成为常态，根据Gartner报道，2019年数据基建方面的采购费用飙升到660亿美元，占据基础架构类软件费用的24%。数据的存储及应用体系是企业生态运转的中枢神经，数据湖已经成为海量数据存储与分析的重要承载方式。

在汹涌而至的信息化浪潮下，大数据技术不断更新迭代，数据管理工具得到飞速发展，相关概念也随之而生。数据湖（Data Lake）概念自2011年被推出后，其概念定位、架构设计和相关技术都得到了飞速发展和众多实践，数据湖也从单一数据存储池概念演进为支撑高效、安全、稳定企业级数据应用的下一代基础数据平台。

此次发布的《数据湖应用实践白皮书》涵盖了数据湖的定义与架构、数据湖核心组件与方案介绍、数据湖构建方案、应用实践等内容，希望为用户提供新的洞察。

通过阅读本书，包括开发者、IT运维人员、企业数字化管理者等可以全面了解阿里云基于云原生技术的企业级数据湖解决方案和相关产品，也能明晰传统数据仓库和数据湖的差异。

在云计算和大数据时代，基于数据开展生产、运营、决策成为常态，根据Gartner报道，2019年数据基建方面的采购费用飙升到660亿美元，占据基础架构类软件费用的24%。数据的存储及应用体系是企业生态运转的中枢神经，数据湖已经成为海量数据存储与分析的重要承载方式。

市场调研机构Research and Markets发布的报告显示，2020年，全球数据湖市场的价值为37.4亿美元，预计到2026年将达到176亿美元，在2021年至2026年的预测期间的复合年增长率为29.9％。

云原生时代的到来，引领数据湖进入了“云湖共生”新的阶段。在此背景下，阿里云推出基于云原生技术的企业级数据湖解决方案，该方案采用了存储计算分离架构，存储层基于阿里云对象存储OSS构建，并与阿里云数据湖分析(Data Lake Analytics 简称 DLA)、数据湖构建(Data Lake Formation简称 DLF)、E-MapReduce(简称EMR)、DataWorks(简称DW)等计算引擎无缝对接，且兼容丰富的开源计算引擎生态。

十年踪迹十年心，结合先进的数据科学与机器学习技术，数据湖还能为企业提供预测分析，帮助企业构建、优化训练模型等。希望这本白皮书可以为企业和组织的数字化转型实践提供指引，为相关领域的业务决策者与实践者提供面向行业应用场景的重要参考。

原文链接

本文为阿里云原创内容，未经允许不得转载。

数据湖，已成为海量数据存储与分析的重要承载方式相关推荐

大数据，轻松应对海量数据存储与分析所带来的挑战
文章目录一.前言二.Spark 2.1 Spark架构 2.2 Spark核心组件 2.3 Spark编程模型 2.4 Spark计算模型 2.5 Spark运行流程 2.6 Spark RDD流 ...
初识Hadoop，轻松应对海量数据存储与分析所带来的挑战
目录一.前言:什么是Hadoop? 二.Hadoop生态圈 2.1 Hadoop2.x的生态系统 2.2 Hadoop2.x各个组件 2.3 大数据与云计算三.HDFS(分布式文件系统) 3.1 ...
论大数据时代下的海量数据存储技术
高清.长周期呈现海量存储需求高清已经在安防行业全面铺开应用.除了带给用户能够看得更清的良好视觉感受外,对存储容量的需求亦成几何式增长.例如: 前端IPC有130W到500W像素,码流也从有2Mbps ...
大数据时代下的海量数据存储技术有哪些？
高清.长周期呈现海量存储需求高清已经在安防行业全面铺开应用.除了带给用户能够看得更清的良好视觉感受外,对存储容量的需求亦成几何式增长.例如:前端IPC有130W到500W像素,码流也从有2Mbps到 ...
【数据湖存储】数据湖的终极奥秘，无招胜有招
作为海量数据存储与分析的重要承载方式的数据湖,从2011年概念诞生至今,已经发展了9个年头.而数据湖是什么?又能为数字化经济带来什么?<阿里云数据湖存储解决方案蓝皮书>将为您揭开数据湖的终 ...
【推荐】数据湖技术及实践与案例资料汇总合集47篇
数据湖或hub的概念最初是由大数据厂商提出的,表面上看,数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的.但数据量越大,越需要各种不同种类的存储.最终,所有的企业数据都可以被认为是大数据,但并 ...
数据湖分析如何面向对象存储OSS进行优化？
简介:最佳实践,以DLA为例子.DLA致力于帮助客户构建低成本.简单易用.弹性的数据平台,比传统Hadoop至少节约50%的成本.其中DLA Meta支持云上15+种数据数据源(OSS.HDFS.DB ...
聚焦 | 数据湖分析如何面向对象存储OSS进行优化？
简介: 最佳实践,以DLA为例子.DLA致力于帮助客户构建低成本.简单易用.弹性的数据平台,比传统Hadoop至少节约50%的成本.其中DLA Meta支持云上15+种数据数据源(OSS.HDFS.D ...
袋鼠云数据湖平台「DataLake」，存储全量数据，打造数字底座
一.什么是数据湖? 在探讨数据湖技术或如何构建数据湖之前,我们需要先明确,什么是数据湖? 数据湖的起源,应该追溯到2010年10月.基于对半结构化.非结构化存储的需求,同时为了推广自家的Pentaho ...

数据湖，已成为海量数据存储与分析的重要承载方式

数据湖，已成为海量数据存储与分析的重要承载方式相关推荐

最新文章

热门文章