Apache Iceberg理解和应用

2024-05-14 10:48:48

目录

引言

Iceberg官网定义

Iceberg数据结构

与其他数据湖产品对比

参考文章

引言

　Apache Iceberg作为一款新兴的数据湖解决方案在实现上高度抽象，在存储上能够对接当前主流的HDFS，S3文件系统并且支持多种文件存储格式，例如Parquet、ORC、AVRO。相较于Hudi、Delta与Spark的强耦合，Iceberg可以与多种计算引擎对接，目前社区已经支持Spark读写Iceberg、Impala/Hive查询Iceberg。本文基于Apache Iceberg 0.10.0，介绍Iceberg文件的组织方式以及不同文件的存储格式。

Iceberg官网定义

Iceberg是一个通用的表格式（数据组织格式），它可以适配Presto，Spark等引擎提供高性能的读写和元数据管理功能。

从Iceberg的定义中不难看出，这类技术它的定位是在计算引擎之下，又在存储之上。同时，它也是一种数据存储格式，Iceberg则称其为"table format"。因此，这类技术可以看作介于计算引擎和数据存储格式中间的数据组织格式，通过特定的方式将数据和元数据组织起来，所以称之为数据组织格式更为合理，而Iceberg将其定义为表格式也直观地反映出了它的定位和功能。

Iceberg数据结构

与其他数据湖产品对比

参考文章

iceberg数据存储格式 - 奇葩兔子 - 博客园

大数据时代，数据湖技术Apache Iceberg的前世今生

数据湖09：开源框架DeltaLake、Hudi、Iceberg深度对比_YoungerChina的博客-CSDN博客_开源数据湖

Apache Iceberg理解和应用相关推荐

数据湖08：Apache Iceberg原理和功能介绍
系列专题:数据湖系列文章在使用不同的引擎进行大数据计算时,需要将数据根据计算引擎进行适配.这是一个相当棘手的问题,为此出现了一种新的解决方案:介于上层计算引擎和底层存储格式之间的一个中间层.这个中间 ...
Apache Iceberg小文件处理和读数流程分析
点击上方蓝色字体,选择"设为星标" 回复"面试"获取更多惊喜全网最全大数据面试提升手册! 第一部分:Spark读取Iceberg流程分析这个部分我们分析常规 ...
Apache Iceberg技术调研在各大公司的实践应用大总结
作者在实际工作中调研了Iceberg的一些优缺点和在各大厂的应用,总结在下面.希望能给大家带来一些启示. 随着大数据存储和处理需求越来越多样化,如何构建一个统一的数据湖存储,并在其上进行多种形式的数据 ...
Apache Iceberg 快速入门
导言本文主要介绍如何快速的通过Spark访问 Iceberg table. 如果想及时了解Spark.Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop Spar ...
Apache Iceberg 你需要知道的原理与技术
实时数据仓库的发展.架构和趋势这篇文章从实时数仓开始讲到批流一体,谈了谈对大数据架构体系发展趋势的看法.文章最后讲到了基于数据湖Iceberg实现的存储层统一方案,以及要实现此方案Iceberg需要 ...
Apache Iceberg 数据湖从入门到放弃(2) —— 初步入门
在介绍如何使用Iceberg之前,先简单地介绍一下Iceberg catalog的概念.catalog是Iceberg对表进行管理(create.drop.rename等)的一个组件.目前Iceber ...
Apache iceberg：Netflix 数据仓库的基石
Apache Iceberg 是一种用于跟踪超大规模表的新格式,是专门为对象存储(如S3)而设计的. 本文将介绍为什么 Netflix 需要构建 Iceberg,Apache Iceberg 的高层次 ...
Apache Iceberg核心原理分析文件存储及数据写入流程
点击上方蓝色字体,选择"设为星标" 回复"面试"获取更多惊喜全网最全大数据面试提升手册! 第一部分:Iceberg文件存储格式 Apache Iceberg作 ...
Apache Iceberg 分区表探索与实践
组件版本组件版本 Apache Iceberg 0.11 Apache Hive 2.1.0 Apache Spark 3.0 Apache Flink 1.11 文章目录简介测试分区表功能 ...

最新文章

热门文章