Apache Gobblin 分布式大数据集成框架

Apache Gobblin 是一个分布式大数据集成框架，用于流式和批处理数据生态系统。该项目 2014 年起源于 LinkedIn，2015 年开源，并于 2017 年 2 月进入 Apache 孵化器

通过简化跨多个执行环境、数据速度、规模、连接器等的接收、复制、组织和生命周期管理流程，Apache Gobblin 每天可用于集成数百 TB 和数千个数据集

在支持简单转换的同时，从各种来源提取和导出数据，并汇入和汇出数据湖。
湖中的数据组织（例如压缩、分区、重复数据删除）。
元数据驱动的湖泊内数据的生命周期和合规性管理（例如，数据保留、细粒度数据删除）

Apache Gobblin 的详细介绍可查看：https://gobblin.apache.org/

Apache Gobblin 分布式大数据集成框架相关推荐

开源直播课丨大数据集成框架ChunJun类加载器隔离方案探索及实践
本期我们带大家回顾一下无倦同学的直播分享<ChunJun类加载器隔离>,ChunJun类加载器隔离的方案是我们近期探索的一个新方案,这个方案目前还不是非常成熟,希望能借由此次分享与大家一起 ...
盘点2021年晋升为Apache TLP的大数据相关项目
时间过得真快,2021年就过去了,又到了一年总结的时候了.本文将延续之前的惯例来总结一下过去一年大数据相关的项目顺利毕业成 Apache 顶级项目.在2021年一共有四个大数据相关项目顺利毕业成顶级项 ...
新代大数据计算框架Apache Flink
大数据计算框架的发展最近几年,出现了很多热门的开源社区,其中注明的Hadoop Storm,以及很热门的Spark, 它们有着各自专注的应用场景.Spar掀开了内存计算的先河,也以内为基础,赢得了内 ...
分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例【转】
Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...
在线车辆推荐网 Python语言+Django框架+Mysql数据库基于用户、物品的协同过滤推荐算法开发在线汽车推荐系统二手车网站推荐系统分布式大数据、机器学习、人工智能开发
在线车辆推荐网 Python语言+Django框架+Mysql数据库基于用户.物品的协同过滤推荐算法开发在线汽车推荐系统二手车网站推荐系统分布式大数据.机器学习.人工智能开发 CarRecom ...
大数据计算框架与平台--深入浅出分析
http://mp.weixin.qq.com/s/s2DnbgieeQockaLKdZDCzA?utm_source=tuicool&utm_medium=referral 1. 前言计算 ...
全面认识当前市面99%的大数据技术框架（附:各大厂大数据技术应用文章）
目录大数据领域分析系统平台集群管理与监控文件系统资源调度协调框架数据存储数据处理数据查询和分析数据收集消息系统任务调度数据治理数据可视化云平台大数据必知点大厂应用实践 ...
大数据计算框架及引擎介绍
一.大数据处理框架主流的大数据处理框架包括以下三类五种: 1.仅批处理框架:Apache Hadoop 2.仅流处理框架:Apache Storm.Apache Samza 3.混合框架:Apach ...
大数据开源框架技术汇总
主要基于对现阶段一些常用的大数据开源框架技术的整理,只是一些简单的介绍,并不是详细技术梳理.可能会有疏漏,发现再整理.参考得太多,就不一一列出来了.这只是作为一个梳理,对以后选型或者扩展的做个参考. ...

Apache Gobblin 分布式大数据集成框架

Apache Gobblin 分布式大数据集成框架相关推荐

最新文章

热门文章