架构：数据系统Apache Hop简介以及与Kettle的异同
Apache Hop（Hop Orchestration Platform 的首字母缩写）是一种数据编排（data orchestration ）和数据工程平台（data engineering platform），旨在促进数据和元数据编制。Hop 可以让我们专注于问题的解决，而不受技术的阻碍。该项目起源于 Kettle，经过数年的重构，并于2020年9月进入 Apache 孵化器；2022年1月18日正式成为 Apache 顶级项目。
Hop 允许数据专业人员以可视化的方式工作，使用元数据来描述应如何处理数据。可视化设计使数据开发人员能够专注于他们想要做的事情，而不是需要如何完成该任务。这种对手头任务的关注让 Hop 开发人员比编写代码时更有效率。Hop 的目标是成为数据集成的未来，我们只需要对手头上的任务进行一次设计，然后通过 Apache Hop 在任何地方运行，比如 Hop 本地引擎、Spark、Flink、Google Dataflow 或 AWS EMR等。
Hop 被设计的尽可能灵活：其核心是小巧但功能强大的 Hop 引擎。所有的功能都是通过插件添加的：默认的 Hop 安装带有大约 400 个插件。我们可以根据需要删除或添加第三方插件，以定制 Hop，使其完全符合我们的需要。Hop 设计用于任何场景，从物联网到海量数据、本地、云端、裸操作系统或容器和 kubernetes。
Hop 的使用场景主要有以下几个方面：
- 利用云、集群和大规模并行处理环境，将大型数据集加载到数据库中；
- 数据仓库构建并支持渐变维度 (SCD, Slowly Changing Dimensions)、变更数据捕获 (CDC,Change Data Capture) 和代理键创建；
- 不同数据架构之
架构：数据系统Apache Hop简介以及与Kettle的异同相关推荐
- 起源于 Kettle 的新一代数据集成平台 Apache Hop 成为 Apache 顶级项目
Apache Hop(Hop Orchestration Platform 的首字母缩写)是一种数据编排(data orchestration )和数据工程平台(data engineering pl ...
- Apache CXF 简介
Apache CXF 简介 开放源代码的服务框架 本教程介绍了 Apache CXF 服务框架的基本知识,并通过讲解自带的例子来初步体验通过 CXF 进行服务的发布与消费:然后搭建基于 Eclipse ...
- Apache hop web构建及部署
前言 正在使用kettle webspoon,虽然解决了一些问题,但是问题还是层出不穷,在群中了解到apache hop是基于kettle最新的扩展,所以研究一下.新的确实是不一样,构建过程比webs ...
- apache hop 搭建_server端
第一:下载hop,并按照在docker中 执行docker脚本 docker run -d \ --name=hop-server \ -p 8181:8181 \ -v /e/soft/rar ...
- 大数据权限管理组件Apache Ranger简介和原理
大数据权限管理组件Apache Ranger简介和原理 一.什么是Ranger 二.Ranger的管理页面和Ranger支持的框架 三.Ranger的目标 四.Ranger架构 五.Ranger的工作 ...
- Apache Camel简介以及使用场景
Apache Camel简介以及使用场景 我们要解决的问题以及解决方案 我们要解决的问题 EAI的常用解决方案 SOA架构模型 ESB企业服务总线 如何实现ESB 为什么使用Camel Camel可以 ...
- 用户案例｜告别传统金融消息架构：Apache Pulsar 在平安证券的实践
本文首发自 InfoQ <告别传统金融消息架构:Apache Pulsar 在平安证券的实践>. 在金融场景中,伴随着业务的扩展,应用系统也相应地增加更多的场景,这些新场景对消息系统提出更 ...
- Apache Mahout 简介
Apache Mahout 简介 通过可伸缩.商业友好的机器学习来构建智能应用程序 当研究院和企业能获取足够的专项研究预算之后,能从数据和用户输入中学习的智能应用程序将变得更加常见.人们对机器学习技巧 ...
- 3-docker 架构和底层技术简介
3-docker 架构和底层技术简介 Docker Platform Docker 是一个平台. 提供了一个开发.打包.运行app的平台 把app和底层 infrastructure 隔离开来 根据上 ...
最新文章
- Swift 中使用 SQLite——修改和删除数据
- CentOS 7 SSH 免密登录的方法
- python网络爬虫的基本步骤-详解Python网络爬虫功能的基本写法
- python简单连接数据库
- JAX-RS 2.0：自定义内容处理
- 计算机在盲童音乐教学中的具体应用,计算机在高校中的具体应用
- Django搭建简易博客
- 上海事职业培训软件测试高级,《软件测试人员（Java）（4级）》人力资源和社会保障部教材办公室、中国就业培训技术指导中心上海分中心、上海市职业培训研究发展中心 编_孔网...
- svn回退到上一个版本_Git实用教程（一） | 为什么需要版本控制？（以嵌入式项目开发为例）...
- 百面机器学习 #2 模型评估：07 过拟合和欠拟合及其常用解决方法
- linux修改jdk版本无效,关于windows和linux系统更换JDK版本后，修改环境变量也无法生效的原因和解决办法...
- DB2数据库SQL0670N错误(行长度超限)案例解析
- Laravel学习笔记之Demo1——URL生成和存储
- openjudge-1664 放苹果
- Chrome 大版本更新来了，这是一次「史诗级」增强
- 远程桌面服务器连接失败,Windows服务器远程桌面连接失败是什么原因
- 开博了，微博太短，不适合，还是稀饭大的博客
- 数据结构：最大子列和问题
- 计算机美术基础课程标准,《计算机美术基础》教学大纲 课程标准 最全最新.doc...
- 可以放游戏网站云服务器,游戏网站选择哪个云服务器好?游戏服务器配置方案？...