介绍

Rope 是一款轻量级别的ETL(Extract-Transform-Load)工具。主要用于从不同源获取/接受数据，然后统一处理数据后，写入到各种目标源；系统采用多级缓冲和数据缓存，每秒可处理上万级别的数据；而且系统采用插件扩展系统的各个组件，针对不同需求扩展不同插件。

特性

轻量级别、快速、简单，入门门槛低
基于Springboot开发
扩展性强，基于插件开发，可根据不同需求来开发数据读取者、数据处理器、数据写入者
既可通过UI界面来构建流程、也可以使用json、yml文件构建流程
基于 Disruptor 做的缓冲，并新增缓存(内存、redis、rocksdb等)，处理速度快

架构图

核心模块

输入模块

用于控制数据的输入动作。主要包括两种类型：主动获取型输入、被动接受性输入。

数据读取者

该模块主要是读取数据的具体实现，可自行扩展。不能单独运行，需要作用于 主动获取型Input上才能运行。

数据传输模块

主要对数据进行传送，系统中存在两种数据传输：一个是用于把输入模块输入的数据传输到数据处理器中，另一个是把数据处理器处理后的数据传输到输出模块中。目前支持默认的数据传输器和基于Disruptor的缓冲数据传输器，在实际环境中建议Disruptor的缓冲数据传输器。

数据处理器模块

该组件为数据处理器，其作用是处理数据，比如将字符型数据处理成其他类型、丢弃某数据、新增某数据字段。该组件可自行扩展，是非必须组件。

数据输出模块

该组件主要用于系统数据的输出，即将数据以哪种方式输出，它并不关心数据输出到哪里去，只关心数据如何输出。

数据写入者

该组件为具体数据写入的实现，它主要关心数据写入到哪里去，为数据输出的具体实现。必须作用于Output上才能运行

数据转换器-Converter

数据转换器，该组件主要用于数据类型的转换，大部分情况是配合Reader Writer实现的，核心思想是让Reader Writer关心数据的读取、写入，它关心数据类型的转换细节。这样就具有很强的扩展性。

详细文档

点击查看文档

开发环境配置

详见文档：开发环境运行与配置文档

发行版下载

V1.0.0：https://gitee.com/starblues/rope/attach_files/349986/download

Rope一款轻量级别的ETL工具相关推荐

几款开源的ETL工具及ELT初探
ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程.ETL 是构建数据仓 ...
自己动手，实现一款轻量级 HTTP 调用工具
今日推荐吊打 ThreadLocal,谈谈FastThreadLocal为啥能这么快?一个Github项目搞定微信.QQ.支付宝等第三方登录注解+反射优雅的实现Excel导入导出(通用版)Fluen ...
六款主流ETL工具介绍及功能对比
概述 ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用, ...
8种开源的ETL工具
ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程.ETL 是构建数据仓 ...
oracle视图能用etl工具_今日干货：口碑最好的五款BI工具
目前,无论是大企业还是小企业,都面临着数字化转型的挑战.在这个过程中,BI工具起到了举足轻重的作用.市面上打着BI的旗号,实际却只是单纯数据工具的产品不少,客户在进行BI 选型时,眼花缭乱,不知所措. ...
ETL工具调度之中美PK
ETL调度工具中美PK ( TASKCTL VS Control-M) 美方:Control-M ( www.bmc.com) 中方:TASKCTL ( www.taskctl.com ) 毫无疑 ...
腾讯TEG团队打造轻量级数据可视化工具——小马BI【强烈推荐大数据行业学习】
推荐一个BI工具--小马BI 在职场中有一项共识是:数据驱动业务价值.业务在产品.运营.开发.技术支持.销售等环节都有着大量的数据需求, 市面上也出现了很多 BI 可视化工具,但如果能同时具备以下特性 ...
ETL工具 - Kettle 介绍及基本使用
一.Kettle 介绍在介绍 Kettle 前先了解下什么是 ETL,ETL是 Extract-Transform-Load 的缩写,即数据抽取.转换.装载的过程,对于企业或行业应用来说,经常会 ...
linux本地agent执行脚本_github 4.4K星｜马哥教育企业教练团队研发一款轻量级、无Agent自动化运维平台...
马哥教育企业教练团队研发了一款自动化运维平台系统-Spug,上线后广受中小运维爱好者喜爱,目前github4.4k星,已经成为自动化热门项目.2020年了,运维不会搞运维自动化,都不好意思说自己做运维 ...

Rope一款轻量级别的ETL工具

介绍

特性

架构图