Kettle集群介绍

在Kettle中合理的使用集群可以加快执行的速度，并且还能在部分服务器宕机的情况下继续使用。在Kettle中集群是由一个主Carte服务器和多个从Carte服务器组成。在执行转换时，主服务器负责分发跟踪任务和收集结果总汇，从服务器负责具体的转换执行。在Kettle中,如果主服务器也宕机的话并不存在服务器（类似于redis、zookeeper等）重新选举的功能，也就是说一旦主服务器宕机，则Kettle集群就不能使用了。

使用场景

需要kettle集群的主要场景包括以下两点：

1.转换中需要大量的计算以及其他耗时步骤

2.需要系统持续不断的运行

Carte集群搭建

在Kettle的官方文档上说Carte的集群部署分为静态模式和动态模式，由于静态模式和动态模式部署区别不大，这里就直接使用比较灵活的动态模式。Carte集群的搭建还是非常简单的，我这里以本地搭建集群为例。

1.首先是将JDBC驱动程序拷贝到主从服务器上（如果是本地搭建不需要）

2.进入到PDI的pwd目录下，如下所示。

先配置master的xml文件。如下所示，所有的属性都非常的容易理解。

对于从服务器配置也没有什么特别的地方，我们需要配置指定的主服务器。

3.运行Carte，并指定配置文件

出现端口监听后则代表启动成功。

这样将所有的Carte启动即可。

在转换中配置集群

上面是搭建了Carte集群，下面是对转换进行集群配置调用。

1.配置子服务器

对子服务配置很简单，基本都是Carte服务器连接的信息。

2.Kettle集群schemas配置

schemas配置同样很简单，不过有一点要注意的，就是需要勾上Dynamic cluster选项。因为我们是动态集群，如果有部分从服务器失去连接，也能执行。如果没有勾选，就以静态集群使用，如果有部分服务器失去连接，就会报connect refused错误。

3.对需要集群运行的步骤设置集群运行。

集群运行配置

使用集群启动，需要先进行启动配置，选择remote中的Clustered。

然后运行的时候选择我们刚刚配置的集群运行模式即可。从日志中我们可以看到主服务器只是做任务转发和合并的工作。如果不是集群的步骤，则指定一个从服务器执行；如果是集群步骤则将输入的流分均分给从服务器执行。

官方链接：

https://help.pentaho.com/Documentation/8.1/Products/Data_Integration/Carte_Clusters/Setup

https://help.pentaho.com/Documentation/8.1/Products/Data_Integration/Data_Integration_Perspective/Transformations#Run_Configurations

Kettle — 集群使用相关推荐

【转】Kettle集群
Kettle集群 Kettle是一款开源的ETL工具,以其高效和可扩展性而闻名于业内.其高效的一个重要原因就是其多线程和集群功能. Kettle的多线程采用的是一种流水线并发的机制,我们在另外的文章中 ...
kettle 集群部署及使用
以 8.3版本为例准备了3台服务器作为集群节点. 每个节点安装jdk,设置jdk环境变量(略) 上传kettle安装包到每个节点并解压 unzip pdi-ce-8.3.0.0-371.zip 修改 ...
Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例
Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例一.下载kettle和mysql驱动二.相关技术博客三.Kettle分布式集群环境准备四.解压kettle 五.执行Kit ...
kettle mysql 参数,Kettle集群及Mysql参数调整
<Kettle集群及Mysql参数调整>由会员分享,可在线阅读,更多相关<Kettle集群及Mysql参数调整(10页珍藏版)>请在人人文库网上搜索. 1.1 Kettle 集 ...
Kettle Carte集群在windows 上的部署与运行
本片文章主要是关于使用Kettle的UI界面: Spoon来实现基于集群的对数据库中的数据表数据进行排序的试验. 以及在实验过程中所要开启的Carte服务的一些配置文件的设置, 还有基于Windows ...
Kettle/Pentaho的Carte集群配置和使用
以下配置和记录只为学习使用,查看了网上资料进行的实践,这是文档记录的一个章节,提供给大家学习. 目录 1.Carte的配置 2.Carte的启动 3.Carte的停止 4.Carte的使用 4.1配置 ...
carte集群的搭建笔记
原理由一个主carte服务器和多个carte服务器组成,类似于master-slave结构,不同的是'master'不处理具体任务,只负责任务的分发和收集运行结果.Master carte节点收到请 ...
kettle数据源连接的集群设置
配置数据源连接是否启用集群设置说明: 配置成功数据源后默认情况下数据源作用域为局部数据源,如果需要把数据源修改成为全局数据源,则选择数据源,右击Share保存即可. 问题:如何查看数据源是否为全局数 ...
Kettle Carte集群关闭问题
Kettle Carte命令行是没有关闭的服务的命令的.一般,情况下,直接kill掉pid就是了.但是kettle开启的进程好多个,如果一个个kill,一方面比较麻烦,另外可能kill掉一个pid之后 ...

Kettle — 集群使用