kettle 集群部署及使用

以 8.3版本为例

准备了3台服务器作为集群节点。
每个节点安装jdk,设置jdk环境变量（略）
上传kettle安装包到每个节点并解压

unzip pdi-ce-8.3.0.0-371.zip

修改$KETTLE_HOME/pwd下的配置文件
主节点需要修改carte-config-master-8080.xml
副节点修改carte-config-xxxx.xml文件，有几个副节点就对应更改就行

主节点修改carte-config-master-8080.xml

  <slaveserver><name>master</name><hostname>172.20.7.230</hostname><port>8080</port><username>cluster</username><password>cluster</password><master>Y</master></slaveserver>

副节点1修改carte-config-8081.xml,masters标签中与主节点一致

<masters><slaveserver><name>master</name><hostname>172.20.7.230</hostname><port>8080</port><username>cluster</username><password>cluster</password><master>Y</master></slaveserver></masters><report_to_masters>Y</report_to_masters><slaveserver><name>slave1-8081</name><hostname>172.20.7.231</hostname><port>8081</port><username>cluster</username><password>cluster</password><master>N</master></slaveserver>

副节点2 修改carte-config-8082.xml。参照elt2修改方式

一般上传解压后需要给予脚本执行权限，在$KETTLE_HOME下执行

chmod +x *.sh

如果是在windows环境运行过，迁移到Linux。可能会因为缓存出现错误
Unexpected problem updating configuration org.apache.aries.transaction

# 删除缓存文件
rm -rf $KETTLE_HOME/system/karaf/caches/*

启动

# 主要 不要把hive-jdbc的包放在$KETTLE_HOME/lib下，会和jetty包冲突
# 在$KETTLE_HOME下执行
# 节点1
./carte.sh ./pwd/carte-config-master-8080.xml# 节点2
./carte.sh ./pwd/carte-config-8081.xml# 节点3
./carte.sh ./pwd/carte-config-8082.xml

配置集群
7.1 先配置子服务器

根据carte-config的xml配置填写对应信息
主节点：

副节点1：

副节点2：

7.2 配置kettle集群schemas
使用

在需要集群运行的步骤上右键，选择集群

选择配置好的集群

选择集群运行

kettle 集群部署及使用相关推荐

Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例
Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例一.下载kettle和mysql驱动二.相关技术博客三.Kettle分布式集群环境准备四.解压kettle 五.执行Kit ...
Kettle — 集群使用
Kettle集群介绍在Kettle中合理的使用集群可以加快执行的速度,并且还能在部分服务器宕机的情况下继续使用.在Kettle中集群是由一个主Carte服务器和多个从Carte服务器组成.在执行转换 ...
Kylin集群部署和cube使用
Kylin集群部署和cube使用安装集群环境节点 Kylin节点模式 Ip 内存磁盘 Node1 All 192.167.71.11 2G 80G Node2 query 192.168.71. ...
堡垒机jumpserver集群部署
本文参考老广二次开发后的堡垒机部署方案,在此基础上进行集群部署,提高其可靠性.尽管国外已经有类似的功能的堡垒机的发布,但是还是要感谢老广在百忙之中开发出更加实用的堡垒机. 本文内容虽然亲测,但内容难免 ...
百度开源联邦学习框架 PaddleFL：简化大规模分布式集群部署
百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署作者 | 钰莹近两年,联邦学习技术发展迅速.作为分布式的机器学习范式,联邦学习能够有效解决数据孤岛问题,让参与方在不共享数据的基础上联 ...
手动安装K8s第三节：etcd集群部署
手动安装K8s第三节:etcd集群部署准备安装包 https://github.com/coreos/etcd 版本:3.2.18 wget https://github.com/coreos/et ...
zookeeper+kafka集群部署+storm集群
zookeeper+kafka集群部署+storm集群一.环境安装前准备: 准备三台机器操作系统:centos6.8 jdk:jdk-8u111-linux-x64.gz zookeeper:zo ...
Linux集群部署和ipvsadm命令的使用
在日常的使用中,一台服务器足够胜任很多的工作,但是当很多人同时访问的时候就会显得稍有些无力,这个时候.可以有两种解决的方法,第一种是不断的改善这台服务器的性能,但是总是会有一个上限存在,而且提升的效果 ...
Ceph v12.2 Luminous基于ubuntu16.04集群部署
第一次接触ceph集群,感谢官方的指导文档和许多网友提供的教程,糊糊涂涂算是把集群部署起来了.由于Luminous12.2刚发布不久,部署起来跟旧版本还是有些许差别,所以以此做下笔记也给需要的人做下参 ...

kettle 集群部署及使用

kettle 集群部署及使用相关推荐

最新文章

热门文章