KETTLE集群搭建
说明:
本文档基于kettle5.4
一、集群的原理与优缺点
1.1集群的原理
Kettle集群是由一个主carte服务器和多个从carte服务器组成的,类似于master-slave结构,不同的是’master’处理具体任务,只负责任务的分发和收集运行结果。
Master carte结点收到请求后,把任务分成多个部分交给slave carte执行,slave执行完毕后把结果交给mater 进行汇总,再由mster返回结果。
1.2集群的优点
和其它系统的集群一样,有以下优点:
1)多服务器运行,加快处理速度,对于大数据量的操作更明显
2)防单点失败,一台服务器故障后其它服务器还可以运行
1.3集群的缺点
1)采用主从结构,不具备自动切换主从的功能。所以一旦主节点宕机,整个系统不可用
2)对网络要求高,节点之间需要不断的传输数据
3)需要更多的服务器,而且主节点没有处理能力
1.4 适用场景
适合于:
1)需求kettle能时刻保持正常运行的场景
2)大批量处理数据的场景
二、集群搭建
2.1 配置子服务器
2.1.1 配置主服务器
打开ketlle目录,找到pwd目录,里面有4个XML文件,分别是子服务器的配置文件和密码文件:
Carte-config-master-8080.xml是主服务器的配置文件。编辑该文件,根据情况修改其中的name\hostname\port\master等属性。Name是服务器的名称,hostname是主机名或者IP,port是端口号,Master表明是否是主服务器。此外,加上两行:
<username>cluster</username>
<password>cluster</password>
在<master>Y<mater>之下
接着启动主服务器,在kettle目录中打开cmd窗口,执行carte localhost 8080:
至此,主服务器配置完成。
2.1.2 配置从服务器
剩下的三个为从服务器的配置文件。以carte-config-8081.xml为例。打开该文件:
发现该文件有<master>和<slaveserver>两层标签,<master>标签表示该服务器要连接的主服务器的信息,保持与carte-config-master.xml一致。<slaveserver>标签是从服务器的信息,按照需要更改即可。
然后启动slave1-8081从服务器:
按照同样的方法,配置slave2-8082\slave3-8083并启动。(本实验只配置一主两从)
2.2 建立集群
2.2.1 在spoon中创建子服务器。
打开spoon.bat,新建一个转换。选择主对象树-子服务器,右键新键子服务器:
把xml中的信息复制过来,保证与xml中的信息一模一样。按照这种文件配置master slave1-8081 slave2-8082。
2.2.2 建立集群
在主对象树中选择kettle集群schemas,填写schema名称,端口、sokects缓存大小、sockets刷新时间间隔、socketts数据是否压缩。在右边点击选择子服务器,选择需要的子服务器。
Schema名称即集群的名称。
端口即集群对外服务的端口.
sockets缓存大小:sockets缓存
Sockets刷新时间间隔:达到多少行记录时刷新到子服务器。
Sockets数据是否压缩:如果网络状况差,则建议选择。网络良好时不用选择。
2.3 执行转换
配置完集群后,选择转换中的执步骤”排序记录“,右键该步骤,选择”集群”,选择刚才配置的集群。
选择然后会发现排序纪录多出”CX2”,表示有2个子服务器来执行。在一个三个子服务器的集群中,主服务器负责任务分发、结果收集,转换任务由从服务器执行,故只有两个节点执行。
执行该转换:
在命令台中,主服务器:
从服务器1:
从服务器2:
可以看到各个子服务器的执行情况。
至此,集群搭建成功。
转载于:https://www.cnblogs.com/luren-hometown/p/9893507.html
KETTLE集群搭建相关推荐
- Kettle — 集群使用
Kettle集群介绍 在Kettle中合理的使用集群可以加快执行的速度,并且还能在部分服务器宕机的情况下继续使用.在Kettle中集群是由一个主Carte服务器和多个从Carte服务器组成.在执行转换 ...
- Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例
Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例 一.下载kettle和mysql驱动 二.相关技术博客 三.Kettle分布式集群环境准备 四.解压kettle 五.执行Kit ...
- 大数据调度平台Airflow(八):Airflow分布式集群搭建及测试
目录 Airflow分布式集群搭建及测试 一.节点规划 二.airflow集群搭建步骤 1.在所有节点安装python3.7 2.在所有节点上安装airflow 三.初始化Airflow 1.每台节点 ...
- 2021年大数据Kafka(三):❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Kafka的集群搭建以及shell启动命令脚本编写 一.搭建 ...
- 2021年大数据ZooKeeper(二):ZooKeeper集群搭建
目录 ZooKeeper集群搭建 第一步:下载zookeeeper的压缩包,下载网址如下 第二步:解压 第三步:修改配置文件 第四步:添加myid配置 第五步:安装包分发并修改myid的 ...
- 基于zookeeper的solrCloud集群搭建
转自:https://blog.csdn.net/yougoule/article/details/78445759 基于原文对实践遇到的问题稍作补充 1.安装及搭建相关环境 1.1环境准备 cen ...
- Hbase基础(特点、架构、应用场景、集群搭建、HA设计)这一篇就够了
Hbase基础(特点.架构.应用场景.集群搭建.HA设计)这一篇就够了 1. Hbase特点 2. Hbase VS RDBMS 3. Hbase架构及版本选择 4. Hbase应用场景 5. Ntp ...
- java kafka 集群消费_kafka集群搭建和使用Java写kafka生产者消费者
转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群 搭建在110, 111,112 2.kafka使 ...
- Spark集群搭建【Spark+Hadoop+Scala+Zookeeper】
1.安装Linux 需要:3台CentOS7虚拟机 IP:192.168.245.130,192.168.245.131,192.168.245.132(类似,尽量保持连续,方便记忆) 注意: 3台虚 ...
- 正式环境docker部署hyperf_应用部署 - Docker Swarm 集群搭建 - 《Hyperf v1.1.1 开发文档》 - 书栈网 · BookStack...
Docker Swarm 集群搭建 现阶段,Docker容器技术已经相当成熟,就算是中小型公司也可以基于 Gitlab.Aliyun镜像服务.Docker Swarm 轻松搭建自己的 Docker集群 ...
最新文章
- 使用Spring框架的好处
- excel 案例素材_Excel用了十年,函数千千万,最牛的还是vlookup
- DL之pix2pix:基于TF利用pix2pix模型对food_resized数据集实现Auto Color自动上色技术—训练测试过程全记录
- k3s helm3功能介绍
- Eclipse 内置浏览器
- python语法基础整理_Python基础
- opencv颜色识别_opencv-python污水颜色识别
- Python3小程序:把连续的16进制UTF8编码转换为字符串
- html5移动端开发(rem和媒体查询@media)
- 虚拟机网络桥接-NAT-HOST的理解
- 软件设计之UML的几种关系
- c语言齿轮标准模数选择编程,齿轮参数术语计算模数选择
- android格式化sd卡软件,SD/TF卡格式化程序
- cx_oracle clob字段入库报错ORA-24816: Expanded non LONG bind data supplied after actual LONG or LOB column
- Promise.all中对于reject的处理
- 【好消息】高录用、EI检索会议 | 2023年第二届电子信息工程、大数据与计算机技术国际学术会议(EIBDCT 2023)
- Underscore源码阅读极简版入门
- Android 系统属性读取和设置详解
- Unity for Windows: II – Publishing Unity games to Windows Store
- 新生代小鲜肉之代码生成器