Kettle安装Kafka Consumer插件：

下载软件https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.5 或者 pentaho-kafka-consumer-v1.5
进入kettle安装目录：选中plugin中创建steps

　　　3.　把pentaho-kafka-consumer-v1.5 解压后放入到steps中

　　　4.更新对应lib下的包，就是把》steps>pentaho-kafka-consumer>lib中的jar包放入到$KETTLE_HOME/lib中

　　　5.重启Spoon.sh即可。

　　　　在核心对象搜索输入，就看看到

测试：

　　　　创建一个转换：

这要求系统安装kafka和zk，（单机环境下测试用）

　　　　1》zk的安装

　　　　2》kafka的单机安装

　　　　假设上述安装成功:

　　启动测试：

　　　　注意，先启动zk ，再启动kafka.我的启动如下

　　　启动成功

简单测试一下：　　　

　　打开2个终端，分别在Kafka目录执行以下命令
　　　　启动producer

　　　　　　bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

　　　　启动consumer

　　　　　　bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

　　　　在producer的命令行输入任意字符，观察consumer是否能正确接收。

　　　　producer输入：记得回车

　　　　consumer可以看到：

kettle整合kafka相关推荐

2021年大数据Spark（四十九）：Structured Streaming 整合 Kafka
目录整合 Kafka 说明 Kafka特定配置 KafkaSoure 1.消费一个Topic数据 2.消费多个Topic数据 3.消费通配符匹配Topic数据 Kafka ...
2021年大数据Spark（四十三）：SparkStreaming整合Kafka 0.10 开发使用
目录整合Kafka 0-10-开发使用原理 1.Direct方式 2.简单的并行度1 : 1 API 注意代码实现-自动提交偏移量到默认主题代码实现- ...
SpringBoot实战(十四)之整合KafKa
本人今天上午参考了不少博文,发现不少博文不是特别好,不是因为依赖冲突问题就是因为版本问题. 于是我结合相关的博文和案例,自己改写了下并参考了下,于是就有了这篇文章.希望能够给大家帮助,少走一些弯路. ...
saiku+kettle整合（二）数据装载
title: saiku+kettle整合(二)数据装载 tags: OLAP4J categories: saiku date: 2016-08-25 18:18:54 数据装载数据装载分为三种方 ...
SpringBoot整合kafka(实现producer和consumer)
转载自 SpringBoot整合kafka(实现producer和consumer) 在Windows环境下安装运行Kafka:https://www.jianshu.com/p/d64798e81f ...
springboot 整合 kafka demo 顺便看一下源码
大家好,我是烤鸭: 今天分享下 springboot 整合 kafka. 1. 环境参数: windows + kafka_2.11-2.3.0 + zookeeper-3.5.6 + spring ...
springboot整合kafka_springboot整合kafka实现消息的发送消费
如下是springboot整合kafka的一个案例,方便需要的小伙伴. 启动kafka Server cd 到kafka的bin目录下:前提是启动zk./kafka-server-start.sh / ...
超详细！一文告诉你 SparkStreaming 如何整合 Kafka ！附代码可实践
来源 | Alice菌责编 | Carol 封图 | CSDN 下载于视觉中国相信很多小伙伴已经接触过 SparkStreaming 了,理论就不讲太多了,今天的内容主要是为大家带来的是 Spa ...
saiku+kettle整合（六）olap操作
title: saiku+kettle整合(六)olap操作 tags: categories: saiku date: 2016-08-25 18:18:54 使用saiku可以对应使用相关olap ...
kafka专题：kafka单机和集群安装详情，Spring Boot如何整合Kafka
文章目录 1. kafka单机安装 1.1 server.properties核心配置 2. kafka集群安装 2.1 kafka集群可视化界面 3. springboot如何整合kafka 4. ...

kettle整合kafka

Kettle安装Kafka Consumer插件：

测试：

这要求系统安装kafka和zk，（单机环境下测试用）

简单测试一下：

kettle整合kafka相关推荐

最新文章

热门文章