kafka connector使用（单机手动启动版）

背景

需要将redis 某个/类频道推送的数据写入到kafka topic中。

实现

一、编写kafka source connector代码和配置文件

我这里是在github上找了一个别人已经实现了的kafka-redis-connector，选取了source的部分。git地址。
连接器配置文件xx.properties介绍：

name=定义连接器名字
connector.class=连接器的类名（例如：com.curtain.source.RedisSourceConnector或者RedisSourceConnector）
tasks.max=连接器创建任务的最大数
topic=要写入的kafka主题
redis.uri=redis地址(例如：redis://127.0.0.1:6379)
redis.cluster.enabled=false 不开启集群
redis.channels=订阅的redis频道
redis.channels.pattern.enabled=true 开启模糊订阅

二、打包

首先package该项目，会有一个该项目的jar包。
其次收集该项目所依赖的jars。如图：
将这些收集到的jar包放在一个文件夹下，编写一个tar.bat文件将这些jar包全部解压。tar.bat文件内容如下：

@echo offcd %1
for /r %cd% %%i in (*.jar) do (jar xf  %%i
)pause

解压完之后，删除所有的.jar文件、META-INF文件夹下的.rsa 和.sf的文件。
打开cmd命令行，输入jar -cvfM connect-redis.jar . 打出一个包含所有依赖的超级jar

三、上传文件

将jar包上传到connect-standalone.properties文件里plugin.path所指的路径下，默认是/usr/share/java。再上传连接器的配置（位置没有要求，最好和别的kafka配置放一起）。

四、启动连接器

执行命令

bin/connect-standalone.sh config/connect-standalone.properties connector1.properties

这样，我们就启动了一个kafka redis source connector啦。

20220825更新

pom文件中加入一下的代码就可以直接package就行啦，不用自己收集所依赖的jar了。

    <build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><configuration><mainClass>none</mainClass>     <!-- 取消查找本项目下的Main方法：为了解决Unable to find main class的问题 --><classifier>execute</classifier>    <!-- 为了解决依赖模块找不到此模块中的类或属性 --></configuration><executions><execution><goals><goal>repackage</goal></goals></execution></executions></plugin><!-- Maven Assembly Plugin --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-assembly-plugin</artifactId><version>2.4.1</version><configuration><!-- get all project dependencies --><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs></configuration><executions><execution><id>make-assembly</id><!-- bind to the packaging phase --><phase>package</phase><goals><goal>single</goal></goals></execution></executions></plugin></plugins></build>

kafka connector使用（单机手动启动版）相关推荐

kafka connector使用（Docker一键启动版）
前言结合博主之前写的一篇<kafka connector使用(单机手动启动版)>一起看版本 kafka: confluentinc/cp-kafka:7.0.1 zookeeper: ...
还在手动启动neo4j？快来使用bat批处理自动启动neo4j，之后也不用配置环境了(社区版)
还在手动启动neo4j?快来使用bat批处理自动启动,之后不用配置环境了(社区版) 1 start_neo4j.bat 总共创建两个bat一个开启 start,一个关闭 stop [1]在neo4j ...
Confluent之Kafka Connector初体验
概述背景 Apache Kafka 是最大.最成功的开源项目之一,可以说是无人不知无人不晓,在前面的文章<Apache Kafka分布式流处理平台及大厂面试宝典>我们也充分认识了Kafk ...
kafka集群下载、启动、部署、测试
文章目录一.kafka基础操作 1. kafka下载 2. 解压 3. 重命名 4. 在kafka目录下创建 data 数据文件夹 5. 修改配置文件 6. 配置kafka环境变量 7. 刷新环境变 ...
Apache Flink 零基础入门（二十）Flink kafka connector
内置source和sink 内置source包括从文件读取,从文件夹读取,从socket中读取.从集合或者迭代器中读取.内置的sink包括写文件.控制台输出.socket 内置connectors A ...
Kafka 概念、单机搭建与使用
目录 Kafka 概念.单机搭建与使用基本概念介绍 Topic Producer Consumer Kafka单机配置,一个Broker 环境: 配置zookeeper 配置Kafka 使用Kafk ...
graylog+kafka+zookeeper（单机测试及源码），graylog设置URL报警方式（五）
graylog+kafka+zookeeper(单机测试及源码),graylog设置URL报警方式(五) 问题背景 graylog+kafka+zookeeper(单机测试及源码),graylog组件 ...
graylog+kafka+zookeeper（单机测试及源码），kafka+zookeeper组件部署（二）
graylog+kafka+zookeeper(单机测试及源码),kafka+zookeeper组件部署(二) 问题背景 graylog+kafka+zookeeper(单机测试及源码),graylo ...
graylog+kafka+zookeeper（单机测试及源码），微服务日志查询使用（七）
graylog+kafka+zookeeper(单机测试及源码),微服务日志查询使用(七) 问题背景 graylog+kafka+zookeeper(单机测试及源码),graylog组件部署,查找问题 ...