java调用kafka

pom.xml
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.3.1</version>
</dependency>

注意调试通过后要添加log-back.xml并设置日志级别到info及以上，否则debug日志实在是多啊……

///ProducerTest.java

package com.whq.demo;
import java.util.Properties;
import java.util.Random;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
public class ProducerTest {public static String topic = "whq_test";//定义主题public static void main(String[] args) throws InterruptedException {Properties p = new Properties();p.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.81.145:9092,192.168.81.145:9093,192.168.81.145:9094");//kafka地址，多个地址用逗号分割p.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);p.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(p);try {while (true) {String msg = "Hello,你好," + new Random().nextInt(100);ProducerRecord<String, String> record = new ProducerRecord<String, String>(topic, msg);kafkaProducer.send(record);System.out.println("消息发送成功:" + msg);Thread.sleep(500);}} finally {kafkaProducer.close();}}
}

///ConsumerTest.java

package com.whq.demo;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;import java.util.Collections;
import java.util.Properties;public class ConsumerTest {public static void main(String[] args) {Properties p = new Properties();p.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.81.145:9092,192.168.81.145:9093,192.168.81.145:9094");p.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);p.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);p.put(ConsumerConfig.GROUP_ID_CONFIG, "3");//组编号，不同的组提交偏移不同p.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,true);//自动提交，提交后数据在同组无法再次获取,否则同组另外消费者接入还会收到同样的消息p.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"earliest");/*** AUTO_OFFSET_RESET_CONFIG 重置偏移设置* earliest* 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费* latest* 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据* none* topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常*/KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<String, String>(p);kafkaConsumer.subscribe(Collections.singletonList(ProducerTest.topic));// 订阅消息while (true) {ConsumerRecords<String, String> records = kafkaConsumer.poll(100);for (ConsumerRecord<String, String> record : records) {System.out.println(String.format("topic:%s,offset:%d,消息:%s", //record.topic(), record.offset(), record.value()));}}}
}

//出现问题：生产者第二次发消息时连接到了127.0.0.1:9093，后来发现是kafka服务器配置问题：
vi config/server.properties
修改

listeners=PLAINTEXT://192.168.81.145:9092 #注意，这里一定要有客户端可访问的ip，否则非本机连接调用第二次会异常

java调用kafka相关推荐

java调用kafka接口发送数据_Java调用Kafka生产者，消费者Api及相关配置说明
本次的记录内容包括: 1.Java调用生产者APi流程 2.Kafka生产者Api的使用及说明 3.Kafka消费者Api的使用及说明 4.Kafka消费者自动提交Offset和手动提交Offset ...
java kafka 集群消费_kafka集群搭建和使用Java写kafka生产者消费者
转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群搭建在110, 111,112 2.kafka使 ...
最新Kafka教程(包含kafka部署与基本操作、java连接kafka、spring连接kafka以及使用springboot)
最新Kafka教程(包含kafka部署与基本操作.java连接kafka.spring连接kafka以及使用springboot) 欢迎转载,转载请注明网址:https://blog.csdn.net ...
kafka入门(4)-java操作kafka
kafka入门(4)-java操作kafka 准备工作创建maven工程导入Maven Kafka POM依赖 <repositories>< ...
eclipse java调用c 代码吗_linux下通过eclipse开发用java调用c程序的方法
linux下通过eclipse开发用java调用c程序的方法: 1.先建立好java工程并建立java文件如下: public class testso { static { ...
Java调用C/C++编写的第三方dll动态链接库（zz）
这里主要用的方法是JNI.在网上查资料时看到很多人说用JNI非常的复杂,不仅要看很多的文档,而且要非常熟悉C/C++编程.恐怕有很多人在看到诸如此类的评论时已经决定绕道用其他方法了.本文将做详细的介绍 ...
使用JNA，让java调用原生代码
JNA定义: JNA:java Native Access,是SUN公司开发的基于JNI的框架.JNI使得Java可以调用原生的c或者c++代码. JNA与JNI(Java Native Interf ...
java无阻塞执行脚本,JAVA调用Shell脚本-及阻塞的解决方法
JAVA调用Shell脚本--及阻塞的解决办法用java调用shell,使用 Process p=Runtime.getRuntime().exec(String[] cmd); Runtime.e ...
Java 调用Oracle的存储过程
2019独角兽企业重金招聘Python工程师标准>>> 1.创建存储过程的语句: 1.表结构:①:create table TESTA(A_ID VARCHAR2(10) not n ...

java调用kafka

java调用kafka相关推荐

最新文章

热门文章