– Start

点击此处观看本系列配套视频

我们先来回答一下上个例子最后问题的答案，很遗憾 Producer 并不能证明消息发送成功了，如果设置了 retry，Producer 会再次发送消息，这会导致消息重复，如何避免？有两种办法，一种是 Idempotent，也就是说支持重复发送，broker 会自动认为是一条消息，另一种办法是使用事务。
下面的例子演示使用 Idempotent。

package shangbo.kafka.example2;import java.util.Properties;import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;public class App {public static void main(String[] args) {// Producer 配置信息，应该配置在属性文件中Properties props = new Properties();//指定要连接的 broker，不需要列出所有的 broker，但建议至少列出2个，以防某个 broker 挂了props.put("bootstrap.servers", "localhost:9092");props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("enable.idempotence", "true");
//      props.put("retries", 3); // 不能手动设置 retries，自动设置为 Integer.MAX_VALUE
//      props.put("acks", "1"); // 不能手动设置 acks,自动设置为 all// 创建 ProducerProducer<String, String> producer = new KafkaProducer<String, String>(props);// 发送消息producer.send(new ProducerRecord<String, String>("topic0", "message 4"), new Callback() {public void onCompletion(RecordMetadata metadata, Exception exception) {if(exception != null) {System.out.println("send message4 failed with " + exception.getMessage());} else {// offset 是消息在 partition 中的编号，可以根据 offset 检索消息System.out.println("message4 sent to " + metadata.topic() + ", partition " + metadata.partition() + ", offset " + metadata.offset());    }}});// producer 需要关闭，放在 finally 里producer.close();}
}

Kafka 发送消息 Idempotent相关推荐

Kafka 发送消息 Idempotent -- Spring 整合
– Start 点击此处观看本系列配套视频废话少说,直接上代码. package shangbo.kafka.example8;import org.springframework.context. ...
物联网架构----EMQ-Hook了解、连接Kafka发送消息
物联网架构----EMQ-Hook了解.连接Kafka发送消息 1. 前言按照我自己设计的物联网框架,对于MQTT集群中的所有消息,是要持久化到磁盘的,这里采用一个消息队列中间件Kafka作为数据缓 ...
kafka发送消息的三种方式
1.发后即忘(fire-and-forget) 只管往kafka发送消息而并不关心消息是否正确到达.正常情况没什么问题,不过有些时候(比如不可重试异常)会造成消息的丢失.这种发送方式性能最高,可靠性最 ...
springboot kafka发送消息
场景:kafka发送消息,并且根据消息发送的不同渠道和消息类型(例如发送到WX,DingDing,邮箱),采取不同的线程池处理 1.引入依赖 <dependency><groupId ...
在idea中往Kafka发送消息失败
今天在学习Kafka整合Springboot项目的时候,往Kafka发送消息,消费者一直消费不到,ip地址,端口号,防火墙的状态都没有发现问题.后来发现是因为idea没有连接到虚拟机的,一直在找本机的 ...
kafka发送消息至指定分区
前言在实际使用中,我们可能需要对某个topic下不同的消息进行分类管理,比如确保消费的顺序性,在这种场景下,我们可以首先确保生产者发送消息到指定的分区即可本文的测试基于docker搭建的一个双节点 ...
Kafka 发送消息
– Start 点击此处观看本系列配套视频在上个例子中,我们使用了脚本来发送消息,来吧,让我们来自己写点代码来发送消息.首先还是按照上个例子,先启动 ZooKeeper 和启动 Kafka bor ...
Kafka 发送消息失败
在使用brew services start kafka 成功启动kafka后, 执行发送消息会有提示以下,无法发送消息. kafka-console-producer --broker-list l ...
springboot使用kafka发送消息，消息过大报错
报错信息如下所示: Caused by: org.apache.kafka.common.errors.RecordTooLargeException: The message is 1527150 ...

Kafka 发送消息 Idempotent

点击此处观看本系列配套视频

Kafka 发送消息 Idempotent相关推荐

最新文章

热门文章