Kafka消费者订阅方式

1、指定主题消费
2、指定分区消费
3、取消订阅
4、总结

Kafka为消费者提供了三种类型的订阅消费方式：订阅主题集合、正则表达式订阅主题、订阅指定主题的分区集合。三种方式只能使用其中一种。

1、指定主题消费

一个消费者可以使用KafkaConsumer提供的subscribe()方法订阅一个或多个主题，订阅主题集合和正则表达式订阅主题都使用此方法实现的。下面两种方式都可以订阅topic_1120主题。

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
// 订阅主题
consumer.subscribe(Collections.singletonList("topic_1120"));

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);//正则表达式.*代表后续0个或者多个任意字符。
consumer.subscribe(Pattern.compile("topic.*"));

订阅主题在源码中由4个方法重载实现，其中两个带listener的方法是可以自定义Rebalance重平衡的监听类。

@Override
public void subscribe(Collection<String> topics) {subscribe(topics, new NoOpConsumerRebalanceListener());
}@Override
public void subscribe(Collection<String> topics, ConsumerRebalanceListener listener) {//省略源码
}@Override
public void subscribe(Pattern pattern) {subscribe(pattern, new NoOpConsumerRebalanceListener());
}@Override
public void subscribe(Pattern pattern, ConsumerRebalanceListener listener) {//省略源码
}

2、指定分区消费

消费者指定分区消费是通过KafkaConsumer提供的assign()方法实现的，assign()方法入参为Collection, 其中TopicPartition有2个属性, topic和partition, 分区从0开始编号。使用assign()方法订阅指定主题test_1120分区0的消息。

/订阅指定分区
consumer.assign(Collections.singleton(new TopicPartition("topic_1120", 0)));

3、取消订阅

取消订阅调用unsubscribe()方法。

consumer.unsubscribe();

4、总结

subscribe()具有自动重平衡的功能，来实现消费负载均衡和故障自动转移，而assign()不具备这种功能。

Kafka消费者订阅方式相关推荐

Kafka消费者消费方式
consumer消费方式 pull模式,consumer从Broker中主动拉取数据 pull模式不足之处: 如果 kafka 没有数据,消费者可能会陷入循环中,一直返回空数据.针对这一点,Kafka ...
深入分析Kafka架构（三）：消费者消费方式、三种分区分配策略、offset维护
本文目录一.前言二.消费者消费方式三.分区分配策略 3.1.分配分区的前提条件 3.2.Range分配策略 3.3.RoundRobin分配策略 3.4.Sticky分配策略四.offset维 ...
Kafka学习-----Kafka消费者Consumer：消费方式，分区分配策略，RangeRoundRobin
目录一.消费方式二.消费者的分配模式 1.分配时机? 2.Range策略 2.RoundRobin 策略三.代码解释 RangeAssignor: RoundRobinAssignor 一.消费 ...
graylog+kafka+zookeeper（单机测试及源码），graylog收集kafka（脚本创建发布订阅方式）存储的消息（四）
graylog+kafka+zookeeper(单机测试及源码),graylog收集kafka(脚本创建发布订阅方式)存储的消息(四) 问题背景 graylog+kafka+zookeeper(单机测 ...
Kafka消费者详解
一.基本概念 1.消费者和消费组 Kafka消费者是消费组的一部分,当多个消费者形成一个消费组来消费主题时,每个消费者会收到不同分区的消息.假设有一个T1主题,该主题有4个分区:同时我们有一个消费组G ...
kafka 同步提交异步_极限MQ (5) Kafka 消费者
要想知道如何从 Kafka 读取消息,需要先了解消费者和消费者群组的概念. 假设我们有一个应用程序需要从 Kafka 主题读取消息井验证这些消息,然后再把它们保存起来.应用程序需要创建一个消费者对象, ...
Kafka消费者APi
Kafka客户端从集群中消费消息,并透明地处理kafka集群中出现故障服务器,透明地调节适应集群中变化的数据分区.也和服务器交互,平衡均衡消费者. public class KafkaConsumer ...
kafka消费者如何读同一生产者消息_Kafka入门之生产者消费者
一.Kafka安装与使用 ( kafka介绍 ) 1. 下载Kafka 2. 安装 Kafka是使用scala编写的运行与jvm虚拟机上的程序,虽然也可以在windows上使用,但是kafka ...
kafka消费者开发方式小结
[README] 1, 本文总结了 kafka消费者开发方式: 2, 本文使用的是最新的kafka版本 3.0.0: [1] kafka消费则 [1.1]消费者与消费者组 1)消费者: 应用程序需要创 ...

Kafka消费者订阅方式

Kafka消费者订阅方式

1、指定主题消费

2、指定分区消费

3、取消订阅

4、总结

Kafka消费者订阅方式相关推荐

最新文章

热门文章