前言

正常情况下，消费端在编写代码消费某个topic的数据时，只需要填写kafka的服务地址、端口号，然后再在代码中指定topic名称即可，但是在这种情况下，消费端是无需关心具体从topic的哪个分区下消费数据的；

但是在某些业务场景下，比如上游生产者希望通过分区将不同类型的业务数据发送到不同的分区，而对下游的消费者来说，就需要从指定的分区消费数据；

或者在另一种业务情况下，消费者希望能够顺序消费，那么就可以通过生产端将消息发送到指定的分区下即可；

下面通过具体的代码来实现下

1、生产端代码

生产端为了能实现发送到指定的分区，需要实现一个Partitioner的接口类，然后再在生产者代码中使用这个分区类即可

分区器类

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;import java.util.Map;public class MyPartioner implements Partitioner {@Overridepublic int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {String message = value.toString();int partition ;i

kafka消费指定分区数据相关推荐

kafka带kerberos和sasl安全认证：命令行消费指定topic数据
1.什么是kerberos? Kerberos(/ˈkərbərəs/)是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证.这个词又指麻省理工学院为这个协议开发的一套计算 ...
hive根据条件删除指定分区数据
hive删除数据一.删除指定分片不符合条件的数据二.清空表三.删除分区一.删除指定分片不符合条件的数据只会保留日期为'2020-04-24 11:39:46'的数据 insert overw ...
解决CDH6.2中的kafka消费不到数据问题
被这个问题坑了很久,终于灵光一闪解决了这个问题.顺便记录一下. 需要设置--chroot,我设置成:/kafka 设置如下图:(名称随便取吧),重新部署问题解决问题分析: 在按照帮助文档一步一步实现 ...
kafka指定分区消费
前言在某些场景中,消费者组中不同的消费者需要从某个topic下的不同分区接收消息,并确保消息的有序性,或者producer端需要根据一定的业务规则对消息进行分类然后发送到不同的分区,然后不同的消费者 ...
【kafka】kafka 指定分区消费不会触发 reblance
文章目录 1.概述 2.验证 2.1 2个都是subscribeTopic 2.2 指定消费与全部消费 2.3 两个指定消费 2.4 2个都消费同样的分区呢? 1.概述今天在博客:Kafka-消费, ...
Kafka消费异常报Failing OffsetCommit request since the consumer
目录前言排查与解决总结前言前段时间线上某个业务系统的Kafka消费端出现数据异常,一直在重复消费某个时间段内的数据,导致界面上重复数据越来越多,询问运维发现前几日有出现过一次网络波动,推测可 ...
Kafka到Hdfs的数据Pipeline整理
作者:Syn良子出处:http://www.cnblogs.com/cssdongl 转载请注明出处找时间总结整理了下数据从Kafka到Hdfs的一些pipeline,如下 1> Kafka ...
【kafka】 kafka如何设置指定分区进行发送和消费
1.概述我们有个需求是判断kafka分区是否进行了数据倾斜操作,如果数据倾斜了,要告警,然后我就需要写一个故意让数据倾斜的工具. 2.写入指定分区 Producer根据指定的partition方法( ...
Java程序创建Kafka Topic，以及数据生产消费，常用的命令
转自: Java程序创建Kafka Topic,以及数据生产消费,常用的命令_Zyy_z_的博客-CSDN博客_java kafka创建topicKafka简介: Kafka是一个分布式发布--订阅消 ...

kafka消费指定分区数据

前言

kafka消费指定分区数据相关推荐

最新文章

热门文章