Flink Kafka consumer的消费策略配置

val helloStream: FlinkKafkaConsumer011[String] = new FlinkKafkaConsumer011[String]("hello", valueDeserializer, kafkaProps)  //  指定消费策略  helloStream.setStartFromEarliest() // - 从最早的记录开始；  helloStream.setStartFromLatest() //- 从最新记录开始；  helloStream.setStartFromTimestamp(null); // 从指定的epoch时间戳（毫秒）开始；  helloStream.setStartFromGroupOffsets(); // 默认行为，从上次消费的偏移量进行继续消费。

  import org.apache.flink.streaming.connectors.kafka.internals.KafkaTopicPartition  val specificStartOffsets = new mutable.HashMap[KafkaTopicPartition,Long]()  specificStartOffsets.put(new KafkaTopicPartition("myTopic", 0), 23L) // 第一个分区从23L开始  specificStartOffsets.put(new KafkaTopicPartition("myTopic", 1), 31L) // 第二个分区从31L开始  specificStartOffsets.put(new KafkaTopicPartition("myTopic", 2), 43L) // 第三个分区从43L开始  helloStream.setStartFromSpecificOffsets(specificStartOffsets)

//  Kafka支持Topic自动发现，也就是用正则的方式创建FlinkKafkaConsumer

转载于:https://www.cnblogs.com/maoxiangyi/p/10912274.html

Flink Kafka consumer的消费策略配置相关推荐

kafka consumer 停止消费topic
现象在kafka consumer (以 kafka1.0.0为例)消费 topic 时,常常会出现程序还在运行,但是已经不消费消息了(kafka producer正常生产消息),使用kafka命令 ...
kafka消费者分区消费策略
前言在上一篇,我们谈到了从生产者一端,kafka是基于何种策略,将消息推送到集群下topic的不同分区中,可以使用kafka自带的分区策略,也可以根据自身的业务定制消息推送的分区策略而从消费者一端 ...
kafka 消费者的消费策略以及再平衡
一 kafka的消费策略 1 .一个 consumer group 中有多个 consumer 组成,一个 topic 有多个 partition 组成,现在的问题是, 到底由哪个 consumer ...
Kafka Consumer多线程消费
概述 OrdinaryConsumer类 ConsumerWorker.java MultiThreadedConsumer.java MultiThreadedRebalanceListener.j ...
java kafka consumer不消费，报错marking the coordinator (id rack null) dead for group
问题描述:在linux系统,通过 kafka 命令行客户端测试消费正常,但通过Java consumer客户端无法正常接收队列消息,启动后输出如下日志信息: 15:21:34.864 [concurr ...
Flink Kafka
1.Flink读取kafka策略读取kafka策略有 org.apache.kafka.clients.consumer.RangeAssignor org.apache.kafka.clients ...
flink kafka addSource(comsumer ) 源码学习笔记
addsource 其中function存的是FlinkKafkaConsumer对象 public <OUT> DataStreamSource<OUT> addSource ...
kafka控制台模拟消费_Flink初试——对接Kafka
本篇文章我们用 Flink Kafka Connector对接Kafka,实现一个简单的报警业务.我们暂时不去谈论理论,先上手实现这个简单的需求. flink-connector-kafka是 fli ...
Apache Kafka Consumer 消费者集
1.目标在我们的上一篇文章中,我们讨论了Kafka Producer.今天,我们将讨论Kafka Consumer.首先,我们将看到什么是Kafka Consumer和Kafka Consumer的 ...

Flink Kafka consumer的消费策略配置

Flink Kafka consumer的消费策略配置相关推荐

最新文章

热门文章