Kafka入门系列—3. 消费者组

一. topic的`from-beginning`参数

启动zookeeper和kafka

bin/zkServer.sh start-foregroundbin/kafka-server-start.sh config/server.properties

创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic testtopic

启动producer和两个consumer

启动producer

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testtopic

打开两个命令行窗口启动两个consumer

 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testtopic --from-beginning

在producer中输入一些字符，可以在consumer中看到已经获取到这些字符。

producer

两个consumer中展示收到的信息

打开第三个命令行窗口，并创建一个新的consumer，不过这次的命令和之前的不太一样：
```
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testtopic
```

可以看到，这次在创建consumer时的参数没有--from-beginning。同时，窗口中并没有输出任何信息。

此时在producer中输入新的信息，查看3个consumer的情况：

在producer中新输入will go to London

前两个consumer中完整显示所有信息

第三个consumer只显示了最新产生的will go to London

以上例子可以印证之前的概念：

多个消费者可以订阅同一个topic。
参数--from-beginning的作用是使consumer从kafka最早的消息开始消费。

二. 消费者组

在这之前先关闭之前创建的3个consumer窗口。并使用以下命令分别创建2个新的consumer，这次的命令与之前的也稍有不同。

一个消费者只能属于一个消费者组
消费者组订阅的topic只能被其中的一个消费者消费
不同消费者组中的消费者可以消费同一个topic

实例

新开两个命令行窗口，创建2个新的consumer：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testtopic --group testgroup

在producer窗口中输入信息，会发现只有一个consumer窗口中有输出。

关闭刚才创建的2个consumer，使用以下2个命令创建2个新的consumer：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testtopic --group testgroup1bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testtopic --group testgroup2

订阅testtopic的2个consumer分别属于不同的消费者组testgroup1 和testgroup2，因此2个窗口中都会显示producer产生的消息。