这个配是我在http://www.cnblogs.com/zhangXingSheng/p/6646972.html 的基础上再添加的配置

设置多个消息集群

(1)复制两份配置文件

> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties

(2)编辑配置文件

server1.properties

broker.id=1
listeners=PLAINTEXT://:9093
log.dir=/home/zhangxs/datainfo/developmentData/kafka/log/log1

server2.propreties

broker.id=2
listeners=PLAINTEXT://:9094
log.dir=/home/zhangxs/datainfo/developmentData/kafka/log/log2

(3)启动这个两个消息服务

 bin/kafka-server-start.sh config/server-1.propertiesbin/kafka-server-start.sh config/server-2.properties

(4)创建一个新的topic

> bin/kafka-topics.sh --create --zookeeper  192.168.177.120:2181 --replication-factor 3 --partitions 1 --topic test2

(5)启动2个消费者进程,来订阅这个topic test2

> bin/kafka-console-consumer.sh --bootstrap-server 192.168.177.120:9092 --from-beginning --topictest2

(6)输入消息

linux

(7)显示结果

遇到的问题:

(2)在我启动生产者集群的时候,抛出的异常

kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't matchstored broker.id 0 in meta.properties. If you moved your data, make sure your c
onfigured broker.id matches. If you intend to create a new broker, you should re
move all data in your data directories (log.dirs).at kafka.server.KafkaServer.getBrokerId(KafkaServer.scala:686)at kafka.server.KafkaServer.startup(KafkaServer.scala:194)at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:
39)at kafka.Kafka$.main(Kafka.scala:67)at kafka.Kafka.main(Kafka.scala)
[2017-03-30 21:31:32,267] INFO shutting down (kafka.server.KafkaServer)
[2017-03-30 21:31:32,269] INFO Terminate ZkClient event thread. (org.I0Itec.zkcl
ient.ZkEventThread)
[2017-03-30 21:31:32,389] INFO Session: 0x15b1f53fc120002 closed (org.apache.zoo
keeper.ZooKeeper)
[2017-03-30 21:31:32,392] INFO EventThread shut down for session: 0x15b1f53fc120
002 (org.apache.zookeeper.ClientCnxn)
[2017-03-30 21:31:32,393] INFO shut down completed (kafka.server.KafkaServer)
[2017-03-30 21:31:32,394] FATAL Fatal error during KafkaServerStartable startup.Prepare to shutdown (kafka.server.KafkaServerStartable)
kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties. If you moved your data, make s
ure your configured broker.id matches. If you intend to create a new broker, you should remove all data in your data directories (log.dirs).at kafka.server.KafkaServer.getBrokerId(KafkaServer.scala:686)at kafka.server.KafkaServer.startup(KafkaServer.scala:194)at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:39)at kafka.Kafka$.main(Kafka.scala:67)at kafka.Kafka.main(Kafka.scala)
因为server1.properties的broker.id=0,与server.properties配置的broker,id重复

这个是因为server1.properties配置文件的上面已经配置broker.id=0,我没有把这段配置注释掉,导致我的配置没有生效,与server.properties配置的broker,id重复。

(2)在我启动另一个生产者服务抛出异常

kafka.common.KafkaException: Found directory /home/zhangxs/datainfo/developmentData/kafka/log/log1, 'log1' is not in the form of topic-partition
If a directory does not contain Kafka topic data it should not exist in Kafka's log directoryat kafka.log.Log$.exception$1(Log.scala:1131)at kafka.log.Log$.parseTopicPartitionName(Log.scala:1139)at kafka.log.LogManager$$anonfun$loadLogs$2$$anonfun$3$$anonfun$apply$10$$anonfun$apply$1.apply$mcV$sp(LogManager.scala:153)at kafka.utils.CoreUtils$$anon$1.run(CoreUtils.scala:57)at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)at java.util.concurrent.FutureTask.run(FutureTask.java:266)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)at java.lang.Thread.run(Thread.java:745)
[2017-03-30 21:42:44,783] INFO [Kafka Server 2], shutting down (kafka.server.KafkaServer)
[2017-03-30 21:42:44,788] INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
[2017-03-30 21:42:44,820] INFO Session: 0x15b1f53fc120005 closed (org.apache.zookeeper.ZooKeeper)
[2017-03-30 21:42:44,821] INFO EventThread shut down for session: 0x15b1f53fc120005 (org.apache.zookeeper.ClientCnxn)
[2017-03-30 21:42:44,822] INFO [Kafka Server 2], shut down completed (kafka.server.KafkaServer)
[2017-03-30 21:42:44,823] FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)
kafka.common.KafkaException: Found directory /home/zhangxs/datainfo/developmentData/kafka/log/log1, 'log1' is not in the form of topic-partition
If a directory does not contain Kafka topic data it should not exist in Kafka's log directoryat kafka.log.Log$.exception$1(Log.scala:1131)

这个是我配置日志目录有问题,我原目录配置是[/home/zhangxs/datainfo/developmentData/kafka/log],他自动找到这个目录的下一级目录log1.   log1是我其他生产者消息的日志目录,所以才抛出这个错误

转载于:https://www.cnblogs.com/zhangXingSheng/p/6649048.html

kafka 小案例【二】 --kafka 设置多个消费着集群相关推荐

  1. Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)

    推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 技术交流 有想进滴滴LogI开源用户群的加我个人微信: jjdl ...

  2. Kafka学习之二 Kafka安装和使用

    部署环境Linux(Centos 6.5),JDK 1.8.0,zookeeper-3.4.12,kafka_2.11-2.0.0. 1. 单机环境     官方建议使用JDK 1.8版本,因此本文使 ...

  3. Java小案例(二) 用数组实现增删查改排序

    文章目录 案例一 案例二 案例三 案例四 案例五 案例一 Student.Java package curd;public class Student {private String stuid;pr ...

  4. Kafka的灵魂伴侣Logi-KafkaManger(3)之运维管控--集群列表

    推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 技术交流 有想进滴滴LogI开源用户群的加我个人微信: jjdl ...

  5. java kafka 集群消费_kafka集群搭建和使用Java写kafka生产者消费者

    转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群 搭建在110, 111,112 2.kafka使 ...

  6. java kafka 集群消费_kafka集群简单生产者消费者实例

    项目描述 本项目是个简单的kafka集群简单生产者和消费者实例,生产者能生产消息,消费者能消费消息,这里将消费的消息存入了mysql数据库,适合刚kafka刚入门的朋友借鉴使用,里面的zookeepe ...

  7. [大数据技术与应用省赛学习记录二]——模块一(HADOOP完全分布式集群搭建)

    **在操作前,先梳理一下HADOOP完全分布式需要做些什么,不然像无头的苍蝇一样,永远不知道做什么.因为我本人比赛是一台服务器Centos 7,与三台客户端Ubuntu 18.04,所以以物理机的角度 ...

  8. Hadoop入门(十二)Intellij IDEA远程向hadoop集群提交mapreduce作业

    Intellij IDEA远程向hadoop集群提交mapreduce作业,需要依赖到hadoop的库,hadoop集群的配置信息,还有本地项目的jar包. 一.软件环境 (1)window本地安装h ...

  9. 【Es】Es 集群设置分片很大导致集群无法选举主节点异常等

    1.背景 因为写了一个es运维平台,因此可以修改es的模板信息,然后测试把模板的分片设置成1000了,然后导致集群崩溃了,具体现象如下 集群每台机器启动正常 集群无法选举主节点 其他异常 [elast ...

最新文章

  1. 数据库基础-数据库引擎
  2. BIBM系列论文阅读笔记
  3. ipcs ipcrm命令
  4. continue和break的区别
  5. stand up meeting 12/8/2015
  6. python逐行读取字符串_python3.4.3下逐行读入txt文本并去重的方法
  7. Factories Gym - 102222G(2018宁夏邀请赛暨2019银川icpc网络预选赛)
  8. js关于浅拷贝、深拷贝,数组的深拷贝
  9. 【译】UI设计基础(UI Design Basics)--启动与停止(Starting and Stopping)(五)
  10. logging日志输出模块
  11. 【博客管理】短期长期计划【置顶】
  12. java小项目-房屋出租系统
  13. 两个需求理论:马斯洛需求层次理论和KANO模型
  14. http状态码401
  15. 项目中引入阿里巴巴图标——iconfont图标的使用-svg格式
  16. 怎么制作云端服务器,自己搭建云端服务器
  17. vue项目架构搭建-3
  18. 阿里企业邮箱的smtp
  19. 测试dns的工具--rndc,dig命令----DNS排错,在线修改bind(nsupdate)
  20. 解决:Flutter 不识别 iPhone 测试机

热门文章

  1. 7天学会python_Python学习:第七天
  2. ##R语言生信作图之UpsetR做交集图
  3. 反编译exe软件_挖洞经验 | Panda反病毒软件本地提权漏洞分析
  4. c语言 怎么把数据存储,急求如何将下列C语言程序数据存储到文件中?
  5. linux deepin 15.9双系统,windows10安装双系统Deepin15.9遇到的坑
  6. 主题目录检索是什么举例子_网络信息资源检索与利用第二次作业
  7. python打不开settings_python - django无法导入settings文件
  8. power bi 雷达图_【自助式数据分析平台——WonderBI(豌豆BI)】免费在线试用_软件库...
  9. 文字投影_DLP投影仪指标含义汇总(文字稿)
  10. 双变量空间自相关_空间计量经济学的发展及其应用,经济模型总会需要