kafka 小案例【二】 --kafka 设置多个消费着集群
这个配是我在http://www.cnblogs.com/zhangXingSheng/p/6646972.html 的基础上再添加的配置
设置多个消息集群
(1)复制两份配置文件
> cp config/server.properties config/server-1.properties > cp config/server.properties config/server-2.properties
(2)编辑配置文件
server1.properties
broker.id=1 listeners=PLAINTEXT://:9093 log.dir=/home/zhangxs/datainfo/developmentData/kafka/log/log1
server2.propreties
broker.id=2 listeners=PLAINTEXT://:9094 log.dir=/home/zhangxs/datainfo/developmentData/kafka/log/log2
(3)启动这个两个消息服务
bin/kafka-server-start.sh config/server-1.propertiesbin/kafka-server-start.sh config/server-2.properties
(4)创建一个新的topic
> bin/kafka-topics.sh --create --zookeeper 192.168.177.120:2181 --replication-factor 3 --partitions 1 --topic test2
(5)启动2个消费者进程,来订阅这个topic test2
> bin/kafka-console-consumer.sh --bootstrap-server 192.168.177.120:9092 --from-beginning --topictest2
(6)输入消息
linux
(7)显示结果
遇到的问题:
(2)在我启动生产者集群的时候,抛出的异常
kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't matchstored broker.id 0 in meta.properties. If you moved your data, make sure your c onfigured broker.id matches. If you intend to create a new broker, you should re move all data in your data directories (log.dirs).at kafka.server.KafkaServer.getBrokerId(KafkaServer.scala:686)at kafka.server.KafkaServer.startup(KafkaServer.scala:194)at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala: 39)at kafka.Kafka$.main(Kafka.scala:67)at kafka.Kafka.main(Kafka.scala) [2017-03-30 21:31:32,267] INFO shutting down (kafka.server.KafkaServer) [2017-03-30 21:31:32,269] INFO Terminate ZkClient event thread. (org.I0Itec.zkcl ient.ZkEventThread) [2017-03-30 21:31:32,389] INFO Session: 0x15b1f53fc120002 closed (org.apache.zoo keeper.ZooKeeper) [2017-03-30 21:31:32,392] INFO EventThread shut down for session: 0x15b1f53fc120 002 (org.apache.zookeeper.ClientCnxn) [2017-03-30 21:31:32,393] INFO shut down completed (kafka.server.KafkaServer) [2017-03-30 21:31:32,394] FATAL Fatal error during KafkaServerStartable startup.Prepare to shutdown (kafka.server.KafkaServerStartable) kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties. If you moved your data, make s ure your configured broker.id matches. If you intend to create a new broker, you should remove all data in your data directories (log.dirs).at kafka.server.KafkaServer.getBrokerId(KafkaServer.scala:686)at kafka.server.KafkaServer.startup(KafkaServer.scala:194)at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:39)at kafka.Kafka$.main(Kafka.scala:67)at kafka.Kafka.main(Kafka.scala) 因为server1.properties的broker.id=0,与server.properties配置的broker,id重复
这个是因为server1.properties配置文件的上面已经配置broker.id=0,我没有把这段配置注释掉,导致我的配置没有生效,与server.properties配置的broker,id重复。
(2)在我启动另一个生产者服务抛出异常
kafka.common.KafkaException: Found directory /home/zhangxs/datainfo/developmentData/kafka/log/log1, 'log1' is not in the form of topic-partition If a directory does not contain Kafka topic data it should not exist in Kafka's log directoryat kafka.log.Log$.exception$1(Log.scala:1131)at kafka.log.Log$.parseTopicPartitionName(Log.scala:1139)at kafka.log.LogManager$$anonfun$loadLogs$2$$anonfun$3$$anonfun$apply$10$$anonfun$apply$1.apply$mcV$sp(LogManager.scala:153)at kafka.utils.CoreUtils$$anon$1.run(CoreUtils.scala:57)at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)at java.util.concurrent.FutureTask.run(FutureTask.java:266)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)at java.lang.Thread.run(Thread.java:745) [2017-03-30 21:42:44,783] INFO [Kafka Server 2], shutting down (kafka.server.KafkaServer) [2017-03-30 21:42:44,788] INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread) [2017-03-30 21:42:44,820] INFO Session: 0x15b1f53fc120005 closed (org.apache.zookeeper.ZooKeeper) [2017-03-30 21:42:44,821] INFO EventThread shut down for session: 0x15b1f53fc120005 (org.apache.zookeeper.ClientCnxn) [2017-03-30 21:42:44,822] INFO [Kafka Server 2], shut down completed (kafka.server.KafkaServer) [2017-03-30 21:42:44,823] FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerStartable) kafka.common.KafkaException: Found directory /home/zhangxs/datainfo/developmentData/kafka/log/log1, 'log1' is not in the form of topic-partition If a directory does not contain Kafka topic data it should not exist in Kafka's log directoryat kafka.log.Log$.exception$1(Log.scala:1131)
这个是我配置日志目录有问题,我原目录配置是[/home/zhangxs/datainfo/developmentData/kafka/log],他自动找到这个目录的下一级目录log1. log1是我其他生产者消息的日志目录,所以才抛出这个错误
转载于:https://www.cnblogs.com/zhangXingSheng/p/6649048.html
kafka 小案例【二】 --kafka 设置多个消费着集群相关推荐
- Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)
推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 技术交流 有想进滴滴LogI开源用户群的加我个人微信: jjdl ...
- Kafka学习之二 Kafka安装和使用
部署环境Linux(Centos 6.5),JDK 1.8.0,zookeeper-3.4.12,kafka_2.11-2.0.0. 1. 单机环境 官方建议使用JDK 1.8版本,因此本文使 ...
- Java小案例(二) 用数组实现增删查改排序
文章目录 案例一 案例二 案例三 案例四 案例五 案例一 Student.Java package curd;public class Student {private String stuid;pr ...
- Kafka的灵魂伴侣Logi-KafkaManger(3)之运维管控--集群列表
推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 技术交流 有想进滴滴LogI开源用户群的加我个人微信: jjdl ...
- java kafka 集群消费_kafka集群搭建和使用Java写kafka生产者消费者
转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群 搭建在110, 111,112 2.kafka使 ...
- java kafka 集群消费_kafka集群简单生产者消费者实例
项目描述 本项目是个简单的kafka集群简单生产者和消费者实例,生产者能生产消息,消费者能消费消息,这里将消费的消息存入了mysql数据库,适合刚kafka刚入门的朋友借鉴使用,里面的zookeepe ...
- [大数据技术与应用省赛学习记录二]——模块一(HADOOP完全分布式集群搭建)
**在操作前,先梳理一下HADOOP完全分布式需要做些什么,不然像无头的苍蝇一样,永远不知道做什么.因为我本人比赛是一台服务器Centos 7,与三台客户端Ubuntu 18.04,所以以物理机的角度 ...
- Hadoop入门(十二)Intellij IDEA远程向hadoop集群提交mapreduce作业
Intellij IDEA远程向hadoop集群提交mapreduce作业,需要依赖到hadoop的库,hadoop集群的配置信息,还有本地项目的jar包. 一.软件环境 (1)window本地安装h ...
- 【Es】Es 集群设置分片很大导致集群无法选举主节点异常等
1.背景 因为写了一个es运维平台,因此可以修改es的模板信息,然后测试把模板的分片设置成1000了,然后导致集群崩溃了,具体现象如下 集群每台机器启动正常 集群无法选举主节点 其他异常 [elast ...
最新文章
- 数据库基础-数据库引擎
- BIBM系列论文阅读笔记
- ipcs ipcrm命令
- continue和break的区别
- stand up meeting 12/8/2015
- python逐行读取字符串_python3.4.3下逐行读入txt文本并去重的方法
- Factories Gym - 102222G(2018宁夏邀请赛暨2019银川icpc网络预选赛)
- js关于浅拷贝、深拷贝,数组的深拷贝
- 【译】UI设计基础(UI Design Basics)--启动与停止(Starting and Stopping)(五)
- logging日志输出模块
- 【博客管理】短期长期计划【置顶】
- java小项目-房屋出租系统
- 两个需求理论:马斯洛需求层次理论和KANO模型
- http状态码401
- 项目中引入阿里巴巴图标——iconfont图标的使用-svg格式
- 怎么制作云端服务器,自己搭建云端服务器
- vue项目架构搭建-3
- 阿里企业邮箱的smtp
- 测试dns的工具--rndc,dig命令----DNS排错,在线修改bind(nsupdate)
- 解决:Flutter 不识别 iPhone 测试机
热门文章
- 7天学会python_Python学习:第七天
- ##R语言生信作图之UpsetR做交集图
- 反编译exe软件_挖洞经验 | Panda反病毒软件本地提权漏洞分析
- c语言 怎么把数据存储,急求如何将下列C语言程序数据存储到文件中?
- linux deepin 15.9双系统,windows10安装双系统Deepin15.9遇到的坑
- 主题目录检索是什么举例子_网络信息资源检索与利用第二次作业
- python打不开settings_python - django无法导入settings文件
- power bi 雷达图_【自助式数据分析平台——WonderBI(豌豆BI)】免费在线试用_软件库...
- 文字投影_DLP投影仪指标含义汇总(文字稿)
- 双变量空间自相关_空间计量经济学的发展及其应用,经济模型总会需要