CDH6.2.1安装Kafka出现的问题

前言

之前用的CDH 5.6.X版本，默认是没有Kafka的，刚刚搭建了一个新的集群，用的CDH6.2.1，自带了kafka不需要我们下载parcels包

根据以往在CDH安装组件的经验，应该是非常easy的，没想到…

问题一

这里我选择了五台Broker，其他的不需要填写，在启动的时候报错：

在网上搜了一圈，大概说是因为集群中broker默认都为0！！！我们必须得手动改为唯一的。

于是我把这五台服务的broker id分别改为0、1、2、3、4,并且发现默认的，zookeeper连接竟然是：

zookeeper.connect=localhost:2181

我的zookeeper在其他三台节点上面安装，于是手动将这五台服务器的zookeeper都配置了：

zookeeper.connect=master01:2181,master02:2181,master03:2181

然后重新安装

问题二

又是到了启动的这一步报错：

kafka.common.InconsistentBrokerIdException: Configured broker.id 1258 doesn't match stored broker.id 1186 in meta.properties. If you moved your data, make sure your configured broker.id matches. If you intend to create a new broker, you should remove all data in your data directories (log.dirs).at kafka.server.KafkaServer.getBrokerIdAndOfflineDirs(KafkaServer.scala:686)at kafka.server.KafkaServer.startup(KafkaServer.scala:209)at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:42)at kafka.Kafka$.main(Kafka.scala:75)at com.cloudera.kafka.wrap.Kafka$$anonfun$1.apply(Kafka.scala:91)at com.cloudera.kafka.wrap.Kafka$$anonfun$1.apply(Kafka.scala:91)at com.cloudera.kafka.wrap.Kafka$.runMain(Kafka.scala:102)at com.cloudera.kafka.wrap.Kafka$.main(Kafka.scala:94)at com.cloudera.kafka.wrap.Kafka.main(Kafka.scala)

大概意思是broker.id改了之后，这个时候和meta.properties配置文件中就不对应了，必须得一一对应才可以。

那么这个文件在哪呢？搜了一下，都说是看config下的server.properties，中的：

log.dirs=/tmp/kafka-logs

这里指定的哪就是哪…可把我坑惨了，我/tmp目录下根本就没有这个kafka-logs文件，擦。
经过一番查找，原来是在：

/var/local/kafka/data

于是我把这五台服务器的meta.properties文件都删除了，然后重新安装，结果非常happy：

CDH6.2.1安装Kafka出现的问题相关推荐

CDH6.3.1安装
CDH6.3.1安装遇到很多问题,我想主要是由于条件有限,毕竟自己的电脑内存不如专业集群的内存大(如果是内存和硬盘充足,有些是可以避免的,甚至不会出现报错的情况),这里就介绍一下我用VMware安装的 ...
基于CDH安装KAFKA
一.相关环境 1.centos7 2.CDH6.3.2 3.JDK1.8.0_271 二.安装KAFKA 1.进入CM管理主页面(点击红色方框,添加服务) 2.选择KAFKA点击继续 3.选择brok ...
从安装Kafka服务到运行WordCount程序
之所以写这篇文章,是因为Kafka初学的同学在了解了Kafka的基本原理之后,希望在自己的机器上面运行最简单的wordCount的时候,从开始安装Kafka到找到合适的example源码最后到成功运行 ...
安装kafka过程及出现的问题解决
安装kafka过程及出现的问题解决参考文章: (1)安装kafka过程及出现的问题解决 (2)https://www.cnblogs.com/prettrywork/p/10616163.html ...
win10安装kafka
最近在学习消息中间件,ActiveMQ.RabbitMQ都进行了最基本的了解,现在开始学习Kafka.学习kafka的第一个问题就是安装kafka,于是在网上进行了疯狂的寻找,功夫不负有心人,终于找到 ...
mac包安装kafka
安装 kafka (安装kafka前应在本地先安装java的jdk,因为zookeeper需要依赖java虚拟机) 下载地址:https://kafka.apache.org/down- wget h ...
kafka安装_安装Kafka
安装ZK ➜ Workspace tar -zxf zookeeper-3.4.6.tar.gz➜ Workspace mkdir -p data/zookeeper 配置文件: ➜ zookeepe ...
Docker环境安装Kafka
安装 Zookeeper Kafka 的运行需要有 Zookeeper ,所以需要先安装 Zookeeper 拉取镜像 docker pull wurstmeister/zookeeper 运行容器 ...
【Centos 7】【Docker】安装 kafka
前言 CentOS Linux release 7.6.1810 (Core) Docker version 19.03.14, build 5eb3275d40 准备 docker 已安装. 安装 ...

CDH6.2.1安装Kafka出现的问题

前言

问题一

问题二

CDH6.2.1安装Kafka出现的问题相关推荐

最新文章

热门文章