Kafka集群环境搭建

首先准备至少三台虚拟机。

每台虚拟机解压下载好的kafka压缩包并重命名

cd /usr/local

wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

tar -zxvf kafka_2.11-1.0.0.tgz

mv kafka_2.12-0.11.0.0 kafka

修改配置文件

vim ./kafka/config/server.properties

修改的内容如下

broker.id为kafka节点。listeners=PLAINTEXT为本机的ip地址，9092为kafka的默认端口号。zookeeper.connect为zookeeper的地址。

每台服务器上面的broker.id和listeners不一样，zookeeper.connect都是一样的。

broker.id=0
listeners=PLAINTEXT://192.168.10.XX:9092
zookeeper.connect=192.168. 10.XX:2181,192.168. 10.XX:2181,192.168. 10.XX:2181

broker.id=1
listeners=PLAINTEXT://192.168.10.XX:9092
zookeeper.connect=192.168. 10.XX:2181,192.168. 10.XX:2181,192.168. 10.XX:2181

broker.id=0
listeners=PLAINTEXT://192.168.10.XX:9092
zookeeper.connect=192.168. 10.XX:2181,192.168. 10.XX:2181,192.168. 10.XX:2181

启动之前和zookeeper一样先删除日志中的log。

启动kafka

./kafka-server-start.sh ../config/server.properties >1.log &

Kafka集群环境搭建相关推荐

高吞吐消息中间件Kafka集群环境搭建（3台kafka，3台zookeeper）
高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper) 一.集群搭建要求 1.搭建设计 2.分配六台Linux,用于安装拥有三个节点的Kafka集群和三个节点的Zookeep ...
融云发送自定义消息_数据源管理 | Kafka集群环境搭建，消息存储机制详解
一.Kafka集群环境 1.环境版本版本:kafka2.11,zookeeper3.4 注意:这里zookeeper3.4也是基于集群模式部署. 2.解压重命名 tar -zxvf kafka_2. ...
数据源管理 | Kafka集群环境搭建，消息存储机制详解
本文源码:GitHub·点这里 || GitEE·点这里一.Kafka集群环境 1.环境版本版本:kafka2.11,zookeeper3.4 注意:这里zookeeper3.4也是基于集群模式部 ...
大数据 -- zookeeper和kafka集群环境搭建
一运行环境从阿里云申请三台云服务器,这里我使用了两个不同的阿里云账号去申请云服务器.我们配置三台主机名分别为zy1,zy2,zy3. 我们通过阿里云可以获取主机的公网ip地址,如下: 通过secu ...
大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十一）NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120master192.168.0.121slave1192.168.0.122 slave2 ...
搭建Kafka集群环境
计划使用三台主机:11.12.112.206.11.12.112.207.11.12.112.208搭建Kafka集群环境, 使用的zookeeper集群为:11.12.112.215:2181,11 ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十二）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。...
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...

Kafka集群环境搭建

Kafka集群环境搭建相关推荐

最新文章

热门文章