kafka 安装部署教程

1. 下载

官网链接 http://kafka.apache.org/downloads

浙大源 http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.12-2.3.1.tgz

2. 解压

tar -zxvf kafka_2.11-0.11.0.1.tgz

3. 配置单节点

3.1 配置单节点 zookeeper

我们使用 kafka 自带的 zookeeper

cd /root/kafka #进入kafka主目录 mkdir -p zk/data #创建zookeeper数据存放目录 mkdir -p zk/logs #创建zookeeperl存放日志目录 cd config #进入配置文件所在目录 mv zookeeper.properties zookeeper.properties.bak #将原配置文件移走 cat > zookeeper.properties << EOF tickTime=2000 dataDir=/root/kafka/zk/data dataLogDir=/root/kafka/zk/logs clientPort=2181 EOF

到具体情况时注意修昨dataDir和dataLogDir为自己的相应目录

3.2 配置单结点 kafka

cd /root/kafka #进入kafka主目录 mkdir logs #创建logs目录用于存放日志 cd config #进入配置文件所在目录 mv server.properties server.properties.bak #将原配置文件移走 cat > server.properties << EOF broker.id=1 listeners=PLAINTEXT://127.0.0.1:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/usr/myapp/kafka_2.11/logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=127.0.0.1:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=0 EOF

上边配置的server.properties的内容基本都是原server.properties的默认配置，到自己安装时主要修改：

broker.id–broker的id；修改为任意自己想要的数值（和zookeeper中的id类似的）

listeners–监听址址；修改为kafka要监听的地址

log.dirs–日志文件存放目录；修改为自己要存放日志的目录

zookeeper.connect–zookeeper监听地址；修改为自己的zookeeper的监听地址，如果是集群所有地址全写上用逗号（半角）隔开即可

4.启动和停止

启动前要配置JAVA_HOME

./zookeeper-server-start.sh -daemon ../config/zookeeper.properties #启动zookeeper ./kafka-server-start.sh -daemon ../config/server.properties #启动kafka

停止：

./zookeeper-server-stop.sh #停止zookeeper ./kafka-server-stop.sh #停止kafka，centos7上可能关不了用kill -9直接杀掉

查看是否有zookeeper和kafka进程：

jps