Kafka下载安装及部署

一、环境配置

操作系统：Cent OS 7Kafka版本：0.10.0.0JDK版本：1.8.0_51

二、操作过程
1、下载Kafka并解压
解压：

tar zxvf kafka_2.11-0.10.0.0.tgz

2、Kafka目录介绍

/bin 操作kafka的可执行脚本，还包含windows下脚本/config 配置文件所在目录/libs 依赖库目录/logs 日志数据目录，目录kafka把server端日志分为5种类型，分为:server,request,state，log-cleaner，controller

单机安装没什么意思而且没什么要求所以我们就直接安装分布式的kafka集群三节点的
进入kafka下的config目录修改server.properties文件
修改三个

broker.id=0     //注意这个id是身份命名，三节点的id不能一样log.dirs=/usr/local/kafka/kafka-logs    //日志存放目录zookeeper.connect=192.168.4.147,192.168.4.148,192.168.4.149    //多台zk主机名或者地址需要逗号隔开//前期这个配置已经够用了，后面有需求，可以根据自己的业务逻辑进行修改

注意配置环境变量

确保你zk集群是启动的
启动kafka

nohup ./kafka-server-start.sh /usr/local/kafka/config/server.properties &//需要注意语法 前面的nohup和后面的&符号尽量带式
//三体机器上都要执行

查看进程

如上图显示说明启动成功，三个节点都要试一试

创建第一个topic：

[root@Master kafka]# ./bin/kafka-topics.sh --create --zookeeper Master,Slave1,Slave2 --topic myTopic1 --partitions 3 --replication-factor 3
Created topic "myTopic1". 出现这个说明创建成功

上面语句：–zookeeper Master,Slave1,Slave2是指定zk位置
–topic myTopic1 指定topic的名称
–partitions 3 分区数是几
–replication-factor 3 副本因子数类似于hdfs的副本数

查看topic的状态：

[root@Master kafka]# ./bin/kafka-topics.sh --describe --zookeeper  Master,Slave1,Slave2 myTopic1
Topic:myTopic1  PartitionCount:3    ReplicationFactor:3 Configs:Topic: myTopic1 Partition: 0    Leader: 0   Replicas: 0,2,1 Isr: 0,2,1Topic: myTopic1   Partition: 1    Leader: 1   Replicas: 1,0,2 Isr: 1,0,2Topic: myTopic1   Partition: 2    Leader: 2   Replicas: 2,1,0 Isr: 2,1,0

表示这个主题的三个topic的状态和位置第一行表示分区数是0的leader在brokerid=0的上面备份分别在021 可用的是021上面的

接下来创建一个生产者：

./kafka-console-producer.sh --topic topic01 --broker-list 192.168.40.147:9092,192.168.40.148:9092,192.168.40.149:9092

创建一个消费者：

./kafka-console-consumer.sh --topic topic01 --zookeeper 192.168.40.147:2181,192.168.40.148:2181,192.168.40.149:2181

创建结束

Kafka下载安装及部署相关推荐

1.Kafka下载安装
原文:kafka下载安装一.安装jdk 参见:Linux环境下安装jdk1.8(安装包版) 二.安装kafka kafka安装包链接:https://pan.baidu.com/s/1hy8XON ...
gitlab下载安装及部署
gitlab下载安装及部署初次操作成功,记录一下安装依赖软件 yum -y install policycoreutils openssh-server openssh-clients postf ...
配置idea自带的tomcat_Tomcat下载安装并部署到IDEA的教程（附带idea两种热部署设置方法）...
使用Idea的时候,修改了代码,需要反复的重启Tomcat,查看效果,是不是贼烦?还记得刚上手idea的时候,瞎配置部署Tomcat,结果最后修改一个jsp都要重新启动服务器,我这金牛座程序员能忍?~ ...
【Kafka】kafka的安装以及部署的详细描述
kafka是一个高吞吐量的分布式消息队列(message Queue)系统,以下是它的介绍流媒体平台有三个关键功能: 发布和订阅记录流,类似于消息队列或企业消息传递系统. 以容错的持久方式存储记录流 ...
Jenkins下载安装、部署SpringBoot项目
目录 1. Jenkins是什么 2.安装Jenkins 3.Jenkins初始化 4.简单测试Jenkins 5.Jenkins部署SpringBoot项目 5.1 Jenkins的配置 5.2 J ...
zabbix下载安装及部署
温馨提示:我下一篇文章将写我在安装zabbix过程中的报错及我最终的解决办法,本人真的是报错体质,十分不顺,愿大家安装一路顺利. 提示:在确认虚拟机连接网络没有问题的情况下 nmcli d s 查看网 ...
Docker在Linux下载安装及部署
适用于Caentos 8 之前的版本一.安装docker的基本命令 1. 首先需要查看Linux内核版本 uname -r 2. 安装docker yum install docker 或者 sud ...
Kafka安装及部署
阅读目录一.环境配置二.操作过程 Kafka介绍安装及部署回到顶部一.环境配置操作系统:Cent OS 7 Kafka版本:0.9.0.0 Kafka官网下载:请点击 JDK版本:1.7. ...
Kafka安装与部署
大数据相关知识点 1. Kafka介绍 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,具有高性能.持久化.多副本备份.横向扩展能力-- 分布式系统 ...
kafka 的安装部署
Kafka 的简介: Kafka 是一款分布式消息发布和订阅系统,具有高性能.高吞吐量的特点而被广泛应用与大数据传输场景.它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Ap ...

Kafka下载安装及部署

Kafka下载安装及部署相关推荐

最新文章

热门文章