一、kafka安装部署

1.1 获取安装包，上传解压到/data/soft目录下

链接：https://pan.baidu.com/s/1HrimkznaYXUwFvnhQpNjLA?pwd=ptvk
提取码：ptvk

1.2 修改配置文件

修改：server.properties

针对单机模式，如果kafka和zookeeper在同一台机器上，并且zookeeper监听的端口就是那个默认的 2181端口，则 zookeeper.connect 这个参数就不需要修改了。只需要修改一下 log.dirs 即可

1.3 运行启动命令

 bin/kafka-server-start.sh -daemon config/server.properties

1.4 检查启动

二、kafka基本操作

2.1 topic 的操作

bin/kafka-topics.sh --create --zookeeper localhost:2181
--partitions 2 --replication-factor 1 --topic helloWorld

--create 表示对topic的创建动作 --partitions 表示消息分区的个数

--replication-factor 表示数据副本的个数，注意：副本数不能大于集群中Broker的数量

2.2 查询kafka中所有的topic和指定topic信息

//查看所有topic信息
bin/kafka-topics.sh --list --zookeeper localhost:2181
//指定topic
bin/kafka-topics.sh --describe --zookeeper localhost:2181  topic helloWorld

第一个行显示指定topic所有partitions的一个总结

PartitionCount：表示这个Topic一共有多少个partition
ReplicationFactor：表示这个topic中partition的副本因子是几
Config：这个表示创建Topic时动态指定的配置信息，在这我们没有额外指定配置信息

下面每一行给出的是一个partition的信息，如果只有一个partition，则只显示一行。

Topic：显示当前的topic名称
Partition：显示当前topic的partition编号
Leader：Leader partition所在的节点编号，这个编号其实就是broker.id的值，

2.3 修改Topic：修改Topic的partition数量，只能增加

bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 3  --topic helloWorld

2.4 删除Kafka中的指定Topic ,删除是不可逆的

bin/kafka-topics.sh --delete --zookeeper localhost:2181  --topic helloWorld

三、Kafka中的生产者和消费者

创建生产者


bin/kafka-console-producer.sh --broker-list localhost:9092 --topic hello

创建消费者

bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092 --topic hello

kafka安装部署和使用相关推荐

kafka安装部署详解
kafka安装部署详解 1. zookeeper安装部署 1.1 zookeeper下载 1.2 zookeeper配置启动 1.3 zookeeper验证 2. kafka安装部署 2.1 kafk ...
【Kafka】Kafka安装部署
Kafka版本: 1.0.1 前期环境准备准备好相应的服务器本文中服务器共三台: node01,node02,node03 服务器已安装zookeeper集群 Kafka安装步骤下载安装包下载 ...
Kafka 实战（3）：kafka安装部署·2
2019年8月18日上文主要讲解kafka的文件架构,这节我们参考了<zookeeper部署安装>,完成之后,创建我们的kafka demo,探探消息队列的真相.... kafka测试d ...
kafka不使用自带zk_kafka 安装部署教程
kafka 安装部署教程 1. 下载官网链接 http://kafka.apache.org/downloads 浙大源 http://mirrors.tuna.tsinghua.edu.cn/ap ...
Apache Atlas 2.3.0 安装部署
安装前环境准备 hadoop 3.1.0 hbase 2.3.4 hive 3.1.3 solr 7.7.3 zookeeper 3.5.7 kafka 2.11-2.4.1 atlas 2.3.0 ...
mysql数据实时同步：Canal安装部署、kafka安装、zk安装、mysql安装、Canal Server+Canal Client HA，Canal+mysql+Kafka，相关验证（学习笔记）
目录 Canal安装部署 1.1. 服务器准备 1.2. 设置主机名并配置hosts 1.3. 免密设置 1.4. 设置ntp时间 1.5. 关闭防火墙 1.6. 关闭selinux 1.7. 安装J ...
kafka启动_Kafka安装部署——单节点
1.1 Kafka的单节点部署在实际的工作中,经常使用Kafka作为消息队列,然而并不是每一种业务场景都需要集群版的Kafka,有时单节点的Kafka就能满足了业务的需求.以下就是单节点kafka的 ...
kafka 的安装部署
Kafka 的简介: Kafka 是一款分布式消息发布和订阅系统,具有高性能.高吞吐量的特点而被广泛应用与大数据传输场景.它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Ap ...
Kafka安装及部署
阅读目录一.环境配置二.操作过程 Kafka介绍安装及部署回到顶部一.环境配置操作系统:Cent OS 7 Kafka版本:0.9.0.0 Kafka官网下载:请点击 JDK版本:1.7. ...

kafka安装部署和使用