单机 搭建kafka集群 本地_Kafka单机环境搭建简记
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试。现整理如下的笔记,发上来和大家分享。后续还会有kafka的研究笔记,依然会与大家分享!
1 kafka环境搭建
1.1 kafka单机环境搭建
(1)、解压kafka_2.11-1.1.0.tgz,得到“kafka_2.11-1.1.0”文件夹。
(2)、kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用。使用需配置kafka_2.11-1.1.0/config 下的“zookeeper.properties”。
(3)、配置“zookeeper.properties”。修改dataDir和clientPort。前者是快照存放地址(自己随意配置),后者是客户端连接zookeeper服务的端口。
(4)、配置kafka_2.11-1.1.0/config下的“server.properties”,修改log.dirs和zookeeper.connect。前者是日志存放文件夹,后者是zookeeper连接地址(端口和clientPort保持一致)。
到此,kafka的单机环境就搭建成功了。
2 kafka的相关命令
开启kafka自带zookeeper:
前台运行:
bin/zookeeper-server-start.sh config/zookeeper.properties
后台运行:
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &
(关于后台启动命令,可看我的另一篇博客:《Linux后台运行进程》)
开启kafka:
前台运行:
bin/kafka-server-start.sh config/server.properties
后台运行:
nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
创建kafka主题:
bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test
显示kafka所有主题:
bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191
创建kafka生产者:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
创建kafka消费者:
bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginning
解释:
--zookeeper:后面接的是你配置的zookeeper地址
--broker-list:默认端口为9092.可自行更改
3 kafka的简单使用
(1)、进入” kafka_2.11-1.1.0”文件夹,运行”开启kafka自带zookeeper”命令(最好用后台模式)。记得进入日志中,检查下启动是否有错误。
(2)、确认zookeeper启动成功后,继续在当前目录,运行“开启kafka”命令(依然用后台模式)。记得检查日志。
(3)、确认两者启动完毕后,运行“创建kafka主题”命令。显示红框中内容,即为创建成功。
(4)、继续在此目录下,运行“创建kafka生产者”的命令。kafka默认端口是9092。(图片里我自己改成了9192,没改的直接用9092端口)。如图,我发送了”qpf_test”的消息。
(5)、另起一个终端,仍在相同目录下运行“创建kafka消费者”的命令。消费者会收到生产者发来的消息。如图,我接收到了之前发的” qpf_test”的消息。
单机 搭建kafka集群 本地_Kafka单机环境搭建简记相关推荐
- 单机 搭建kafka集群 本地_单机快速搭建多节点kafka集群
有时候为了更好地了解kafka集群的运行机制,需要自己搭建kafka集群.本文的目的就是让大家在单机上快速搭建kafka集群(仅作为单机测试使用). 环境及工具版本 mac OS 10.15.5 ka ...
- 单机 搭建kafka集群 本地_10分钟搭建单机Kafka集群
单机版kafka集群有什么作用 练习上手用. 搭建zookeeper集群首先下载zookeeper解压 apache zookeeper tar -zxvf apache-zookeeper-3.5. ...
- CentOS7搭建Kafka集群
目录 一.Kafka单机[依赖单机的单节点Zookeeper] 二.KafKa集群搭建 三.Kafka Manager(web页面管理)的搭建 四.使用本地客户端测试MQ基本操作 首先kafka的配置 ...
- Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager
Kafka 搭建: 建立Zookeeper容器: 这里我们用最简单的方式创建一个独立的Zookeeper节点,如果要考虑zookeeper的高可用,可以将其做成一个集群,最好是能有多台机器. $ do ...
- 搭建Kafka集群环境
计划使用三台主机:11.12.112.206.11.12.112.207.11.12.112.208搭建Kafka集群环境, 使用的zookeeper集群为:11.12.112.215:2181,11 ...
- docker环境,搭建kafka集群
https://zhuanlan.zhihu.com/p/114968151 docker环境,搭建kafka集群
- Kafka:搭建Kafka集群
博主在之前已经介绍过如何部署Kafka,Kafka的部署模式只有集群模式,Kafka的架构本就是天然的集群架构,因此单节点的部署和多节点的部署是类似的. 集群节点: 节点 地址 ZooKeeper 1 ...
- Linux 搭建Kafka集群,最新教程,细到极致
大家好呀,今天给大家带来的是,最新版kafka集群的安装教程,希望给小伙伴们一点小小的帮助. 注意:提前安装好jdk, Jdk安装教程 1.准备安装包,Kafka官网下载 2.kafka安装需要z ...
- Docker搭建Kafka集群
对于个人开发者而言,一般手头上没有多台服务器,有人可能会有云服务器,不过一般也只会买一台来用用就好:有人可能更习惯将本机当作服务器来玩.都可以.那么如何通过一台服务器或本机来搭建Kafka集群呢? 无 ...
最新文章
- php 公共的 受保护的,php-不使用$this-gt;调用受保护的属性
- Torchlight(火炬之光)人物骨骼动画
- linux下 面向对象语言,人工智能(AI)程序设计(面向对象语言)PDF+PPT与习题等...
- 解决服务器上 w3wp.exe 和 sqlservr.exe 的内存占用率居高不下的方案
- 公开调用私有Java方法?
- Berkeley DB(六) -- DB Replication (HA)上部
- python自动化办公模块_Python 自动化办公之 Excel 模块 — openpyxl 的基本使用!
- MATLAB 绘制柱状图
- cnpm 安装yarn
- 请输入一个年份和月份判断该月份的天数,注:闰年2月29天、平年2月28天。
- Digital Overdose 2021 Autumn CTF 部分题目赛后复现
- oracle sql 常用语句大全,SQL常用语句大全
- 有点甜用计算机怎么谈,有点甜造句
- 【图像处理】记一次粗心:未加载opencv_world300d.dll
- MD5、SHA、AES、Rabit 、RC4、TripleDES Ripemd160 加密解密工具
- 老挑毛 win7 linux,老挑毛u盘装系统步骤|老挑毛u盘一键装系统
- wxPython 2 - wxPython基础
- untrusted Developer You can allow using these apps in settings you can allow using these apps i
- 2021西部云安全峰会召开:“云安全优才计划”发布,腾讯云安全攻防矩阵亮相
- Java基础学习Day09--字符串
热门文章
- 『飞秋』Html.Label的缺陷及补救办法
- 面向对象技术第一讲 多态性
- 程序员为什么热衷于造轮子,而不是硬照,升职加薪吗?
- python实现一个简单的加法计算器_Python简易项目 加减计算器的实现
- 用python计算准确率_分词结果准确率、召回率计算-python(示例代码)
- 4.2 算法之数论 185 反正切函数的应用 scratch
- 第43课 最大公约数 《小学生C++趣味编程》
- linux 跑天龙八部游戏脚本,求推荐天龙八部脚本(能自动打怪,捡包之类的)
- spring cloud alibaba微服务原理与实战_SpringBoot+Cloud全家桶微服务实战项目之文档型数据库MongoDB四...
- sprongboot mysql登录注册_后端开发:SpringBoot实现注册与登录功能