搭建kafaka_kafka单机环境搭建及其基本使用
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试。现整理如下的笔记,发上来和大家分享。后续还会有kafka的研究笔记,依然会与大家分享!
1 kafka环境搭建
1.1 kafka单机环境搭建
(1)、解压kafka_2.11-1.1.0.tgz,得到“kafka_2.11-1.1.0”文件夹。
(2)、kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用。使用需配置kafka_2.11-1.1.0/config 下的“zookeeper.properties”。
(3)、配置“zookeeper.properties”。修改dataDir和clientPort。前者是快照存放地址(自己随意配置),后者是客户端连接zookeeper服务的端口。
(4)、配置kafka_2.11-1.1.0/config下的“server.properties”,修改log.dirs和zookeeper.connect。前者是日志存放文件夹,后者是zookeeper连接地址(端口和clientPort保持一致)。
到此,kafka的单机环境就搭建成功了。
2 kafka的相关命令
开启kafka自带zookeeper:
前台运行:
bin/zookeeper-server-start.sh config/zookeeper.properties
后台运行:
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &
(关于后台启动命令,可看我的另一篇博客:《Linux后台运行进程》)
开启kafka:
前台运行:
bin/kafka-server-start.sh config/server.properties
后台运行:
nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
创建kafka主题:
bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test
显示kafka所有主题:
bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191
创建kafka生产者:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
创建kafka消费者:
bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginning
解释:
--zookeeper:后面接的是你配置的zookeeper地址
--broker-list:默认端口为9092.可自行更改
3 kafka的简单使用
(1)、进入” kafka_2.11-1.1.0”文件夹,运行”开启kafka自带zookeeper”命令(最好用后台模式)。记得进入日志中,检查下启动是否有错误。
(2)、确认zookeeper启动成功后,继续在当前目录,运行“开启kafka”命令(依然用后台模式)。记得检查日志。
(3)、确认两者启动完毕后,运行“创建kafka主题”命令。显示红框中内容,即为创建成功。
(4)、继续在此目录下,运行“创建kafka生产者”的命令。kafka默认端口是9092。(图片里我自己改成了9192,没改的直接用9092端口)。如图,我发送了”qpf_test”的消息。
(5)、另起一个终端,仍在相同目录下运行“创建kafka消费者”的命令。消费者会收到生产者发来的消息。如图,我接收到了之前发的” qpf_test”的消息。
搭建kafaka_kafka单机环境搭建及其基本使用相关推荐
- HBase单机环境搭建
HBase单机环境搭建 转自:https://songlee24.github.io/2015/07/20/hbase-standalone-mode/ 在搭建HBase单机环境之前,首先你要保证你已 ...
- SRS流媒体服务器——单机环境搭建和源码目录介绍
SRS流媒体服务器--单机环境搭建和源码目录介绍 1. 目录 环境搭建 源码目录介绍 1. 环境搭建 srs官⽹:https://github.com/ossrs/srs 码云的源速度快:https: ...
- 单机 搭建kafka集群 本地_Kafka单机环境搭建简记
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
- Linux系统 ELK(8.3.1)单机环境搭建
Linux系统下 ELK单机环境搭建,当前ELK版本8.3.1 安装前置,ELK环境需要使用非root用户运行 1.下载ELK包 2.解压安装 3.配置 1.配置启动Elasticsearch 2.配 ...
- RocketMQ单机环境搭建
大家好,我是冰河~~ 今天,带来一篇搭建RocketMQ单机环境的文章,为后面的分布式事务专栏做准备.RocketMQ是阿里巴巴开源的一款高性能分布式消息中间件,有关RocketMQ的详细讲解,后面会 ...
- k3s单机环境搭建(飞腾+麒麟)
k3s单机环境搭建(飞腾+麒麟) k3s介绍 环境信息 k3s部署 运行k3s安装脚本 配置镜像加速 安装kubernetes-dashboard 部署kubernetes-dashboard 配置R ...
- Kafka单机环境搭建及整合SpringBoot完成基本使用
Kafka单机环境搭建及整合SpringBoot完成基本使用 Kafka单机环境搭建 下载kafka_2.11-1.1.0.tgz版本 下载地址 https://archive.apache.org/ ...
- Ubuntu 16.04 Spark单机环境搭建
说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤. 安装Java SE 1.下载JAVA SE linux版本.下载地址为: http://www.o ...
- Seata 单机环境搭建_01
文章目录 一.整合版本说明 1. 毕业版本依赖关系(推荐使用) 2. 组件版本关系 3. 演示版本 二.部署单机 TC Server 2.1. 下载Seata 2.2. 解压缩 2.3. 启动 2.4 ...
最新文章
- 有多少人在51job上找到工作_人不在日本,找到日本工作的最佳方案
- Tensorflow Lite 编译
- AI成为世界互联网大会重要议题 第四范式AutoML登上央视
- PHP秒杀系统全方位设计分析--转载
- Datafix_for_arinvoice_dist_move
- 手机知识:手机快充取决于充电头还是数据线,看完你就懂了!
- TPC-C中跑赢Oracle的OceanBase,最近有何惊艳?
- 学习webpack系列之一 ---- (手动部署环境)
- 2022年(上半年)信息系统项目管理师考试-综合知识真题及解析(一)
- 申请QQ认证空间标志领黄钻90天 明星粉丝团认证空间
- mybatis的xmly文件与必依赖
- node.js -- 手把手教你搭建 电商平台
- 群晖使用Linux命令,群晖216++常用命令及dokcer使用笔记「持续更新」
- tensorflow出现报错: Could not locate zlibwapi.dll或者Could not load library cudnn_cnn_infer64_8.dll.
- 手机android的文件怎么恢复,安卓手机怎样恢复删除的文件
- 【FFT夯实基础系列】手写笔记合集|傅里叶级数、傅里叶变换
- bobo-browse
- 什么事长连接 短连接
- Java面向对象编程——抽象类和接口
- 多传感器融合研究(一)
热门文章
- 只腐蚀毛刺 腐蚀算法_摩托车油箱防腐蚀、油封安装、密封清洗经验分享
- LINUx设置ip导致内核挂死,Linux之TCPIP内核参数优化
- python3字典升序排序_Python字典和元组总结
- Android React Native 笔记(一):基础
- Linux上新建用户及赋权操作
- 【编程开发】Python隐藏属性——使用双下划线标识私有属性,外部不可直接访问...
- java pom.xml 自定义变量
- 想实现高可用?先搞定负载均衡原理
- python3 串行并列实际应用
- python:函数可以返回值--编写脚本计算24 + 34 / 100 - 1023