java 链接kafka单机版_kafka单机环境搭建及其基本使用
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试。现整理如下的笔记,发上来和大家分享。后续还会有kafka的研究笔记,依然会与大家分享!
1 kafka环境搭建
1.1 kafka单机环境搭建
(1)、解压kafka_2.11-1.1.0.tgz,得到“kafka_2.11-1.1.0”文件夹。
(2)、kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用。使用需配置kafka_2.11-1.1.0/config 下的“zookeeper.properties”。
(3)、配置“zookeeper.properties”。修改dataDir和clientPort。前者是快照存放地址(自己随意配置),后者是客户端连接zookeeper服务的端口。
(4)、配置kafka_2.11-1.1.0/config下的“server.properties”,修改log.dirs和zookeeper.connect。前者是日志存放文件夹,后者是zookeeper连接地址(端口和clientPort保持一致)。
到此,kafka的单机环境就搭建成功了。
2 kafka的相关命令
开启kafka自带zookeeper:
前台运行:
bin/zookeeper-server-start.sh config/zookeeper.properties
后台运行:
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &
(关于后台启动命令,可看我的另一篇博客:)
开启kafka:
前台运行:
bin/kafka-server-start.sh config/server.properties
后台运行:
nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
创建kafka主题:
bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test
显示kafka所有主题:
bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191
创建kafka生产者:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
创建kafka消费者:
bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginning
解释:
--zookeeper:后面接的是你配置的zookeeper地址
--broker-list:默认端口为9092.可自行更改
3 kafka的简单使用
(1)、进入” kafka_2.11-1.1.0”文件夹,运行”开启kafka自带zookeeper”命令(最好用后台模式)。记得进入日志中,检查下启动是否有错误。
(2)、确认zookeeper启动成功后,继续在当前目录,运行“开启kafka”命令(依然用后台模式)。记得检查日志。
(3)、确认两者启动完毕后,运行“创建kafka主题”命令。显示红框中内容,即为创建成功。
(4)、继续在此目录下,运行“创建kafka生产者”的命令。kafka默认端口是9092。(图片里我自己改成了9192,没改的直接用9092端口)。如图,我发送了”qpf_test”的消息。
(5)、另起一个终端,仍在相同目录下运行“创建kafka消费者”的命令。消费者会收到生产者发来的消息。如图,我接收到了之前发的” qpf_test”的消息。
希望与广大网友互动??
点此进行留言吧!
java 链接kafka单机版_kafka单机环境搭建及其基本使用相关推荐
- 单机 搭建kafka集群 本地_Kafka单机环境搭建简记
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
- Kafka单机环境搭建及整合SpringBoot完成基本使用
Kafka单机环境搭建及整合SpringBoot完成基本使用 Kafka单机环境搭建 下载kafka_2.11-1.1.0.tgz版本 下载地址 https://archive.apache.org/ ...
- HBase单机环境搭建
HBase单机环境搭建 转自:https://songlee24.github.io/2015/07/20/hbase-standalone-mode/ 在搭建HBase单机环境之前,首先你要保证你已 ...
- 搭建kafaka_kafka单机环境搭建及其基本使用
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
- Linux系统 ELK(8.3.1)单机环境搭建
Linux系统下 ELK单机环境搭建,当前ELK版本8.3.1 安装前置,ELK环境需要使用非root用户运行 1.下载ELK包 2.解压安装 3.配置 1.配置启动Elasticsearch 2.配 ...
- SRS流媒体服务器——单机环境搭建和源码目录介绍
SRS流媒体服务器--单机环境搭建和源码目录介绍 1. 目录 环境搭建 源码目录介绍 1. 环境搭建 srs官⽹:https://github.com/ossrs/srs 码云的源速度快:https: ...
- RocketMQ单机环境搭建
大家好,我是冰河~~ 今天,带来一篇搭建RocketMQ单机环境的文章,为后面的分布式事务专栏做准备.RocketMQ是阿里巴巴开源的一款高性能分布式消息中间件,有关RocketMQ的详细讲解,后面会 ...
- k3s单机环境搭建(飞腾+麒麟)
k3s单机环境搭建(飞腾+麒麟) k3s介绍 环境信息 k3s部署 运行k3s安装脚本 配置镜像加速 安装kubernetes-dashboard 部署kubernetes-dashboard 配置R ...
- Ubuntu 16.04 Spark单机环境搭建
说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤. 安装Java SE 1.下载JAVA SE linux版本.下载地址为: http://www.o ...
- 【ELK Stack】ELK+KafKa开发集群环境搭建
部署视图 运行环境 CentOS 6.7 x64 (2核4G,硬盘100G) 需要的安装包 Runtime jdk1.8 : jdk-8u91-linux-x64.gz (http://www.ora ...
最新文章
- Java基础篇:网络编程
- 分享一个基于 Shiro 的权限管理系统,亮点是支持 restful 风格 URL.
- access9磅字体是多_第一套考试题
- Android消息处理机制
- AI应用开发实战 - 手写识别应用入门
- 5000元性价比高的笔记本_2018性价比笔记本电脑品牌推荐 5000左右笔记本性价比推荐...
- Kubernetes 将何去何从?
- ELV局部视图与差分隐私【敏感度到底怎么理解】【上】
- python glob用法_glob模块使用教程
- 查找交换机某端口连接的主机IP地址
- SQL Server查询所有的表名、字段名、注释
- RQNOJ #204 特种部队 sol
- cactiez mysql_CactiEz 无法登陆 、重启不画图处理
- html如何设置图片置顶,css怎么设置图片间距?
- GEOS-Chem笔记——模式下载安装+驱动数据+运行流程
- unity 获取设备的GPS信息
- win10计算机管理里找不到设备管理器的解决方法
- CocosCreator幼麟麻将搭建步骤
- 使用RXTX实现简单串口通信调试工具
- 新旧电脑间文件互传(通过网络)
热门文章
- Linux中权威域名服务器,请在(7)~(9)处填写恰当的内容。在Linux系统中配置域名服务器,该服务..._考试资料网...
- c++ map 析构函数_面向偷懒的编程 - C/C++项目中使用Go的分布式系统库
- centos6 和 centos7 防火墙基本操作
- 重构Webpack系列之一 ---- 概念篇
- springsecurity实现记住我的功能,将用户的登录信息保存到本地浏览器,即使关闭浏览器也不用登录
- 解决AJAX中使用UpdatePanel后再用Response.Write();等无法弹出对话框问题 3法
- Android:图解四种启动模式 及 实际应用场景解说
- java源码-LinkedHashMap
- iOS 相册图片选择器
- Ubuntu 16.04通过源码安装QUEM虚拟机