集群搭建系列（八）Kafka

文章目录

一 kafka 版本选择
二下载、安装
三复制各节点启动即可
四测试命令

一 kafka 版本选择

kafka 的版本选择与 zookeeper、 scala 对应
scala 与 spark 版本也需要对应

二下载、安装

tar -zxvf kafka_2.12-2.3.0.tgz
修改配置文件中
brock.id
zk
logdir( 数据存放位置 )

三复制各节点启动即可

scp -r 命令复制文件夹至目标
如：
scp -r /opt/hadoop/kafka-2.12 xxx@xxx:/opt/hadoop/

四测试命令

创建 topic
kafka-topics.sh --create --zookeeper xxxxxx:2181 --replication-factor 3 --partitions 1 --topic test-topic查看所有 topic
kafka-topics.sh --list --zookeeper xxxxxx:2181查看状态
kafka-topics.sh --describe --zookeeper xxxxxx:2181 --topic test-topic

集群搭建系列（八）Kafka相关推荐

Ceph集群搭建系列（六）：RBD块设备的使用场景、原理分析及其创建
一.前言下图数据出自2018年ceph社区用户调查报告,Ceph RBD接口的使用场景主要是VM和DB数据库. 而使用Ceph RBD的接口方式的用户数据如下,主要是librbd 和 kernel ...
Kubernetes(k8s)1.14 离线版集群搭建系列
声明: 如果您有更好的技术与作者分享,或者商业合作: 请访问作者个人网站 http://www.esqabc.com/view/message.html 留言给作 ...
Hadoop集群搭建（八：Hive的安装配置）
实验目的要求目的: (1)掌握数据仓库工具Hive的安装和配置: 要求: 完成Hive工具的安装和配置: Hive工具能够正常启动运行: Hive控制台命令能够正常使用: 能够正常操作数据库.表 ...
redis再战之AKF的Z轴拆分和代理集群搭建《八》
文章目录容量问题 Z轴拆分 1. modula(hsah + 取模): 2. random: 应用 3. ketama(一致性hash): redis的连接成本很高 redis自带的拆分:clust ...
zeekooper集群搭建_Zookeeper与Kafka集群搭建完整教程
修改完后:在/yybTest/zookeeper/data目录下建立一个myid的文本文件直接vim myid会直接进入,保存后会自动创建这个.在里面写上对应数字1,这里1对上server后面的那数 ...
Kafka 教程（二）集群搭建和容错性测试
2019独角兽企业重金招聘Python工程师标准>>> 在之前我们已经安装过kafka,我们直接进行单机多broker搭建.kafka安装请参考:kafka 教程(一) 第一个实例 ...
4.2.9 Kafka集群与运维, 应用场景, 集群搭建, 集群监控JMX(度量指标, JConsole, 编程获取, Kafka Eagle)
目录 3.1 集群应用场景 1 消息传递 2 网站活动路由 3 监控指标 4 日志汇总 5 流处理 6 活动采集 7 提交日志总结 3.2 集群搭建 3.2.1 Zookeeper集群搭建 3.2. ...
（六）elasticsearch 集群网络超时解决方案 --- Elasticsearch 集群搭建
上一篇: (五)elasticsearch 集群扩展 --- Elasticsearch 集群搭建因为网络原因,可能会有节点被踢出集群,如果网络恢复,节点会再次加入集群,但是这中间的过程是比较耗费性 ...
elasticsearch系列八：ES 集群管理（集群规划、集群搭建、集群管理）
一.集群规划搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个 ...

集群搭建系列（八）Kafka

文章目录

一 kafka 版本选择

二下载、安装

三复制各节点启动即可

四测试命令

集群搭建系列（八）Kafka相关推荐

最新文章

热门文章

集群搭建系列（八）Kafka

文章目录

一 kafka 版本选择

二 下载、安装

三 复制各节点启动即可

四 测试命令

集群搭建系列（八）Kafka相关推荐

最新文章

热门文章

二下载、安装

三复制各节点启动即可

四测试命令