kafka集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容:
- 基础环境安装
- zookeeper集群的搭建
- kafka集群的搭建
- hadoop/hbase集群的搭建
- spark集群的搭建
- flink集群的搭建
- elasticsearch集群的搭建
- alluxio集群的搭建
1.kafak简介
Kafka是一个分布式、分区的、多副本的、多订阅者的消息队列,以高吞吐量著称,主要用于实时数据的传输和处理,总体架构如下
更多内容请阅读官网 http://kafka.apache.org/documentation.html#introduction
2.kafka安装
- 下载
地址:http://kafka.apache.org/downloads,选择kafka_2.11-0.10.2.1.tgz版本
- 解压安装
本文环境列表
直接在服务器10.20.112.59上解压
1
2
3
|
cd ~
tar -zxvf kafka_2.11-0.10.2.1.tgz.gz
mv kafka_2.11-0.10.2.1 kafka
|
- 配置更改
编辑kafka server配置文件
vi /wls/oracle/kafka/config/server.properties
主要是如下几项:
kafka集群
修改server.properties
不同集群broker.id 和host.name 不一样,根据实际情况配置。
修改默认配置文件中的
broker.id(每台服务器均不同)
port(如果是伪集群,则端口号需要改变)
host.name
advertised.host.name
zookeeper.connect(所有集群的ip均需要说明)
log.dirs
以服务器SZB-L0045546,则其server.properties需更改的配置如下:
broker.id=1
port=9092
host.name=SZB-L0045546
advertised.host.name=10.20.112.59
zookeeper.connection=SZB-L0045546:2181,SZB-L0045551:2181,SZB-L0045552:2181/kafka
log.dirs=/wls/oracle/bigdata/kafka/kafka-logs-1,/wls/oracle/bigdata/kafka/kafka-logs-2,/wls/oracle/bigdata/kafka/kafka-logs-3
而集群另外4台服务器中的broker.id、host.name,advertised.host.name和SZB-L0045546的保持不同即可。同时集群中的服务器需要为kafka日志建立相关目录
mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-1
mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-2
mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-3
- 启动和验证
cd wls/oracle/bigdata/kafka/logs
nohup /wls/oracle/kafka/bin/kafka-server-start.sh /wls/oracle/kafka/config/server.properties >> /wls/oracle/bigdata/kafka/logs/kafka.out 2&1 &
创建topic
/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--create --topic TEST --replication-factor 2 --partitions 3
显示创建的topic
/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--list
向TEST中写入消息
/wls/oracle/kafka/bin/kafka-console-producer.sh --broker-list 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--topic TEST
从topic TEST中消费数据
/wls/oracle/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--topic TEST --from-beginning
kafka集群的搭建相关推荐
- 高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper)
高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper) 一.集群搭建要求 1.搭建设计 2.分配六台Linux,用于安装拥有三个节点的Kafka集群和三个节点的Zookeep ...
- Kafka集群的搭建与批量启停
什么是Kafka? Kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域.最新官方给Kafka的定义是一个开源的分布式事件流平台(Event ...
- 大数据 -- zookeeper和kafka集群环境搭建
一 运行环境 从阿里云申请三台云服务器,这里我使用了两个不同的阿里云账号去申请云服务器.我们配置三台主机名分别为zy1,zy2,zy3. 我们通过阿里云可以获取主机的公网ip地址,如下: 通过secu ...
- Kafka集群部署搭建完美标准版
Kafka集群部署并启动 在本文中将从演示如何搭建一个Kafka集群开始,然后简要介绍一下关于Kafka集群的一些基础知识点.但本文仅针对集群做介绍,对于Kafka的基本概念不做过多说明,这里假设读者 ...
- 融云发送自定义消息_数据源管理 | Kafka集群环境搭建,消息存储机制详解
一.Kafka集群环境 1.环境版本 版本:kafka2.11,zookeeper3.4 注意:这里zookeeper3.4也是基于集群模式部署. 2.解压重命名 tar -zxvf kafka_2. ...
- 数据源管理 | Kafka集群环境搭建,消息存储机制详解
本文源码:GitHub·点这里 || GitEE·点这里 一.Kafka集群环境 1.环境版本 版本:kafka2.11,zookeeper3.4 注意:这里zookeeper3.4也是基于集群模式部 ...
- Kafka集群环境搭建
首先准备至少三台虚拟机. 每台虚拟机解压下载好的kafka压缩包并重命名 cd /usr/local wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/ ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- 单机 搭建kafka集群 本地_单机快速搭建多节点kafka集群
有时候为了更好地了解kafka集群的运行机制,需要自己搭建kafka集群.本文的目的就是让大家在单机上快速搭建kafka集群(仅作为单机测试使用). 环境及工具版本 mac OS 10.15.5 ka ...
最新文章
- 深蓝学院的深度学习理论与实践课程:第二章
- Windows下修改jupyter默认工作路径教程
- 编码中统一更该变量的快捷键_流媒体的7种方式使您成为更好的编码器
- 差异表达基因火山图(ggplot函数)
- Spring Boot属性配置文件详解
- Windows 10——连接鼠标时触摸板失效解决方案
- npm install的代理问题
- linux 的ip 设置lo_Linux服务器设置静态IP的方法
- 信息学奥赛C++语言:蒙氏数学难题
- Cookie、Session、Token
- 深度学习学界业界进展调研
- 阿里热修复Sophix
- VoLTE、VoWiFi和VoIP有什么不同?
- 在微型计算机中硬件和软件的关系是_,计算机的硬件系统和软件系统的关系是什么?...
- Spring Cloud自定义Hystrix请求命令 1
- 激光制导炸弹导引头半实物仿真系统ETest方案设计
- C语言实现简单的四则运算计算器
- 【解决方案】ValueError: Some of types cannot be determined by the first 100 rows
- rebar3使用介绍(七)测试
- 【iOS】APP IM聊天框架的设计(基于第三方SDK)
热门文章
- OpenGL Static Texture静态纹理的实例
- QT的QIntValidator类的使用
- 经典C语言程序100例之七九
- Windows系统C++配置编译OpenCV
- C++开发中的预处理器
- android eng 模式,android 4.0 编译模式 eng - user 时遇到的有关问题
- 31-32 python mysql-connector创建数据、crud,where,排序,删除等。PyMSQL驱动,插入操作、查询操作、更新操作、删除操作、执行
- Kettle使用_24 Kettle输入输出组件汇总
- Qt学习笔记之QMainWindow,QWidget,QDialog
- C++获取文件夹下所有文件名