kafka搭建,演示
1.kafka搭建,演示
官网:kafka.apache.org
环境准备
1.一共准备了4台服务器node01~04
kafka:node01~03
zookeeper:node02~04 看上期文章。
命令 |
含义 |
作用 |
zkserver.sh start |
zookeeper跑起来 |
|
zkCli.sh |
查看zk他的客户端 |
|
ls |
显示根目录(记住根目录都有啥) |
任何第三方连接zk的时候最好有自己的前置路径,以便分开 |
cd /opt/digdata 可以参照官网。 |
下载kafka的压缩包, 并且解压到/opt/bigdata |
|
cd /kafka20/config |
到达kafka的配置目录 |
|
vi server.properties |
编辑配置文件 |
|
修改broker.id =0 listeners=PLAINTEXT://9092 log.dirs=/var/kafka_data zookeeper.connect=node02:2181,node03:2181/kafka |
集群里每台都不一样的。 还有每台机器的端口号。 数据存储的地方。 因为我用到了zookeeper所以要加上zookeeper的集群配置(最后的/kafka意思是不要再zk的根目录创建,要自己创建自己的根目录) |
关乎到主从的 |
vi etc/profile |
修改环境变量 |
|
scp同步 |
同步到其他两台机器上 |
|
kafka-server-start.sh ./server.properties |
kafka的启动,注意这个是在kafka2.0目录下 |
|
kafka搭建,演示相关推荐
- 骑士卡:基于Kafka搭建消息中心,上亿消息推送轻松完成
全球购骑士卡是国内领先的会员制特权电商平台,汇聚国内外"吃喝玩乐买"超 300 项会员专属优惠特权.全球购骑士卡基于移动互联生活方式,打通线上.线下消费场景,汇集时下热门.高频的商 ...
- kafka搭建及应用
kafka企业级消息系统 1.了解为什么要使用消息系统 在没有使用消息系统以前,我们传统对于多业务.夸服务消息传递的时候,会采用串行方式或者并行方法: 串行方式: 用户注册实例:将注册信息写入数据库成 ...
- Spark Streaming(四)kafka搭建(单节点,单broker)
下载Kafka 我使用的版本是kafka_2.11-2.0.1.tgz 解压:tar -xvf kafka_2.11-2.0.1.tgz -C ~/app/ 添加至系统环境变量中: 配置Kafka 查 ...
- java kafka搭建,Apache Kafka 安装步骤
概览 安装过程总共分为 3 大块,第一 Java 环境不必多说,第二 Zookeeper 安装,第三 Kafka 安装. 概念了解 Kafka 有几个重要的概念需要先了解一下 名词 解释 broker ...
- Kafka详解(包括kafka集群搭建)
目录 一.Kafka简介 Kafka是什么 消息系统简介 点对点消息传递模式 发布-订阅消息传递模式 kafka简单理解 Kafka的优点特点 学Kafka的意义何在 二.常用Message Queu ...
- Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager
Kafka 搭建: 建立Zookeeper容器: 这里我们用最简单的方式创建一个独立的Zookeeper节点,如果要考虑zookeeper的高可用,可以将其做成一个集群,最好是能有多台机器. $ do ...
- CentOS7环境下搭建Kafka
计划使用三台主机:11.12.112.206.11.12.112.207.11.12.112.208搭建Kafka集群环境, 使用的zookeeper集群为:11.12.112.215:2181,11 ...
- 搭建Kafka集群环境
计划使用三台主机:11.12.112.206.11.12.112.207.11.12.112.208搭建Kafka集群环境, 使用的zookeeper集群为:11.12.112.215:2181,11 ...
- 【Kafka】Docker安装kafka、搭建kafka集群
kafka官方文档:https://kafka.apache.org/documentation/#quickstart 我们都知道kafka3.0之前依赖于zookeeper(zk)管理其中的元数据 ...
最新文章
- 图灵奖得主杨立昆人工智能十问:AI会统治人类吗?
- Ecshop实现仿Taobao地区运费模板
- 简单工厂、工厂模式初学习
- 柚子壁纸为什么自动安装_墙面壁纸贴完,看这效果丑丑丑!当初没听师傅话,顶角线必须得装...
- 分布式数据库TiDB是如何结合OLTP和OLAP的?
- 前端学习(3313):redux的基本操作
- 建立分析模型和设计模型
- Wavenet基础学习
- mysql bit_or() bit_count()函数
- 学习语文必须掌握的知识点思维导图
- 处理分类数据 非数值型编码
- NC65与蓝凌OA审批集成
- 数据化建设知识图谱(文末附PDF下载)
- 前端必会面试题,往死里背吧
- 国产ETL etl-engine 星光不问赶路人 时我不待
- java 优先队列从小到大_算法导论——辅助数据结构:优先队列(从小到大)
- java课后习题答案_《java课后习题答案》.doc
- 数据库系统概论(第十章数据库恢复技术)
- 张瑞敏:海尔的信息化革命
- 软文营销方案怎么做,软文营销策划的六大策略