Kafka的安装与配置
一 jar包方式安装Kafka
jar包下载地址:https://kafka.apache.org/downloads下载
1.配置java环境
1.1、上传jdk-8u341-linux-x64.tar.gz到服务器并安装:
# tar -zxf jdk-8u341-linux-x64.tar.gz
1.2.配置环境变量:
vim /etc/profile
# 生效
source /etc/profile
# 验证
java -version
2 Zookeeper的安装配置
2.1、上传zookeeper-3.4.14.tar.gz到服务器
2.2、解压到/opt:
tar -zxf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14/conf
# 复制zoo_sample.cfg命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg
# 编辑zoo.cfg文件
vim zoo.cfg
2.3、修改Zookeeper保存数据的目录,dataDir:
dataDir=/var/lagou/zookeeper/data
2.4、编辑/etc/profile:
设置环境变量ZOO_LOG_DIR,指定Zookeeper保存日志的位置;
ZOOKEEPER_PREFIX指向Zookeeper的解压目录;
将Zookeeper的bin目录添加到PATH中:
2.5、使配置生效:
source /etc/profile
2.6、验证:
3 Kafka的安装与配置
3.1、上传kafka_2.12-1.0.2.tgz到服务器并解压:
tar -zxf kafka_2.12-1.0.2.tgz -C /opt
3.2、配置环境变量并生效:
vim /etc/profile
3.3、配置/opt/kafka_2.12-1.0.2/config中的server.properties文件:
Kafka连接Zookeeper的地址,此处使用本地启动的Zookeeper实例,连接地址localhost:2181,后面的 kafkaDemo 是Kafka在Zookeeper中的根节点路径:
3.4、启动Zookeeper:
zkServer.sh start
3.5、确认Zookeeper的状态:
3.6、启动Kafka:
进入Kafka安装的根目录,执行如下命令:
kafka-server-start.sh ../config/server.properties
启动成功:
3.7、查看Zookeeper的节点:
./zkCli.sh
ls /kafkaDemo
3.8、此时Kafka是前台模式启动,要停止,使用Ctrl+C。
如果要后台启动,使用命令:
kafka-server-start.sh -daemon ../config/server.properties
查看kafka进程:
ps -ef | grep kafka
停止后台运行的kafka:
kafka-server-stop.sh
3.9、 验证kafka是否可以正常使用
kafka-console-producer.sh用于生产消息:
# kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092
kafka-console-consumer.sh用于消费消息:
# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1
二 Docker安装Kafka
1.docker安装zookeeper
1.1、拉取zookeeper镜像
# docker pull wurstmeister/zookeeper
1.2、启动zookeeper
# docker run -d --name zookeeper -p 2181:2181 -e TZ="Asia/Shanghai" --restart always wurstmeister/zookeeper
1.3、查看zookeeper的启动信息
# docker logs -f zookeeper
2.docker安装kafka
2.1、拉取镜像
# docker pull wurstmeister/kafka
2.2、启动kafka
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=<这里换成你的zookeeper地址和端口> -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<这里换成你的kafka地址和端口> -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e TZ="Asia/Shanghai" wurstmeister/kafka
启动环境变量参数说明
变量 | 描述 |
KAFKA_BROKER_ID | kafka集群中每个kafka都有一个BROKER_ID来区分自己 |
KAFKA_ADVERTISED_LISTENERS | kafka的地址和端口,用于向zookeeper注册 |
KAFKA_ZOOKEEPER_CONNECT | zookeeper地址 |
KAFKA_LISTENERS | kafka监听端口 |
TZ | 容器时区改为上海 |
2.3、验证kafka是否可以使用
docker exec -it kafka /bin/sh进入路径:/opt/kafka_2.13-2.7.0/bin下运行kafka生产者发送消息./kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1发送消息
另打开窗口消费者消费消息
kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1 --from-beginning
Kafka的安装与配置相关推荐
- kafka mysql安装与配置_Mac环境canal+mysql+kafka的安装及使用
为了实现 实时同步数据,在mac环境搭建了canal,mysql,kafka的一套流程 使用canal加mysql加kafka的方式传递数据 mysql 数据源头 canal模仿slave冲mysql ...
- Kafka和的安装与配置
本文主要介绍Kafka的安装与配置: 集群规划 datanode1 datanode2 datanode3 zk zk zk kafka kafka kafka kafka jar包下载地址 http ...
- 小木大数据-kafka安装及配置
kafka安装及配置 大家好,今天我要给大家介绍一下kafka的安装及配置的方式. 首先介绍一下什么叫kafka.Kafka是一个发布订阅消息系统,它的用途小木我理解的是,我们有一个温度传感器,然后k ...
- Kafka 安装与配置
本节详细介绍 Kafka 运行环境的搭建,为了节省篇幅,本节的内容以 Linux CentOS 作为安装演示的操作系统,其他 Linux 系列的操作系统也可以参考本节的内容.具体的操作系统的信息如下: ...
- Kafka安装与配置
1.下载Kafka2.13-3.1.0 最新版为 kafka_2.13-3.1.0.tgz 下载Zookeper 最新版为 zookeeper-3.8.0 2.单机安装zookeper Kafka依赖 ...
- Kafka2.12安装与配置/生产与消费
Kafka2.12安装与配置/生产与消费 一.Kafka安装与配置 1.1 Java环境为前提 jdk下载地址链接:jdk1.8 提取码:9plz zookeeper下载地址链接:zookeeper3 ...
- [转]大数据环境搭建步骤详解(Hadoop,Hive,Zookeeper,Kafka,Flume,Hbase,Spark等安装与配置)
大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等) 系统说明 ...
- kafka php 安装配置,kafka安装及Kafka-PHP扩展的使用,kafkakafka-php扩展_PHP教程
kafka安装及Kafka-PHP扩展的使用,kafkakafka-php扩展 话说用了就要有点产出,要不然过段时间又忘了,所以在这里就记录一下试用Kafka的安装过程和php扩展的试用. 实话说,如 ...
- kafka安装及配置
1. 集群规划 三台安装过zookeeper的虚拟机 2.jar包下载 http://kafka.apache.org/downloads.html 3 .集群部署 1)解压安装包 tar -zxvf ...
最新文章
- 在x86上成功使用gentoo系统上安装的grub2启动 Mac OS X Leopard 10.5.7
- C++写#pragma warning(disable 4786)的作用
- 请注意Tokyo Tyrant (ttserver)在大数据量下的不稳定
- C. 奇奇怪怪的魔法阵(未搞懂)
- Google 的服务,你用了那些?
- OSChina 周二乱弹 ——无人超市的出现,未来什么最重要?
- android JBOX2D粒子碰撞的实例,以达到特殊效果
- 解决 OCS: No schema for XXX at xx index, context <Quirks> 警告
- 矩阵运算--特征矩阵
- 微软服务器补丁每月几号发布,微软补丁日安全通告 |9 月份
- android手机怎么改字体,安卓字体怎么修改 安卓手机字体替换教程
- 编译原理实验课程设计
- 石头剪刀布程序流程图_民间传统体育游戏 | 石头剪刀布
- 在配置DNS后服务器启动失败问题的排查
- 《高等代数学》(姚慕生),例1.5.10
- 世界精神卫生日:不断变化的世界的应用程序
- 在字典中查找兄弟单词
- python股票分析入门_学习用Python分析股票数据(入门)
- Texture2D变Sprite
- 安卓系统怎么连接服务器数据库,安卓端如何与服务器端数据库连接