kafka安装部署详解

  • 1. zookeeper安装部署
    • 1.1 zookeeper下载
    • 1.2 zookeeper配置启动
    • 1.3 zookeeper验证
  • 2. kafka安装部署
    • 2.1 kafka下载
    • 2.2 单机版配置启动
    • 2.3 集群版配置启动
    • 2.4 测试验证

1. zookeeper安装部署

1.1 zookeeper下载

zookeeper官网地址:https://www.apache.org/dyn/closer.cgi/zookeeper/

zookeeper下载地址:https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/

下载文件apache-zookeeper-3.5.7-bin.tar.gz 才是启动zookeepr需要的,千万别下载错。

zookeeper必须下载含有bin开头的tar包,若下载的不是bin开头的tar包,则会抛出找不到主类异常。
Zookeeper:无法加载主类,org.apache.zookeeper.server.quorum.QuorumPeerMain
若启动zkServer报错:找不到或无法加载主类,肯定是tar包版本下载不对。

1.2 zookeeper配置启动

1.环境准备
jdk环境2.解压
tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/3.修改配置
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
dataDir=/opt/module/zookeeper-3.4.10/zkData4.启动
bin/zkServer.sh start5.查看
jps

1.3 zookeeper验证

1. 启动客户端
[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh
2.显示所有操作命令
[zk: localhost:2181(CONNECTED) 1] help
3. 查看当前 znode 中所包含的内容
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
4. 查看当前节点详细数据
[zk: localhost:2181(CONNECTED) 1] ls2 /
[zookeeper]
5. 分别创建 2 个普通节点
[zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"
Created /sanguo
[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo
"liubei"
Created /sanguo/shuguo
6.获得节点的值
[zk: localhost:2181(CONNECTED) 5] get /sanguo
jinlian

参考文档:zookeeper分布式协调服务框架

2. kafka安装部署

2.1 kafka下载

下载地址:https://kafka.apache.org/downloads.html

2.2 单机版配置启动

# 1.解压到op目录下
tar -zxvf kafka_2.11-0.11.0.0.tgz -C /op# 2.修改名称
mv kafka_2.11-0.11.0.0/ kafka# 3.在/opt/module/kafka 目录下创建 logs 文件夹
mkdir logs# 4.修改配置文件,具体参考如下
cd config/
vim server.properties# 5.修改两个点,一个是kafka数据存放目录,一个zookeeper连接地址
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181# 6.单机启动
# 前台运行:
bin/kafka-server-start.sh config/server.properties# 后台运行:
nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &# 验证
jps

2.3 集群版配置启动

2.4 测试验证

4.创建topic创建kafka topic:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test显示kafka topic:
bin/kafka-topics.sh -list -zookeeper  localhost:21815.创建生产者和消费者创建kafka生产者:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test创建kafka消费者:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning设置kafka消费组名:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning --consumer-property group.id=test-group

参考文档:消息中间件Kafka详解
http://t.zoukankan.com/CoolJayson-p-10601515.html

kafka安装部署详解相关推荐

  1. (03)_k8s之flannel三种模型安装部署详解

    flannel三种模型安装部署详解 yht_1990关注[2020-10-04 12:13:47](javascript:

  2. Postgresql -XL 10r.1.1安装部署详解(跳过N多坑)

    Postgresql -XL 10r.1.1安装部署详解(跳过N多坑) 目前安装postgre10r1.1的文档较少,本人目前是在三台虚拟机上搭建的postgre xl 10r1.1集群,之后将pos ...

  3. Destoon源数据库配置文件在哪_数据库监控软件Lepus安装部署详解

    Lepus安装部署 一.软件介绍 Lepus是一套开源的数据库监控平台,目前已经支持MySQL.Oracle.SQLServer.MongoDB.Redis等数据库的基本监控和告警(MySQL已经支持 ...

  4. gunicorn 安装部署详解

    Gunicorn是一个unix上被广泛使用的高性能的Python WSGI UNIX HTTP Server. 和大多数的web框架兼容,并具有实现简单,轻量级,高性能等特点. gunicorn 安装 ...

  5. 用友NC57安装部署详解篇

    环境描述: (1)操作系统(OS):Windows Server 2008 Enterprise  64bit (2)数据库:Oracle 11g  64bit (3)ERP :用友NC V5.7 一 ...

  6. Ansible简单介绍及安装部署详解

    ansible简单介绍 ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet.cfengine.chef.func.fabric)的优点,实现了批量系统配置. ...

  7. lepus安装部署详解

    lepus安装 一.lepus简介 二.部署xampp 三.安装Python基础模块 四.安装Lepus采集器 五.安装WEB管理台 六.添加MySQL被监控服务器 七.lepus的相关使用命令 一. ...

  8. 最新dnsmasq安装部署详解(centos6)

    介绍Dnsmasq Dnsmasq是一个很实用的小工具,解决局域网的需求看来非常合适,特别是网关和防火墙上. 它同时也可以作为一个dns查询服务器,虽然不如bind等完善,但基本功能也够用了. 它可以 ...

  9. xwiki部署_Xwiki安装部署详解

    一.Xwiki简介 XWiki是一个由Java编写的基于LGPL协议发布的开源wiki和应用平台.XWiki是一款基于java所编写的wiki,它可以运行在如Tomcat,Jetty,JBoss,We ...

最新文章

  1. jquery条件选择多个元素(与、或者)
  2. Flask + Nginx + React + Webpack 配置解决跨域问题
  3. [论文翻译]Pedestrian Alignment Network for Large-scale Person Re-Identification
  4. Schedulerx2.0分布式计算原理最佳实践
  5. Android之使用VideoView组件播放一个简单的视频
  6. STM32 软硬件调试
  7. mysql内核测试,MySQL 5.7内核复制中的一个小坑
  8. 登录显示离线_使用emoji加密文本;nali—终端离线查询 IP 地理信息
  9. HTML基本标签和一些注释的问题
  10. pytorch---模型加载与保存(3)保存和加载 Checkpoint 用于推理/继续训练
  11. c#用canny算子做边缘提取_【从零学习OpenCV 4】Canny算法
  12. 去除CSDN广告的方法
  13. (综述,讲得很好)基于3DMM的三维人脸重建技术总结
  14. Thoughts On To The Moon
  15. multicast msdp 2
  16. mpp格式文件怎么打开,mpp进度计划
  17. aspcms系统加密后https后台无法登录解决办法
  18. html 串行通信接口,一种串行通信接口的级联方法与流程
  19. 基于SpringBoot+Vue20小时打造高考志愿填报辅助系统
  20. csv文件 内容转义_保存csv文件时的生僻字处理和格式控制

热门文章

  1. 管道定位83KHZ地下电子信标器|电子标识器的应用与安装说明
  2. 网吧免费上从概念到实践
  3. 当B站“不再二次元”,破圈易,盈利难!
  4. 财经类大学计算机专业就业,财经类高校学生就业前景如何?工资高吗?
  5. PMP具体报考流程是怎样?
  6. 如何高效入门 Netlogo 复杂系统仿真工具?
  7. 【异常】android.app.Application cannot be cast to****
  8. UltralEdit 替换回车换行符
  9. c#语言怎么定义函数,C#方法方法用法 _C#语言-w3school教程
  10. linux系统下安装nginx,并通过外网访问