Kafka从上手到实践 - 实践真知:搭建单机Kafka | 凌云时刻
凌云时刻 · 技术
导读:这一节介绍如何在Linux服务器上搭建单机Kafka。
作者 | 计缘
来源 | 凌云时刻(微信号:linuxpk)
租赁服务器
为了更加真实,本小册的实践内容都搭建在云服务器上。可以在阿里云或者腾讯云租赁服务器,如果想租赁国外的服务器,可以在Vultr租赁。我选择在阿里云租赁了一台Linux服务器。配置不需要太高,入门级的就可以,系统可以选择CentOS或者Ubuntu。
注意:在配置ECS时,宽带计费方式要选择按量计费,这样可以自动分配公网IP,并且价格实惠。
安装JDK
使用终端登录服务器,首先安装JDK:
apt update
apt install openjdk-8-jdk
下载Kafka
然后去Kafka官网下载2.0.0版本的Kafka,Scala版本为2.12(kafka_2.12-2.0.0.tgz)。解压:
tar -xvf kafka_2.12-2.0.0.tgz
解压完之后,将Kafka的bin目录配置到PATH中:
export PATH=/root/kafka_2.12-2.0.0/bin:$PATH
(左右滑动查看代码)
配置Kafka
接下来进行最基本的配置。我们需要创建三个目录,用来存放Zookeeper和Kafka的数据:
/root/kafka_2.12-2.0.0/data
/root/kafka_2.12-2.0.0/data/zookeeper
/root/kafka_2.12-2.0.0/data/kafka
然后更新Zookeeper配置文件(/root/kafka_2.12-2.0.0/config/zookeeper.properties
)中的Data路径(dataDir
)为/root/kafka_2.12-2.0.0/data/zookeeper
。
接着更新Kakfa Broker配置文件(/root/kafka_2.12-2.0.0/config/server.properties
)中的日志路径(log.dirs
)为/root/kafka_2.12-2.0.0/data/kafka
设置阿里云ECS安全组规则
最后我们要对阿里云ECS进行一些配置,才可以让本地的Kafka Client通过外网IP连接到部署在ECS上的Kafka。
打开阿里云控制台/云服务器ECS/实例,在更多选项里选择网络和安全组/安全组配置:
然后进入配置规则:
添加安全组规则:
因为是自己用的,所以为了方便起见,将授权对象设置为0.0.0.0/0
:
设置完ECS之后,我们还需要配置一下Kafka Broker的信息,打开config/server.properties
文件,添加如下信息:
advertised.listeners=PLAINTEXT://ECS外网IP:9092
(左右滑动查看代码)
advertised.listeners
这个属性的作用是告诉Zookeeper,该Broker将以这里配置的IP作为Host。这样,本地Kafka Client就可以通过ECS的外网IP连接到Broker了。
启动Kafka
在上文中,我们知道Kafka离开Zookeeper是玩不转的,所以首先要启动Zookeeper:
/root/kafka_2.12-2.0.0/bin/zookeeper-server-start.sh config/zookeeper.properties
(左右滑动查看代码)
然后再启动Kafka Broker:
/root/kafka_2.12-2.0.0/bin/kafka-server-start.sh config/server.properties &
(左右滑动查看代码)
至此,Kafka最基本的搭建和启动就成功了。
总结
这一章节介绍了如何使用Linux服务器搭建单机Kafka,因为后续的Kafka CLI要基于单机Kafka进行实操。所以希望大家都能自己动手先搭建单机Kafka。希望能给小伙伴们带来帮助。
END
往期精彩文章回顾
Kafka从上手到实践 - 庖丁解牛:Consumer
Kafka从上手到实践 - 庖丁解牛:Producer
Kafka从上手到实践 - 庖丁解牛:Partition
Kafka从上手到实践 - 庖丁解牛:Topic & Broker | 凌云时刻
Kafka从上手到实践 - 初步认知:MQ系统
进阶之路:深入解读 Java 堆外内存
干货:一文看懂Apache Ranger
吴翰清:有变革的需求,才有技术的诞生
云原生时代,消息中间件的演进路线
长按扫描二维码关注凌云时刻
每日收获前沿技术与科技洞见
Kafka从上手到实践 - 实践真知:搭建单机Kafka | 凌云时刻相关推荐
- kafka 集群_10分钟搭建单机Kafka集群
单机版kafka集群有什么作用 练习上手用. 搭建zookeeper集群 首先下载zookeeper apache zookeeper官网 apache zookeeper下载地址 apache zo ...
- 单机 搭建kafka集群 本地_10分钟搭建单机Kafka集群
单机版kafka集群有什么作用 练习上手用. 搭建zookeeper集群首先下载zookeeper解压 apache zookeeper tar -zxvf apache-zookeeper-3.5. ...
- centos7搭建单机kafka集群
前言 生产环境下,为保证服务的高可用性,通常kafka是以集群部署的,本文基于centos7环境,演示下如何快速搭建一个单机版的kafka集群 环境准备 centos7环境,云服务器或虚拟机 zook ...
- 【kafka连载一】window10搭建单机kafka服务
一.安装JDK环境(1.8版本) 安装过程忽略,请参照网上教程 配置完成后请确认在window命令行下执行java -version命令显示以下效果 二.安装zookeeper kafka的运行依赖于 ...
- 新书《深入理解Kafka:核心设计与实践原理》上架,感谢支持~
新书上架 初识 Kafka 时,笔者接触的还是 0.8.1 版本,Kafka 发展到目前的 2.x 版本,笔者也见证了Kafka的蜕变,比如旧版客户端的淘汰.新版客户端的设计.Kafka 控制器的迭代 ...
- qnap raid5升级raid6_实践出真知!100TB的RAID5到底能否重建成功?
实践出真知!100TB的RAID5到底能否重建成功? 2019-04-04 18:40:37 390点赞 996收藏 419评论 小编注:此篇文章来自即可瓜分10万金币,周边好礼达标就有,邀新任务奖励 ...
- 大规模使用 Apache Kafka 的20个最佳实践
点击蓝色"程序猿DD"关注我哟 加个"星标",不忘签到哦 本文来源:朱小厮的博客 配图来源:<深入理解Kafka> Apache Kafka是一款流 ...
- 反思供应链项目:实践出真知 多反思提升效率的方法
获得的提升: 代码能力 沟通能力 思维能力 变通能力 使用代码工具的能力 知识面 都有了提升 得到的认知: 1.实践出真知 2.实际做了才是自己的,只是看明白了,不是自己的 3.加班加的也是 ...
- 实践出真知之Spring Cloud之基于Eureka、Ribbon、Feign的真实案例
转载自 实践出真知之Spring Cloud之基于Eureka.Ribbon.Feign的真实案例 Eureka是Spring Cloud Eureka的简称,是Netflix提供的组件之一.通过E ...
- 利用 Docker 搭建单机的 Cloudera CDH 以及使用实践
利用 Docker 搭建单机的 Cloudera CDH 以及使用实践 想用 CDH 大礼包,于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用.其实操作的流和使用到的命令差不多就一 ...
最新文章
- 116. Populating Next Right Pointers in Each Node
- html显示假的图片路径,实现自己网站的图片假水印功能
- 为什么不用DriverManager.registerDriver(driver)
- 1.6编程基础之一维数组_01与指定数字相同的数的个数
- 【英语学习】【医学】Unit 10 Tumor
- Mongodb Geo2d索引原理
- 2021-2025年中国抽屉加热器行业市场供需与战略研究报告
- 大白书中无向图的点双联通分量(BCC)模板的分析与理解
- jenkins教程_4 Docker+SpringCloud
- 今天起改用mac的marsedit写博
- 包含的前缀数目超过了最大值。最大值为 2_「西法带你学算法」一次搞定前缀和...
- 华为手机字体改简体_华为手机字体怎么更换简体
- 【第168期】游戏策划:草率了,这简历像极了脱缰的马儿
- 电机与电力拖动系统的仿真技术matlab/simulink(1)
- Android之使用通知栏通知的三种方法(短内容、长内容、图片通知)
- PPT计算机原理结构初步,测量实践初步(赖丽娟).ppt
- android x86 mip,mip-appdl
- 华硕服务器主板装系统,装机高手教你华硕主板bios设置图解
- 关于打印时怎样不出现打印机选项而直接打印的解决方法
- 单片机程序跑飞的原因
热门文章
- what is apache2 ?
- bay——RAC_ASM ORA-15001 diskgroup DATA does not exist or is not mounted.docx
- Pycharm community配置Django
- 【C++ Primer 第10章】 10.4.1 插入迭代器
- PHP 实现文件上传 php配置
- 第一章 SQL Server 2005概述文档信息
- php基本语法的几点备忘
- 深度学习caffe:损失函数
- sklearn,SVM 和文本分类
- python opencv 找到圆点标定板所有点后通过距离找两个角点4