凌云时刻 · 技术

导读:这一节介绍如何在Linux服务器上搭建单机Kafka。

作者 | 计缘

来源 | 凌云时刻(微信号:linuxpk)

租赁服务器

为了更加真实,本小册的实践内容都搭建在云服务器上。可以在阿里云或者腾讯云租赁服务器,如果想租赁国外的服务器,可以在Vultr租赁。我选择在阿里云租赁了一台Linux服务器。配置不需要太高,入门级的就可以,系统可以选择CentOS或者Ubuntu。

注意:在配置ECS时,宽带计费方式要选择按量计费,这样可以自动分配公网IP,并且价格实惠。

安装JDK

使用终端登录服务器,首先安装JDK:

apt update
apt install openjdk-8-jdk

下载Kafka

然后去Kafka官网下载2.0.0版本的Kafka,Scala版本为2.12(kafka_2.12-2.0.0.tgz)。解压:

tar -xvf kafka_2.12-2.0.0.tgz

解压完之后,将Kafka的bin目录配置到PATH中:

export PATH=/root/kafka_2.12-2.0.0/bin:$PATH

(左右滑动查看代码)

配置Kafka

接下来进行最基本的配置。我们需要创建三个目录,用来存放Zookeeper和Kafka的数据:

  • /root/kafka_2.12-2.0.0/data

  • /root/kafka_2.12-2.0.0/data/zookeeper

  • /root/kafka_2.12-2.0.0/data/kafka

然后更新Zookeeper配置文件(/root/kafka_2.12-2.0.0/config/zookeeper.properties)中的Data路径(dataDir)为/root/kafka_2.12-2.0.0/data/zookeeper

接着更新Kakfa Broker配置文件(/root/kafka_2.12-2.0.0/config/server.properties)中的日志路径(log.dirs)为/root/kafka_2.12-2.0.0/data/kafka

设置阿里云ECS安全组规则

最后我们要对阿里云ECS进行一些配置,才可以让本地的Kafka Client通过外网IP连接到部署在ECS上的Kafka。

打开阿里云控制台/云服务器ECS/实例,在更多选项里选择网络和安全组/安全组配置:

然后进入配置规则:

添加安全组规则:

因为是自己用的,所以为了方便起见,将授权对象设置为0.0.0.0/0

设置完ECS之后,我们还需要配置一下Kafka Broker的信息,打开config/server.properties文件,添加如下信息:

advertised.listeners=PLAINTEXT://ECS外网IP:9092

(左右滑动查看代码)

advertised.listeners这个属性的作用是告诉Zookeeper,该Broker将以这里配置的IP作为Host。这样,本地Kafka Client就可以通过ECS的外网IP连接到Broker了。

启动Kafka

在上文中,我们知道Kafka离开Zookeeper是玩不转的,所以首先要启动Zookeeper:

/root/kafka_2.12-2.0.0/bin/zookeeper-server-start.sh config/zookeeper.properties

(左右滑动查看代码)

然后再启动Kafka Broker:

/root/kafka_2.12-2.0.0/bin/kafka-server-start.sh config/server.properties &

(左右滑动查看代码)

至此,Kafka最基本的搭建和启动就成功了。

总结

这一章节介绍了如何使用Linux服务器搭建单机Kafka,因为后续的Kafka CLI要基于单机Kafka进行实操。所以希望大家都能自己动手先搭建单机Kafka。希望能给小伙伴们带来帮助。

END

往期精彩文章回顾

Kafka从上手到实践 - 庖丁解牛:Consumer

Kafka从上手到实践 - 庖丁解牛:Producer

Kafka从上手到实践 - 庖丁解牛:Partition

Kafka从上手到实践 - 庖丁解牛:Topic & Broker | 凌云时刻

Kafka从上手到实践 - 初步认知:MQ系统

进阶之路:深入解读 Java 堆外内存

干货:一文看懂Apache Ranger

吴翰清:有变革的需求,才有技术的诞生

云原生时代,消息中间件的演进路线

长按扫描二维码关注凌云时刻

每日收获前沿技术与科技洞见

Kafka从上手到实践 - 实践真知:搭建单机Kafka | 凌云时刻相关推荐

  1. kafka 集群_10分钟搭建单机Kafka集群

    单机版kafka集群有什么作用 练习上手用. 搭建zookeeper集群 首先下载zookeeper apache zookeeper官网 apache zookeeper下载地址 apache zo ...

  2. 单机 搭建kafka集群 本地_10分钟搭建单机Kafka集群

    单机版kafka集群有什么作用 练习上手用. 搭建zookeeper集群首先下载zookeeper解压 apache zookeeper tar -zxvf apache-zookeeper-3.5. ...

  3. centos7搭建单机kafka集群

    前言 生产环境下,为保证服务的高可用性,通常kafka是以集群部署的,本文基于centos7环境,演示下如何快速搭建一个单机版的kafka集群 环境准备 centos7环境,云服务器或虚拟机 zook ...

  4. 【kafka连载一】window10搭建单机kafka服务

    一.安装JDK环境(1.8版本) 安装过程忽略,请参照网上教程 配置完成后请确认在window命令行下执行java -version命令显示以下效果 二.安装zookeeper kafka的运行依赖于 ...

  5. 新书《深入理解Kafka:核心设计与实践原理》上架,感谢支持~

    新书上架 初识 Kafka 时,笔者接触的还是 0.8.1 版本,Kafka 发展到目前的 2.x 版本,笔者也见证了Kafka的蜕变,比如旧版客户端的淘汰.新版客户端的设计.Kafka 控制器的迭代 ...

  6. qnap raid5升级raid6_实践出真知!100TB的RAID5到底能否重建成功?

    实践出真知!100TB的RAID5到底能否重建成功? 2019-04-04 18:40:37 390点赞 996收藏 419评论 小编注:此篇文章来自即可瓜分10万金币,周边好礼达标就有,邀新任务奖励 ...

  7. 大规模使用 Apache Kafka 的20个最佳实践

    点击蓝色"程序猿DD"关注我哟 加个"星标",不忘签到哦 本文来源:朱小厮的博客 配图来源:<深入理解Kafka> Apache Kafka是一款流 ...

  8. 反思供应链项目:实践出真知 多反思提升效率的方法

    获得的提升: 代码能力  沟通能力  思维能力  变通能力  使用代码工具的能力  知识面 都有了提升 得到的认知: 1.实践出真知 2.实际做了才是自己的,只是看明白了,不是自己的 3.加班加的也是 ...

  9. 实践出真知之Spring Cloud之基于Eureka、Ribbon、Feign的真实案例

    转载自  实践出真知之Spring Cloud之基于Eureka.Ribbon.Feign的真实案例 Eureka是Spring Cloud Eureka的简称,是Netflix提供的组件之一.通过E ...

  10. 利用 Docker 搭建单机的 Cloudera CDH 以及使用实践

    利用 Docker 搭建单机的 Cloudera CDH 以及使用实践 想用 CDH 大礼包,于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用.其实操作的流和使用到的命令差不多就一 ...

最新文章

  1. 116. Populating Next Right Pointers in Each Node
  2. html显示假的图片路径,实现自己网站的图片假水印功能
  3. 为什么不用DriverManager.registerDriver(driver)
  4. 1.6编程基础之一维数组_01与指定数字相同的数的个数
  5. 【英语学习】【医学】Unit 10 Tumor
  6. Mongodb Geo2d索引原理
  7. 2021-2025年中国抽屉加热器行业市场供需与战略研究报告
  8. 大白书中无向图的点双联通分量(BCC)模板的分析与理解
  9. jenkins教程_4 Docker+SpringCloud
  10. 今天起改用mac的marsedit写博
  11. 包含的前缀数目超过了最大值。最大值为 2_「西法带你学算法」一次搞定前缀和...
  12. 华为手机字体改简体_华为手机字体怎么更换简体
  13. 【第168期】游戏策划:草率了,这简历像极了脱缰的马儿
  14. 电机与电力拖动系统的仿真技术matlab/simulink(1)
  15. Android之使用通知栏通知的三种方法(短内容、长内容、图片通知)
  16. PPT计算机原理结构初步,测量实践初步(赖丽娟).ppt
  17. android x86 mip,mip-appdl
  18. 华硕服务器主板装系统,装机高手教你华硕主板bios设置图解
  19. 关于打印时怎样不出现打印机选项而直接打印的解决方法
  20. 单片机程序跑飞的原因

热门文章

  1. what is apache2 ?
  2. bay——RAC_ASM ORA-15001 diskgroup DATA does not exist or is not mounted.docx
  3. Pycharm community配置Django
  4. 【C++ Primer 第10章】 10.4.1 插入迭代器
  5. PHP 实现文件上传 php配置
  6. 第一章 SQL Server 2005概述文档信息
  7. php基本语法的几点备忘
  8. 深度学习caffe:损失函数
  9. sklearn,SVM 和文本分类
  10. python opencv 找到圆点标定板所有点后通过距离找两个角点4