K8S环境快速部署Kafka(K8S外部可访问)
如何快速部署
- 借助Helm,只需少量操作即可部署kafka;
- kafka和zookeeper对存储都有需求,若提前准备了StorageClass,存储一事则变得十分简单
参考文章
本次实战涉及到的K8S、Helm、NFS、StorageClass等前置条件,它们的安装和使用请参考:
- 《kubespray2.11安装kubernetes1.15》
- 《部署和体验Helm(2.16.1版本)》
- 《Ubuntu16环境安装和使用NFS》
- 《K8S使用群晖DS218+的NFS》
- 《K8S的StorageClass实战(NFS)》
环境信息
本次实战的操作系统和软件的版本信息如下:
- Kubernetes:1.15
- Kubernetes宿主机:CentOS Linux release 7.7.1908
- NFS服务:IP地址192.168.50.135,文件夹/volume1/nfs-storageclass-test
- Helm:2.16.1
- Kafka:2.0.1
- Zookeeper:3.5.5
接下来的实战之前,请您准备好:K8S、Helm、NFS、StorageClass;
操作
- 添加helm仓库(该仓库中有kafka):helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
- 下载kafka的chart:helm fetch incubator/kafka
- 下载成功后当前目录有个压缩包:kafka-0.20.8.tgz,解压:tar -zxvf kafka-0.20.8.tgz
- 进入解压后的kafka目录,编辑values.yaml文件,下面是具体的修改点:
- 首先要设置在K8S之外的也能使用kafka服务,修改external.enabled的值,改为true:
- 找到configurationOverrides,下图两个黄框中的内容原本是注释的,请删除注释符号,另外,如果您之前设置过跨网络访问kafka,就能理解下面写入K8S宿主机IP的原因了:
- 接下来设置数据卷,找到persistence,按需要调整大小,再设置已准备好的storageclass的名称:
- 再设置zookeeper的数据卷:
- 设置完成,开始部署,先创建namespace,执行:kubectl create namespace kafka-test
- 在kafka目录下执行:helm install --name-template kafka -f values.yaml . --namespace kafka-test
- 如果前面的配置没有问题,控制台提示如下所示:
- kafka启动依赖zookeeper,整个启动会耗时数分钟,期间可见zookeeper和kafka的pod逐渐启动:
- 查看服务:kubectl get services -n kafka-test,如下图红框所示,通过宿主机IP:31090、宿主机IP:31091、宿主机IP:31092即可从外部访问kafka:
- 查看kafka版本:kubectl exec kafka-0 -n kafka-test – sh -c ‘ls /usr/share/java/kafka/kafka_*.jar’ ,如下图红框所示,scala版本2.11,kafka版本2.0.1:
- kafka启动成功后,咱们来验证服务是否正常;
对外暴露zookeeper
- 为了远程操作kafka,有时需要连接到zookeeper,所以需要将zookeeper也暴露出来;
- 创建文件zookeeper-nodeport-svc.yaml,内容如下:
apiVersion: v1
kind: Service
metadata:name: zookeeper-nodeportnamespace: kafka-test
spec:type: NodePortports:- port: 2181nodePort: 32181selector:app: zookeeperrelease: kafka
- 执行命令:kubectl apply -f zookeeper-nodeport-svc.yaml
- 查看服务,发现已经可以通过宿主机IP:32181访问zookeeper了,如下图:
验证kafka服务
找一台电脑安装kafka包,就能通过里面自带的命令远程连接和操作K8S的kafka了:
- 访问kafka官网:http://kafka.apache.org/downloads ,刚才确定了scala版本2.11,kafka版本2.0.1,因此下载下图红框中的版本:
- 下载后解压,进入目录kafka_2.11-2.0.1/bin
- 查看当前topic:
./kafka-topics.sh --list --zookeeper 192.168.50.135:32181
如下图,空空如也:
4. 创建topic:
./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001
如下图,创建成功后再查看topic终于有内容了:
5. 查看名为test001的topic:
./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001
6. 进入创建消息的交互模式:
./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001
进入交互模式后,输入任何字符串再输入回车,就会将当前内容作为一条消息发送出去:
7. 再打开一个窗口,执行命令消费消息:
./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning
8. 再打开一个窗口,执行命令查看消费者group:
./kafka-consumer-groups.sh --bootstrap-server 192.168.50.135:31090 --list
如下图可见groupid等于console-consumer-21022
9. 执行命令查看groupid等于console-consumer-21022的消费情况:
./kafka-consumer-groups.sh --group console-consumer-21022 --describe --bootstrap-server 192.168.50.135:31090
如下图所示:
远程连接kafka体验基本功能完毕,查看、收发消息都正常,证明本次部署成功;
kafkacat连接
- kafkacat是个客户端工具,我这里是在MacBook Pro上用brew安装的;
- 我这里K8S服务器IP是192.168.50.135,因此执行此命令查看kafka信息:kafkacat -b 192.168.50.135:31090 -L,如下图,可以看到broker信息,以及topic信息(一个是test001,还有一个是consumer的offset),把端口换成31091和31092会连接到另外两个broker,也能得到相同信息:
清理资源
本次实战创建了很多资源:rbac、role、serviceaccount、pod、deployment、service,下面的脚本可以将这些资源清理掉(只剩NFS的文件没有被清理掉):
helm del --purge kafka
kubectl delete service zookeeper-nodeport -n kafka-test
kubectl delete storageclass managed-nfs-storage
kubectl delete deployment nfs-client-provisioner -n kafka-test
kubectl delete clusterrolebinding run-nfs-client-provisioner
kubectl delete serviceaccount nfs-client-provisioner -n kafka-test
kubectl delete role leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete rolebinding leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete clusterrole nfs-client-provisioner-runner
kubectl delete namespace kafka-test
至此,K8S环境部署和验证kafka的实战就完成了,希望能给您提供一些参考;
欢迎关注我的公众号:程序员欣宸
K8S环境快速部署Kafka(K8S外部可访问)相关推荐
- k8s ubuntu cni_K8S环境快速部署Kafka(K8S外部可访问)-WEB资讯专栏-DMOZ中文网站分类目录...
欢迎访问我的GitHub内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等:如何快速部署借助Helm,只需少量操作 欢迎访问我的GitHub 内容: ...
- 吊炸天!一行命令快速部署大规模K8S集群!!!
吊炸天!一行命令快速部署大规模K8S集群!!! 先决条件 请事先准备好几台服务器(测试环境虚拟机即可) 请事先设置好相同的root密码(方便同时操作多服务器) 请事先在Linux安装好docker 请 ...
- 基于kubeadm快速部署kubernetes K8S V1.17.4集群-无坑完整版
基于kubeadm快速部署kubernetes K8S V1.17.4集群,并部署Dashboard Web页面,实现可视化查看Kubernetes资源 主机配置规划 服务器名称(hostname) ...
- 【云原生之kubernetes实战】在k8s环境下部署Snipe-IT固定资产管理平台
[云原生之kubernetes实战]在k8s环境下部署Snipe-IT固定资产管理平台 一.Snipe-IT介绍 二.检查本地k8s环境 1.检查工作节点状态 2.检查系统pod状态 3.检查kube ...
- 【云原生之kubernetes实战】在k8s环境下部署OneNav个人书签工具
[云原生之kubernetes实战]在k8s环境下部署OneNav个人书签工具 一.OneNav介绍 1.OneNav简介 2.OneNav特点 二.检查本地k8s环境 1.检查工作节点状态 2.检查 ...
- 【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]
K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署] 1. k8s-plantform-api-Pipeline 考虑到实际工作中前后端可能是不同的同学完成,一般Api部分完 ...
- 【云原生之kubernetes实战】在k8s环境下部署Homepage个人导航页
[云原生之kubernetes实战]在k8s环境下部署Homepage个人导航页 一.Homepage简介 二.检查本地k8s环境 1.检查工作节点状态 2.检查系统pod状态 三.安装docker- ...
- Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录
0.目录 整体架构目录:ASP.NET Core分布式项目实战-目录 k8s架构目录:Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录 一.感谢 在此感谢.net ...
- 使用kubeadm快速部署一个K8s集群
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具. 这个工具能通过两条指令完成一个kubernetes集群的部署: # 创建一个 Master 节点 $ kubeadm i ...
最新文章
- CUDA学习日志:常量内存和纹理内存
- k8s控制器模式介绍
- 给PUBG Mobile打上几十个数据标签解析霸榜原因
- SSL-练习题目:种树 题解
- android strm,Android 关于so文件的随记
- 干货 | 懂点儿经济学有什么用?
- 使用duilib开发半透明异形窗体程序(附源码和demo)
- C++ 处理异常相关
- Vue表单输入绑定(文本框和复选框)
- 文件图片随机划分训练集和验证集
- 安装Lr11.0(LoadRunner) 出现安装LoadRunner时出现:缺少vc2005_sp1_with_atl_fix_redist的解决办法
- 【FPGA的基础快速入门22-------OV7725摄像头模块】
- 小孩孩子应用题计算机错误,为什么一二年级的孩子数学应用题总出错?家长该怎么办?...
- “脚本小子”和真正黑客的区别是什么?
- 珠峰高 8848 米,一张纸 0.01 米,这张纸对折多少次后高度超过珠峰
- Single-Shot Object Detection with Enriched Semantics 论文笔记
- 【读书笔记】组合计数中的行列式方法
- PicPick软件系统语言设置
- 山东省下辖16个地级市和山东地形图12.5米
- RankNet - LambdaRank - LambdaMART