配置Kafka和测试应用

首先删除上一个实验使用的Kafka集群配置。

$ oc delete kafka my-source-cluster -n kafka
$ oc delete kafka my-target-cluster -n kafka

根据kafka.yaml文件创建名为my-cluster的Kafka集群，根据connect.yaml文件创建名为my-connect-cluster的KafkaConnect。可以查看这两个文件，其中定义了Kafka、Zookeeper和KafkaConnect的监控Metrics。

$ oc apply -f https://raw.githubusercontent.com/liuxiaoyu-git/amq-streams-foundations-labs/master/04_monitoring/kafka.yaml -n kafka
$ oc get kafka -n kafka
NAME         DESIRED KAFKA REPLICAS   DESIRED ZK REPLICAS
my-cluster   3                        3
$ oc apply -f https://raw.githubusercontent.com/liuxiaoyu-git/amq-streams-foundations-labs/master/04_monitoring/connect.yaml -n kafka

根据hello-world.yaml部署测试应用。

oc apply -f https://raw.githubusercontent.com/liuxiaoyu-git/amq-streams-foundations-labs/master/04_monitoring/hello-world.yaml
kafkatopic.kafka.strimzi.io/my-topic configured
deployment.extensions/hello-world-producer created
deployment.extensions/hello-world-consumer created

分别执行以下2个命令，查看发送和接收消息的应用日志，确认可以正常发送和接收数据。

$ oc logs $(oc get pod -l app=hello-world-producer -o=jsonpath='{.items[0].metadata.name}') -f
$ oc logs $(oc get pod -l app=hello-world-consumer -o=jsonpath='{.items[0].metadata.name}') -f

配置Prometheus和Grafana

执行命令部署Grafana和Prometheus相关资源。注意：本文使用的项目名是kafka，如果你用的是其它项目名，可以修改prometheus.yaml文件中ClusterRoleBinding和ConfigMap的两处kafka。

$ oc apply -f https://raw.githubusercontent.com/liuxiaoyu-git/amq-streams-foundations-labs/master/04_monitoring/prometheus/grafana.yaml -n kafka
$ oc apply -f https://raw.githubusercontent.com/liuxiaoyu-git/amq-streams-foundations-labs/master/04_monitoring/prometheus/prometheus.yaml -n kafka
$ oc apply -f https://raw.githubusercontent.com/liuxiaoyu-git/amq-streams-foundations-labs/master/04_monitoring/prometheus/alerting-rules.yaml -n kafka

生成Prometheus的Route，然后查看Prometheus和Grafana的访问地址。

$ oc expose svc prometheus -n kafka
$ oc get route grafana prometheus -n kafka
NAME                 HOST/PORT                                                                           PATH   SERVICES                         PORT         TERMINATION   WILDCARD
grafana              grafana-amq.apps.cluster-beijing-78c7.beijing-78c7.example.opentlc.com                     grafana                          grafana                    None
prometheus           prometheus-amq.apps.cluster-beijing-78c7.beijing-78c7.example.opentlc.com                  prometheus                       prometheus                 None

首先用浏览器访问Prometheus地址，然后在搜索框中输入kafka_server_brokertopicmetrics_totalfetchrequestspersec_topic_my_topic，最后在点击Execute按钮，确认能查出对应Metrics的当前监控到的值。这说明Prometheus已经生效，可以获取到监控的数据了。
用浏览器访问Gafana地址，用admin/admin登录。
在登录后的首页面点击“Add data source”按钮（或点击左上方Grafana的图标，然后进入Data Sources，然后再点击“Add data source”按钮），在“Add data source”对话框中将Name和Type设为Prometheus，将Url设为http://prometheus:9090（这是从内部分prometheus服务的地址），最后点击Add按钮，此时会显示“Success: Data source is working”提示。
切换到对话框Dashboards标签页，然后点击右方的Import按钮。
点击左上方Grafana的图标，然后进入Dashboards -> Home，在选择“Prometheus Stats”后页面将显示下图。
下载定制的Dashboard定义文件dashboard.json到本地。

$ curl -LO https://raw.githubusercontent.com/liuxiaoyu-git/amq-streams-foundations-labs/master/04_monitoring/dashboard.json

点击左上方Grafana的图标，然后进入Dashboards -> Import。
在Import Dashboard对话框中点击“Upload .json File”按钮，选择dashboard.json。
然后将Name设为“Kafka Dashboard”，将Prometheus设为“Prometheus”，最后点击Import按钮。
查看“Kafka Dashboard”，可以看到通过Prometheus监控到的Kafka、Zookeeper和Kafka Connect运行情况。

OpenShift 4 之AMQ Streams(4) - 用Prometheus监控Kafka相关推荐

Prometheus监控Kafka集群
prometheus监控kafka常见的有两种开源方案,一种是传统的部署exporter的方式,一种是通过jmx配置监控,本文将采用第二种方式进行配置. 项目地址: kafka_exporter:ht ...
OpenShift 4 之AMQ Streams(1) - 多个Consumer从Partition接收数据
<OpenShift 4.x HOL教程汇总> 文章目录 AMQ Streams是什么? 安装 AMQ Streams 环境安装AMQ Streams Operator 创建Kafka集 ...
【kafka 监控】Kafka_exporter+prometheus 监控kafka数据
一.kafka_exporter 安装步骤: Kafka_exporter是一款用于将Kafka集群的监控指标暴露给Prometheus的开源工具,可以用于监控Kafka集群的各种状态数据.下面是Ka ...
OpenShift 4 之AMQ Streams(3) - 用Kafka MirrorMaker在Kafka集群间复制数据
<OpenShift 4.x HOL教程汇总> 文章目录什么是MirrorMaker 配置MirrorMaker 确认Kafka环境创建Source和Target 创建MirrorMa ...
OpenShift 4 之AMQ Streams(2) - 用Kafka Connect访问数据源
<OpenShift 4.x HOL教程汇总> Kafka Connect是一种可扩展的和可靠的连接Kafka框架与外部系统的框架.通过不同的Connector可以访问如数据库,键值存储, ...
OpenShift 4 - 用内置的Prometheus监控应用
<OpenShift 4.x HOL教程汇总> 说明:本文已经在OpenShift 4.8环境中验证文章目录配置Prometheus环境部署被监控应用创建收集指标的角色,并为用户赋 ...
OpenShift 之 Quarkus（4）用集成的Prometheus监控Quarkus应用
<OpenShift 4.x HOL教程汇总> 在OpenShift 4.3中不但集成了Prometheus功能,还集成了Prometheus的查询和报警界面.在Administrator ...
OpenShift 之 Quarkus（3）用独立的Prometheus监控Quarkus应用
<OpenShift 4.x HOL教程汇总> 文章目录准备Quarkus客户端环境创建Quarkus测试应用安装项目级Prometheus运行环境用Prometheus监控Qua ...
SpringBoot使用prometheus监控
本文介绍SpringBoot如何使用Prometheus配合Grafana监控. 1.关于Prometheus Prometheus是一个根据应用的metrics来进行监控的开源工具.相信很多工程都在 ...

OpenShift 4 之AMQ Streams(4) - 用Prometheus监控Kafka

文章目录

配置Kafka和测试应用

配置Prometheus和Grafana

OpenShift 4 之AMQ Streams(4) - 用Prometheus监控Kafka相关推荐

最新文章

热门文章