如何用prometheus监控k8s集群中业务pod的metrics

一般，我们从网上看到的帖子和资料，

都是用prometheus监控k8s的各项资源，

如api server, namespace, pod, node等。

那如果是自己的业务pod上的自定义metrics呢？

比如，一个业务pod开放了/xxx/metrics，

那么，如果用prometheus来抓取呢？

这里，我们就会用到kubernetes-pods这样一个job。

然后，在业务的deployment中，加annotation来配合抓取配置。

如下：

prometheus-configmap-pod.yaml

apiVersion: v1
kind: ConfigMap
metadata:name: prometheus-confignamespace: ns-monitor
data:prometheus.yml: |global:scrape_interval:     15sevaluation_interval: 15sscrape_configs:- job_name: 'kubernetes-pods'kubernetes_sd_configs:- role: podrelabel_configs:- source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]action: keepregex: true- source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]action: replacetarget_label: __metrics_path__regex: (.+)- source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]action: replaceregex: ([^:]+)(?::\d+)?;(\d+)replacement: $1:$2target_label: __address__- action: labelmapregex: __meta_kubernetes_pod_label_(.+)- source_labels: [__meta_kubernetes_namespace]action: replacetarget_label: kubernetes_namespace- source_labels: [__meta_kubernetes_pod_name]action: replacetarget_label: kubernetes_pod_name

上面yaml文件中source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]，

这样的relabel含义就是：

如果在业务pod中，annotation定义了prometheus.io/path，那么，prometheus就可以抓取其自定义的metrics。

如，一个业务deployments定义如下：

apiVersion: apps/v1
kind: Deployment
metadata:name: gwnamespace: default
spec:replicas: 3selector:matchLabels:name: gwtemplate:metadata:labels:name: gwannotations:prometheus.io/path: /xxx/metricsprometheus.io/port: "32456"prometheus.io/scrape: "true"spec:imagePullSecrets:- name: dockersecretcontainers:- name: gw
......

那么，prometheus server加载prometheus.yml文件之后，

就会去抓取每个业务pod的pod:32456/xxx/metrics的监控数据了。

转载于:https://www.cnblogs.com/aguncn/p/9843175.html

如何用prometheus监控k8s集群中业务pod的metrics相关推荐

使用Prometheus监控kubernetes集群
一键安装(网络可访问quay.io): kubectl apply --filename https://raw.githubusercontent.com/giantswarm/kubernetes ...
rancher2.x设置邮件通知，使用163邮箱来接收k8s集群中的报警信息以及来自rancher的通知信息
之前搭建了几个k8s集群然后使用了rancher来管理多个k8s集群,之前选择使用rancher主要是考虑从rancher应用商店中安装部署各种服务比较方便.但是,在我部署安装efk服务的时候(我自己 ...
终于解决 k8s 集群中部署 nodelocaldns 的问题
终于解决 k8s 集群中部署 nodelocaldns 的问题参考文章: (1)终于解决 k8s 集群中部署 nodelocaldns 的问题 (2)https://www.cnblogs.com/ ...
K8S集群中Pod挂载Storageclass存储卷异常排查思路
K8S集群中Pod挂载Storageclass存储卷异常排查思路故障描述: Jenkins是在K8S集群中部署的,Jenkins使用的各种资源以及全部创建了,但是Jenkins的Pod依旧无法启动, ...
K8S集群中Pod资源处于CrashLoopBackOff状态排查思路
K8S集群中Pod资源处于CrashLoopBackOff状态排查思路文章目录 K8S集群中Pod资源处于CrashLoopBackOff状态排查思路 1.Pod资源处于CrashLoopBackO ...
K8S集群中Pod与Pod之间网络故障排查思路
K8S集群中Pod与Pod之间网络故障排查思路文章目录 K8S集群中Pod与Pod之间网络故障排查思路 1.Pod与Pod之间通信故障 2.Pod与Pod之间网络通信故障排查思路 1.Pod与Pod ...
K8S集群中Pod资源常见的异常状态以及排查思路
K8S集群中Pod资源常见的异常状态以及排查思路 1.Pod资源的结构 Pod资源中会有一个基础容器Pause容器,每一个Pod资源下都会有一个Pause容器,Pause容器负责创建一个虚拟网络和存储 ...
K8S集群中Pod资源数据丢包排查思路
K8S集群中Pod资源数据丢包排查思路 Pod资源可能会由于网络原因产生丢包的现象. 当Pod资源存在丢包的现象时,会出现下面的报错: Connect to 100.111.156.74 port 5 ...
K8S集群中Pod资源处于Terminating或Unknown状态排查思路
K8S集群中Pod资源处于Terminating或Unknown状态排查思路文章目录 K8S集群中Pod资源处于Terminating或Unknown状态排查思路 1.Pod资源处于Terminat ...
K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路
K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路文章目录 K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路 1.Node节点资源不足可能会产生的故障 2.Node节点 ...

如何用prometheus监控k8s集群中业务pod的metrics

如何用prometheus监控k8s集群中业务pod的metrics相关推荐

最新文章

热门文章