使用 Prometheus-Operator 监控 Calico(网络监控)
使用 Prometheus-Operator 监控 Calico(网络监控)
Calico 中最核心的组件就是 Felix,它负责设置路由表和 ACL 规则等,以便为该主机上的 endpoints 资源正常运行提供所需的网络连接。同时它还负责提供有关网络健康状况的数据(例如,报告配置其主机时发生的错误和问题),这些数据会被写入 etcd,以使其对网络中的其他组件和操作人员可见。
一、配置 Calico 以启用指标
- 默认情况下 Felix 的指标是被禁用的,必须通过命令行管理工具 calicoctl 手动更改 Felix 配置才能开启,需要提前配置好命令行管理工具。
1、下载管理工具
$ wget https://github.com/projectcalico/calicoctl/releases/download/v3.15.0/calicoctl -O /usr/local/bin/calicoctl
$ chmod +x /usr/local/bin/calicoctl
2、接下来需要设置 calicoctl 配置文件(默认是 /etc/calico/calicoctl.cfg)。如果你的 Calico 后端存储使用的是 Kubernetes API,那么配置文件内容如下:
apiVersion: projectcalico.org/v3
kind: CalicoAPIConfig
metadata:
spec:datastoreType: "kubernetes"kubeconfig: "/root/.kube/config"
3、配置好了 calicoctl 之后就可以查看或修改 Calico 的配置了,先来看一下默认的 Felix 配置:
$ calicoctl get felixConfiguration default -o yaml
手动修改配置:
$ calicoctl patch felixConfiguration default --patch '{"spec":{"prometheusMetricsEnabled": true}}'
4、Felix 暴露指标的端口是 9091,可通过检查监听端口来验证是否开启指标:
$ ss -tulnp|grep 9091
$ curl -s http://localhost:9091/metrics
二、Prometheus 采集 Felix 指标
启用了 Felix 的指标后,就可以通过 Prometheus-Operator 来采集指标数据。
Prometheus-Operator 在部署时会创建 Prometheus、PodMonitor、ServiceMonitor、AlertManager 和 PrometheusRule 这 5 个 CRD 资源对象,然后会一直监控并维持这 5 个资源对象的状态。
Prometheus 这个资源对象就是对 Prometheus Server 的抽象。
PodMonitor 和 ServiceMonitor 就是 exporter 的各种抽象,是用来提供专门提供指标数据接口的工具,
Prometheus 就是通过 PodMonitor 和 ServiceMonitor 提供的指标数据接口去 pull 数据的。
ServiceMonitor 要求被监控的服务必须有对应的 Service,而 PodMonitor 则不需要,此处选择使用 PodMonitor 来采集 Felix 的指标。
PodMonitor 虽然不需要应用创建相应的 Service,但必须在 Pod 中指定指标的端口和名称,因此需要先修改 DaemonSet calico-node 的配置,指定端口和名称
1、先用以下命令打开 DaemonSet calico-node 的配置:
$ kubectl -n kube-system edit ds calico-node
2、然后在线修改,在 spec.template.sepc.containers 中加入以下内容:
ports:- containerPort: 9091name: http-metricsprotocol: TCP
3、创建 Pod 对应的 PodMonitor:
#prometheus-podMonitorCalico.yaml
apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:labels:k8s-app: calico-nodename: felixnamespace: monitoring
spec:podMetricsEndpoints:- interval: 15spath: /metricsport: http-metricsnamespaceSelector:matchNames:- kube-systemselector:matchLabels:k8s-app: calico-node
$ kubectl apply -f prometheus-podMonitorCalico.yaml
注意:
- PodMonitor 的 name 最终会反应到 Prometheus 的配置中,作为 job_name。
- podMetricsEndpoints.port 需要和被监控的 Pod 中的 ports.name 相同,此处为 http-metrics。
- namespaceSelector.matchNames 需要和被监控的 Pod 所在的 namespace 相同,此处为 kube-system。
- selector.matchLabels 的标签必须和被监控的 Pod 中能唯一标明身份的标签对应。
最终 Prometheus-Operator 会根据 PodMonitor 来修改 Prometheus 的配置文件,以实现对相关的 Pod 进行监控。可以打开 Prometheus 的 UI 查看监控目标:
注意:Labels 中有 pod=“calico-node-xxx”,表明监控的是 Pod。
三、可视化监控指标
- 采集完指标之后,就可以通过 Grafana 的仪表盘来展示监控指标了。Prometheus-Operator 中部署的 Grafana 无法实时修改仪表盘的配置(必须提前将仪表盘的 json 文件挂载到 Grafana Pod 中),而且也不是最新版(7.0 以上版本),所以我选择删除 Prometheus-Operator 自带的 Grafana,自行部署 helm 仓库中的 Grafana。
1、先进入 kube-prometheus 项目的 manifests 目录,然后将 Grafana 相关的部署清单都移到同一个目录下,再删除 Grafana:
$ cd kube-prometheus/manifests
$ mkdir grafana
$ mv grafana-* grafana/
$ kubectl delete -f grafana/
2、然后通过 helm 部署最新的 Grafana:
$ helm install grafana stable/grafana -n monitoring
3、访问 Grafana 的密码保存在 Secret 中,可以通过以下命令查看:
$ kubectl -n monitoring get secret grafana -o yaml
apiVersion: v1
data:admin-password: MnpoV3VaMGd1b3R3TDY5d3JwOXlIak4yZ3B2cTU1RFNKcVY0RWZsUw==admin-user: YWRtaW4=ldap-toml: ""
kind: Secret
metadata:
...
4、对密码进行解密:
$ echo -n "MnpoV3VaMGd1b3R3TDY5d3JwOXlIak4yZ3B2cTU1RFNKcVY0RWZsUw=="|base64 -d
5、解密出来的信息就是访问密码。用户名是 admin。通过用户名和密码登录 Grafana 的 UI:
6、添加 Prometheus-Operator 的数据源:
7、Calico 官方没有单独 dashboard json,而是将其放到了 ConfigMap 中,我们需要从中提取需要的 json,提取出 felix-dashboard.json 的内容,然后将其中的 datasource 值替换为 prometheus。你可以用 sed 替换,也可以用编辑器,大多数编辑器都有全局替换的功能。如果你实在不知道如何提取,可以使用我提取好的 json:
–请点击链接下载–
8、修改完了之后,将 json 内容导入到 Grafana:
9、最后得到的 Felix 仪表盘如下图所示:
使用 Prometheus-Operator 监控 Calico(网络监控)相关推荐
- 局域网监控、网络监控软件之交换机端口镜像配置
"Port Mirror"即端口镜像,端口镜像为网络传输提供了备份通道.此外,还可以用于进行数据流量监测.可以这样理解:在端口A和端口B之间建立镜像关系,这样,通过端口A传输的数据 ...
- prometheus:(二)监控概述
目录 一:监控系统概论 运维监控平台设计思路 二: prometheus基础资源监控 2.1网络监控 2.2存储监控 2.3服务器监控 2.4中间件监控 2.5应用程序监控(APM) 三:常用监控系统 ...
- 为云原生而生 DeepFlow破解混合云时代网络监控难题
顺应技术发展趋势和客户应用需求变化,DeepFlow构建了全链路监控. 出品 | 常言道 作者 | 丁常彦 近年来,随着云计算应用的持续深入,多云混合已经成为企业应用的新常态:以容器.微服务.K8S为 ...
- 什么是网络监控?OpManager 网络监控解决方案
什么是网络监控 在当今世界,术语网络监控在整个IT行业中很普遍.网络监控是一个关键的 IT 过程,其中所有网络组件(如路由器.交换机.防火墙.服务器和虚拟机)都受到故障和性能监控,并持续评估以维护和优 ...
- 安防监控系统中IP网络监控比模拟摄像头有哪些优劣?
遇到很多客户在安装监控系统时,不知道是该选择模拟摄像机或是选择网络摄像机.网上一查,发现模拟摄像机价格便宜,网络摄像机价格较贵,两相权衡,很多用户冲着价格优势做了决定,但仅仅是从价格考虑,那未免太过于 ...
- 网络监控、上网行为管理产品大解析。
这里说的网络监控,是局域网上网设备监控(泛指电脑,手机,PAD等)的上网行为和内容监控.一般都称网络管理,上网行为管理.这样的技术不算新技术,一二十年的历史总是有的.但是信息时代,IT技术,信息观念三 ...
- zabbix 企业级网络监控解决方案
Zabbix是一个基于WEB界面的提供分布式系统监控以及网络监控功能的企业级的开源解决方案zabbix能监控各种网络参数,保证服务器系统的安全运营,并提供灵活的通知机制以让系统管理员快速定位/解决存在 ...
- 海神平台网络监控SDK(Android)开发经验总结
海神平台是我们自主研发的一个移动端质量监控平台,从去年7月份开始至今,已陆续上线了Crash监控.ANR监控.网络监控.自定义错误等功能,目前已接入了公司内10余款APP.针对Crash我们之前在&l ...
- 局域网网络监控和透明文件加密原理、需求、模式、实例、功能、部署、方案全攻略
关键词:局域网,网络监控,全攻略,监控软件,监控原理,网络监控软件,上网行为管理,内网管理,透明文件加密,反复制,信息安全,流量监控,网桥模式,QQ聊天记录监控,驱动,WINPCAP缺点 第一章 什么 ...
最新文章
- 最长公共子序列(LCS)问题 Longest Common Subsequence 与最长公告字串 longest common substr...
- cassandra java driver
- [Swift]在不依赖三方库的情况下如何异步下载和缓存图片?
- 算法工程与计算机科学,合并的分水岭算法-计算机工程与科学.PDF
- python右对齐输出如果结果超过30个字符_Python3 输出字符串左对齐、右对齐、居中对齐...
- PaperNotes(6)-GAN/DCGAN/WGAN/WGAN-GP/WGAN-SN-网络结构/实验效果
- 写给我的女神,一个用灵魂歌唱的小精灵
- MySQL在DOS指令里面的使用以及增删改查的使用
- file上传代码 ios_文件上传_iOS上传SDK_客户端上传_上传SDK_视频点播 - 阿里云
- 34.Odoo产品分析 (四) – 工具板块(5) – 设备及联系人目录(1)
- Duplicate Photos Fixer Pro for Mac用户指南:我可以比较不同时间的照片吗?
- mapper扫描问题(Invalid bound statement (not found))
- Go语言之return语句的几种用法
- Postman保存二进制流数据
- 【ROM制作工具】如何三分钟学会制作手机线刷包?一键制作线刷包详细教程
- 计算机科学全奖博士招生,福特汉姆大学魏文启课题组
- 华为正式上线鸿蒙,华为Mate30、鸿蒙OS资料汇总,方舟编译器正式上线
- 利用js制作动态小时钟
- 用递归法实现多重网格法——MATLAB
- Mysql 子查询 (查询语句中带查询语句)