基于docker 搭建Prometheus+Grafana监控

一、prometheus介绍

1、什么是prometheus？
Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。
Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。
Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据。)相比功能更完善、更全面。
Prometheus性能也足够支撑上万台规模的集群。
2、Prometheus的特点
多维度数据模型。
灵活的查询语言。
不依赖分布式存储，单个服务器节点是自主的。
通过基于HTTP的pull方式采集时序数据。
可以通过中间网关进行时序列数据推送。
通过服务发现或者静态配置来发现目标服务对象。
支持多种多样的图表和界面展示，比如Grafana等。
官网地址：https://prometheus.io/
3、基本原理
Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。

4、服务过程
Prometheus Daemon负责定时去目标上抓取metrics(指标)数据，每个抓取目标需要暴露一个http服务的接口给它定时抓取。
Prometheus支持通过配置文件、文本文件、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目标。
Prometheus采用PULL的方式进行监控，即服务器可以直接通过目标PULL数据或者间接地通过中间网关来Push数据。
Prometheus在本地存储抓取的所有数据，并通过一定规则进行清理和整理数据，并把得到的结果存储到新的时间序列中。
Prometheus通过PromQL和其他API可视化地展示收集的数据。
Prometheus支持很多方式的图表可视化，例如Grafana、自带的Promdash以及自身提供的模版引擎等等。
Prometheus还提供HTTP API的查询方式，自定义所需要的输出。
PushGateway支持Client主动推送metrics到PushGateway，而Prometheus只是定时去Gateway上抓取数据。

二、Grafana

1、Grafana介绍

 grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具，目前已经支持绝大部分常用的时序数据库。参考资料就是官网（http://docs.grafana.org/）

2、基本概念

Grafana支持许多不同的数据源。
每个数据源都有一个特定的查询编辑器,该编辑器定制的特性和功能是公开的特定数据来源。
官方支持以下数据源:Graphite，Elasticsearch，InfluxDB，Prometheus，Cloudwatch，MySQL和OpenTSDB等。
每个数据源的查询语言和能力都是不同的。
你可以把来自多个数据源的数据组合到一个仪表板，但每一个面板被绑定到一个特定的数据源,它就属于一个特定的组织。

三、部署流程
1、部署node-exporter服务：

docker run -d  --name=node-exporter  -p 9100:9100  prom/node-exporterdocker update --restart=always node-exporter  #这一步一般不需要

2、部署cadvisor监控容器指标：

docker run -d --publish=9200:8080 --name cadvisor -v /:/rootfs:ro -v /var/run:/var/run:rw -v /sys:/sys:ro -v /var/lib/docker/:/var/lib/docker:ro google/cadvisor:latestdocker update --restart=always cadvisor  #这一步一般不需要

3、监控GPU指标

git clone https://github.com/kevin7674/nvidia_smi_exporter.git
cd nvidia_smi_exporter
./nvidia_smi_exporter 9101 &

可以添加自启
修改 vi /etc/rc.local
添加一行： ./nvidia_smi_exporter 9101 &

—这是最简单的启动，容器方面就不介绍了。可以访问项目地址去看。
4、部署Prometheus工具：

i、新建文件夹，并编辑内容mkdir /opt/prometheus
cd /opt/prometheus/
touch prometheus.yml
chmod 775 prometheus.yml
vim prometheus.yml

ii、编辑文件夹内容，最简单化部署

global:scrape_interval:     30s # 设定抓取数据的周期，默认为1minevaluation_interval: 30s # 设定更新rules文件的周期，默认为1minscrape_timeout: 15s # 设定抓取数据的超时时间，默认为10sscrape_configs:- job_name: prometheusstatic_configs:- targets: ['localhost:9090'] #主机labels:instance: prometheus- job_name: linuxstatic_configs:- targets: ['{$IP}:9100','{$IP}:8080','{$IP}:9101'] #数据源、采集数据。即：启动的node-exporter容器和cadvisor容器端口。 {$IP}请填写实际IPlabels:instance: {$IP}

iii、启动容器

docker run  -d \-p 9090:9090 \-v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml  \--name prometheusprom/prometheus
PS：新建文件的目录自己决定。启动容器时相对应的链接替换下就好。

5、部署可视化工具 grafana

docker run -d -p 3000:3000 --name grafana grafana/grafana

四、验证是否成功
访问方式： http://{$IP}:port
grafana视图可视化应用，可网上搜索下网络教程。部署grafana成功后，第一次访问页面，默认账号密码是 admin/admin
客户端提供metrics接口有不少软件可提供，这边只写常用到的 node-exporter和cadvisor 的metrics接口。

五、客户端部署
1、客户端只要部署下面2个服务即可：

部署node-exporter服务
部署cadvisor监控容器指标
PS：部署步骤上面有介绍

2、再到服务端更改 prometheus.yml 文件。 PS：上面第三.3步骤建立文件


```ruby
#vim prometheus.yml
#文件最下面再加上，下面的代码。  注意：job_name不要与上面的重复- job_name: linuxstatic_configs:- targets: ['{$IP}:9100','{$IP}:8080','{$IP}:9101'] #数据源、采集数据。即：启动的node-exporter容器和cadvisor容器端口。 {$IP}请填写实际IPlabels:instance: {$IP}

注意事项：
部署任务之前，最好查看下要启动的端口是否有占用的情况。若是占用了，启动容器时请换个端口号。```python
查看端口命令：netstat -tunlp | grep $port