虚拟机使用docker搭建Prometheus

首先使用docker拉取镜像包

docker pull prom/node-exporter

docker pull prom/prometheus

docker pull grafana/grafana

启动node-exporter

docker run -d -p 9100:9100 \

-v "/proc:/host/proc:ro" \

-v "/sys:/host/sys:ro" \

-v "/:/rootfs:ro" \

--net="host" \

prom/node-exporter

访问url验证是否启动成功：

http://192.168.200.104:9100/metrics

启动prometheus

新建目录prometheus，编辑配置文件prometheus.yml

mkdir /opt/prometheus

cd /opt/prometheus/

vim prometheus.yml

global:

scrape_interval: 60s

evaluation_interval: 60s

scrape_configs:

- job_name: prometheus

static_configs:

- targets: ['localhost:9090']

labels:

instance: prometheus

- job_name: linux

static_configs:

- targets: ['192.168.200.104:9100']

labels:

instance: localhost

启动prometheus，挂载配置的rules文件，用于报警设置

docker run -d -p 9090:9090 \

-v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \

-v /opt/prometheus/rules.yml:/etc/prometheus/rules.yml \

prom/prometheus

启动prometheus（热加载）

docker run -d -p 9090:9090 -v /opt/prometheus:/etc/prometheus/ --name prometheus prom/prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/prometheus --web.console.libraries=/usr/share/prometheus/console_libraries --web.console.templates=/usr/share/prometheus/consoles --web.enable-lifecycle

热加载：

curl -X POST http://localhost:9090/-/reload

访问url验证是否启动成功：

http://192.168.200.104:9090/graph

访问targets：

http://192.168.200.104:9090/targets

配置grafana

新建空文件夹grafana-storage，用来存储数据

mkdir /opt/grafana-storage

设置权限

chmod 777 -R /opt/grafana-storage

初次下载、启动grafana

docker run -d \

-p 3000:3000 \

--name=grafana \

-v /opt/grafana-storage:/var/lib/grafana \

grafana/grafana

普通启动

docker run -d \

-p 3000:3000 \

-v /opt/grafana-storage:/var/lib/grafana \

grafana/grafana

访问url使用：

http://192.168.200.104:3000/

下载启动Cadvisor

docker run \

--volume=/:/rootfs:ro \

--volume=/var/run:/var/run:rw \

--volume=/sys:/sys:ro \

--volume=/var/lib/docker/:/var/lib/docker:ro \

--volume=/dev/disk/:/dev/disk:ro \

--publish=8080:8080 \

--detach=true \

--name=cadvisor \

google/cadvisor:latest

普通启动

docker run -d\

-p 8080:8080 \

google/cadvisor:latest

遇到的问题：

1，发现cadvisor 容器没有正常启动，查看日志，有如下报错内容：docker logs cadvisor

Failed to start container manager: inotify_add_watch

/sys/fs/cgroup/cpuacct,cpu: no such file or directory

解决方法，执行：

mount -o remount,rw '/sys/fs/cgroup'

ln -s /sys/fs/cgroup/cpu,cpuacct /sys/fs/cgroup/cpuacct,cpu

2，重启docker时发现端口未释放

$ ps -aux | grep -v grep | grep docker-proxy

查看被docker-proxy占用的端口

停止 docker 进程，删除所有容器，然后删除 local-kv.db 这个文件，再启动 docker 就可以了

（感觉解决比较粗暴，会影响其他docker的运行）

docker rm $(docker ps -aq)

rm /var/lib/docker/network/files/local-kv.db

systemctl restart docker

重启所有docker