使用Prometheus进行服务器监控

文章目录

背景
步骤
- 安装Prometheus
- 安装Grafana可视化工具
- linux安装监控
- window添加监控
- 添加到Prometheus
感悟

背景

公司服务器很多，最近要求每台服务器都要安装服务器监控，我就顺理成章的当了一回运维。坑很多，客户那边有些机器不提供root权限，有些又开不了端口，只能自行想办法解决。不过话说回来看，这玩意还是挺实用的，可对服务器的资源，如CPU、内存、磁盘等进行实时监控，好工具用起来。

步骤

参考地址：https://www.cnblogs.com/fatyao/p/11007357.html

参考地址：https://devopscube.com/monitor-linux-servers-prometheus-node-exporter/

安装Prometheus

下载文件并解压

https://github.com/prometheus/prometheus/releases/download/v2.8.1/prometheus-2.8.1.linux-amd64.tar.gz

tar -xvf prometheus-2.8.1.linux-amd64.tar.gz

添加用户

groupadd prometheus
useradd -g prometheus -s /sbin/nologin prometheus

授权

chown -R prometheus:prometheus /develop/server/prometheus-2.8.1.linux-amd64/

mkdir -p /develop/software/prometheus-data
chown -R prometheus:prometheus /develop/software/prometheus-data/

设置系统配置文件

vim /usr/lib/systemd/system/prometheus.service

[Unit]
Description=Prometheus
Documentation=https://prometheus.io/
After=network.target[Service]
Type=simple
User=prometheus# --storage.tsdb.path是可选项，默认数据目录在运行目录的./data目录中
ExecStart=/develop/server/prometheus-2.8.1.linux-amd64/prometheus --config.file=/develop/server/prometheus-2.8.1.linux-amd64/prometheus.yml --storage.tsdb.path=/develop/software/prometheus-dataRestart=on-failure[Install]
WantedBy=multi-user.target

授权系统配置文件

chown prometheus:prometheus /usr/lib/systemd/system/prometheus.service

启动

systemctl enable prometheus
systemctl start prometheus
systemctl status prometheus

开放端口

firewall-cmd --add-port=9090/tcp --permanent
firewall-cmd --reload

访问

http://192.168.157.133:9090/

Status -> Configuration 可查看prometheus.yml配置

Status -> Targets 可查看配置的节点信息

安装Grafana可视化工具

方式一：需要联网

安装

wget https://dl.grafana.com/oss/release/grafana-6.1.3-1.x86_64.rpm
yum -y localinstall grafana-6.1.3-1.x86_64.rpm

启动

systemctl enable grafana-server
systemctl start grafana-server

方式二：无需联网

解压

tar -xvf grafana-6.7.1.linux-amd64.tar.gz

系统启动文件配置

vim /usr/lib/systemd/system/grafana-server.service

[Unit]
Description=Grafana
After=network.target[Service]
Type=notify
ExecStart=/develop/server/grafana-6.7.1/bin/grafana-server -homepath /develop/server/grafana-6.7.1 -config=/develop/server/software/grafana-6.7.1/conf/defaults.ini
Restart=on-failure[Install]
WantedBy=multi-user.target

启动服务

systemctl enable grafana-server
systemctl start grafana-server

两种方式都要做的事

开3000端口

firewall-cmd --add-port=3000 --permanent
firewall-cmd --reload

访问，默认密码admin/admin

http://192.168.157.133:3000/login

添加数据源

Add data source -> Prometheus -> 填写Prometheus的访问地址

导入dashboard仪表盘，其实就是一套可视化的ui

https://grafana.com/grafana/dashboards，挑一个你觉得好看的dashboard，下载json文件。

加号 -> Import -> Upload .json file -> Prometheus选择数据源 -> Import(Override)

使用nginx代理Grafana（可选）

https://grafana.com/tutorials/run-grafana-behind-a-proxy/

# vim
location /grafana/ {proxy_pass http://127.0.0.1:3000/;
}

# vim /develop/server/grafana-6.7.1/conf/defaults.ini
# root_url后面的路径要和nginx一样，比如这里是/grafana/
root_url = %(protocol)s://%(domain)s:%(http_port)s/grafana/
serve_from_sub_path = true

If you're seeing this Grafana has failed to load its application files错误的解决办法？查看控制台是206 (Partial Content)错误，需要改nginx配置。

proxy_buffer_size 128k;
proxy_buffers   32 128k;
proxy_busy_buffers_size 128k;

linux安装监控

下载最新的安装包
https://github.com/prometheus/node_exporter/releases
解压

tar -xvf node_exporter-1.0.0-rc.1.linux-amd64.tar.gz

mv node_exporter-1.0.0-rc.1.linux-amd64/node_exporter /develop/server/node_exporter-1.0.0-rc.1.linux-amd64

创建用户

sudo useradd -rs /bin/false node_exporter

由于启动的是系统服务，需要创建系统配置文件

sudo vi /etc/systemd/system/node_exporter.service

修改配置文件

[Unit]
Description=Node Exporter
After=network.target[Service]
User=node_exporter
Group=node_exporter
Type=simple
ExecStart=/develop/server/node_exporter-1.0.0-rc.1.linux-amd64/node_exporter[Install]
WantedBy=multi-user.target

启动

sudo systemctl daemon-reload
sudo systemctl enable node_exporter
sudo systemctl start node_exporter
sudo systemctl status node_exporter

开放端口

firewall-cmd --add-port=9100/tcp --permanent
firewall-cmd --reload

检查启动是否成功

http://192.168.157.134:9100/metrics

window添加监控

https://github.com/martinlindhe/wmi_exporter下载适合版本的msi文件或exe文件，msi是后台启动，exe会在控制台运行，访问地址http://127.0.0.1:9182/metrics

添加到Prometheus

加入到Prometheus

vim /develop/server/prometheus-2.8.1.linux-amd64/prometheus.yml

  - job_name: 'cbl-local02'scrape_interval: 10sstatic_configs:- targets: ['192.168.157.134:9100']labels:instance: '192.168.157.134'

重启Prometheus

systemctl restart prometheus

感悟

总觉得这种安装式教程记也不是，不记也不是，所以还是为了以后有参考的文档。在写教程的过程中，一直在公司环境和本地环境互相切换，所以写的博客会有针对公司和面向公众的版本，容易发生混乱。希望下次能够有所改进。