潜力的监控mysql_Grafana 数据库监控平台
Grafana 数据库监控平台
简介
Grafana
demo 地址:官方demo
文档可以下载pdf离线阅读
Percona监控和管理(PMM)是一个用于管理和监控MySQL和MongoDB性能的开源平台。它由Percona与托管数据库服务,支持和咨询领域的专家合作开发。
PMM是一种免费的开源解决方案,您可以在自己的环境中运行,以获得最大的安全性和可靠性。它为MySQL和MongoDB服务器提供全面的基于时间的分析,以确保您的数据尽可能高效地工作。
系统架构
PMM平台基于客户端 - 服务器模型,实现可伸缩性。它包括以下模块:
PMM客户端安装在要监视的每个数据库主机上。它收集服务器指标,常规系统指标和查询分析数据,以获得完整的性能概述。
PMM Server是PMM的核心部分,它聚合收集的数据并以Web界面中的表格,仪表板和图形的形式呈现。
这些模块的封装便于安装和使用。假设用户不需要了解构成每个模块的确切工具以及它们如何交互。但是,如果您想充分发挥PMM的潜力,内部结构非常重要。
PMM是一系列旨在无缝协同工作的工具。有些是由Percona开发的,有些是第三方开源工具。
注意
整体客户端 - 服务器模型不太可能改变,但组成每个组件的工具集可能随产品而变化。
下图说明了PMM当前的结构:
image
PMM服务端安装
pmm服务器安装有多种方式。官方安装介绍
本文主要介绍docker的安装方式
docker 镜像下载
$ docker pull percona/pmm-server:latest
创建pmm-data 容器
创建一个持久化的 pmm 数据容器
docker create \
-v /opt/prometheus/data \
-v /opt/consul-data \
-v /var/lib/mysql \
-v /var/lib/grafana \
--name pmm-data \
percona/pmm-server:latest /bin/true
docker create 参数说明:
The docker create command instructs the Docker daemon to create a container from an image.
The -v options initialize data volumes for the container.
The --name option assigns a custom name for the container that you can use to reference the container within a Docker network. In this case: pmm-data.
percona/pmm-server:latest is the name and version tag of the image to derive the container from.
/bin/true is the command that the container runs.
Note
这个容器不会运行,他的存在仅仅是保留PMM的数据,当你升级到一个新的PMM版本的时候。不要删除、重新创建这个容器,除非你想要删除所有的PMM数据。
创建PMM服务容器并启动
官网提供的创建方式
$ docker run -d \
-p 80:80 \
--volumes-from pmm-data \
--name pmm-server \
--restart always \
percona/pmm-server:latest
docker run参数说明:
The -d option starts the container in the background (detached mode).
The -p option maps the port for accessing the PMM Server web UI. For example, if port 80 is not available, you can map the landing page to port 8080 using -p 8080:80.
The -v option mounts volumes from the pmm-data container (see Creating the pmm-data Container).
The --name option assigns a custom name to the container that you can use to reference the container within the Docker network. In this case: pmm-server.
The --restart option defines the container’s restart policy. Setting it to always ensures that the Docker daemon will start the container on startup and restart it if the container exits.
percona/pmm-server:latest is the name and version tag of the image to derive the container from.
我们在基础配置上,添加用户名密码的配置信息:
$ docker run -d \
-p 80:80 \
--volumes-from pmm-data \
--name pmm-server \
--restart always \
-e SERVER_USER=test \
-e SERVER_PASSWORD=test \
-e ORCHESTRATOR_ENABLED=true \
percona/pmm-server:latest
新建PMM的客户端
安装Percona的软件仓库
sudo yum install http://www.percona.com/downloads/percona-release/redhat/0.1-6/percona-release-0.1-6.noarch.rpm
验证安装结果
sudo yum list | grep percona
结果如下:
percona-release.noarch 0.1-6 @/percona-release-0.1-6.noarch
Percona-Server-55-debuginfo.x86_64 5.5.54-rel38.7.el7 percona-release-x86_64
Percona-Server-56-debuginfo.x86_64 5.6.35-rel81.0.el7 percona-release-x86_64
Percona-Server-57-debuginfo.x86_64 5.7.17-13.1.el7 percona-release-x86_64
...
安装客户端
sudo yum install pmm-client
PMM的客户端配置
pmm客户端的 配置命令是pmm-admin
一般步骤为
配置客户端到服务器的连接信息
将需要监控的内容加入到监控列表
客户端与服务端连接配置
pmm-admin config --server 192.168.0.157:80 --server-user test --server-password test
配置服务端的网络信息,用户名,密码。
Note
执行后会生成配置文件,配置文件的默认路径为 /usr/local/percona/pmm-client/pmm.yml
配置好后可以使用以下命令查看连接信息
配置信息
# pmm-admin info
pmm-admin 1.13.0
PMM Server | 192.168.0.157:80 (password-protected)
Client Name | 192.168.0.156
Client Address | 192.168.0.156
Service Manager | linux-systemd
Go Version | 1.10.1
Runtime Info | linux/amd64
2.网络连接信息
# pmm-admin check-network
PMM Network Status
Server Address | 192.168.0.157:80
Client Address | 192.168.0.156
* System Time
NTP Server (0.pool.ntp.org) | 2018-08-16 09:17:22 +0000 UTC
PMM Server | 2018-08-16 09:17:20 +0000 GMT
PMM Client | 2018-08-16 17:17:22 +0800 CST
PMM Server Time Drift | OK
PMM Client Time Drift | OK
PMM Client to PMM Server Time Drift | OK
* Connection: Client --> Server
-------------------- -------
SERVER SERVICE STATUS
-------------------- -------
Consul API OK
Prometheus API OK
Query Analytics API OK
Connection duration | 617.745µs
Request duration | -207.451µs
Full round trip | 410.294µs
* Connection: Client
-------------- -------------- -------------------- ------- ---------- ---------
SERVICE TYPE NAME REMOTE ENDPOINT STATUS HTTPS/TLS PASSWORD
-------------- -------------- -------------------- ------- ---------- ---------
linux:metrics 192.168.0.156 192.168.0.156:42000 OK YES YES
mysql:metrics 192.168.0.156 192.168.0.156:42002 OK YES YES
mysql数据配置
grafana收集mysql的信息方式的配置需要针对mysql的版本
mysql5.5 之后增加 performance_schema。mysql开启performance_schema后grafana可以直接获取信息。MySQL 5.6.9之后的版本默认开启,之前的版本需要手动开启。
mysql5.5之前的mysql版本可以通过slow-log获取慢查询的信息。
Note
本节主要介绍使用performance_schema的方式,即 mysql5.5之后版本的数据库监控。
mysql5.5之前版本的数据库监控,见下一节。
创建pmm数据库账号
GRANT SELECT, PROCESS, SUPER, REPLICATION CLIENT, RELOAD ON *.* TO pmm@'%' IDENTIFIED BY 'pmm' WITH MAX_USER_CONNECTIONS 10;
GRANT SELECT, UPDATE, DELETE, DROP ON performance_schema.* TO 'pmm'@'%';
flush privileges;
查看数据的关键参数
mysql> SHOW VARIABLES LIKE 'performance_schema';
+--------------------+-------+
| Variable_name | Value |
+--------------------+-------+
| performance_schema | ON |
+--------------------+-------+
mysql> select * from setup_consumers;
+----------------------------------+---------+
| NAME | ENABLED |
+----------------------------------+---------+
| events_stages_current | NO |
| events_stages_history | NO |
| events_stages_history_long | NO |
| events_statements_current | YES |
| events_statements_history | YES |
| events_statements_history_long | NO |
| events_transactions_current | NO |
| events_transactions_history | NO |
| events_transactions_history_long | NO |
| events_waits_current | NO |
| events_waits_history | NO |
| events_waits_history_long | NO |
| global_instrumentation | YES |
| thread_instrumentation | YES |
| statements_digest | YES |
+----------------------------------+---------+
15 rows in set (0.00 sec)
确保 statements_digest是 开启的
如果以上关键参数没有开启就需要修改配置文件
mysql配置文件修改
Percona Server(or XtraDB Cluster)
log_output=file
slow_query_log=ON
long_query_time=0
log_slow_rate_limit=100
log_slow_rate_type=query
log_slow_verbosity=full
log_slow_admin_statements=ON
log_slow_slave_statements=ON
slow_query_log_always_write_time=1
slow_query_log_use_global_control=all
innodb_monitor_enable=all
userstat=1
MySQL 5.6+ or MariaDB 10.0+
innodb_monitor_enable=all
performance_schema=ON
MySQL 5.5 or MariaDB 5.5
log_output=file
slow_query_log=ON
long_query_time=0
log_slow_admin_statements=ON
log_slow_slave_statements=ON
mysql5.5之前版本的配置
mysql 5.5之前的版本是通过慢查询文件进行查询语句的查看,所以需要配置慢查询
slow_query_log
long_query_time = 3
PMM客户端添加数据库
performance_schema方式
pmm-admin add mysql --user pmm --password pmm --socket /application/mysql3307/logs/mysql.sock --query-source perfschema
慢查询的方式
pmm-admin add mysql --user pmm --password pmm --socket /application/mysql3307/logs/mysql.sock
参考文档
潜力的监控mysql_Grafana 数据库监控平台相关推荐
- 服务器数据库监控系统,数据库监控系统
数据库监控系统(Database Monitor System) 数据库集中管控系统(简称:DMS)是为DBA提供的多数据库集中监控.治理.维护的软件工具.DMS无需在每台数据库服务器部署侵入式脚本或 ...
- mongodb 服务器性能监控,mongodb监控 | mongodb数据库监控 - ManageEngine Applications Manager...
MongoDB监控 MongoDB是否一个非关系型数据库,用来快速开发并支持大量数据处理和存储.非关系型数据库,例如MongoDB和Cassandra,可以让应用没有限制的使用,极大地扩展了业务架构的 ...
- ZABBIX利用自带模板监控mysql数据库
***** ZABBIX利用自带模板监控mysql数据库**** 监控效果图 增删改查 慢查询 每秒总执行次数 1. 进入主题:先搭建好zabbix服务器,并把mysql作为agent端(建议先在线下 ...
- IT系统运维监控--被动式旁路监控
个人研究心得 1. 各种监控方式: Ø Zabbix和Nagios等监控软件,主要通过SNMP和Agent等,对网络设备的性能.连通性和可用性进行监控,但没有监控应用程序的响应时间等,IT人员和管理 ...
- 云和恩墨 oracle 监控,产品速递 | 云和恩墨Bethune Pro2——数据库实时监控和智能巡检平台...
运维工程师负责企业IT系统的日常维护工作,包括每日的系统巡检,日常的系统健康信息监控. 通过使用 Bethune Pro2,工程师可以通过每日巡检建议,快捷的感知各个数据库中存在的隐患与风险点.同时, ...
- 一款好的数据库监控工具:天兔数据库监控平台3.8搭建
[前言] 本文是对一款数据库监控软件的介绍和部署实施文档,适用试验了6个小时终于成功. 最近有同事问,除了公司在用BMC.ZABBIX外,还有其他一些监控工具否.如果自己想搭建一个库监控平台,哪款软件 ...
- zabbix监控系统下——zabbix实现数据库监控、对JMX的支持、server和agent的关系、zabbix监控报警平台
目录 五.zabbix实现数据库监控 1.在agent端设置 2.在浏览器前端设置 六.zabbix对JMX(Java)应用的支持 七.server和agent的关系 1.agent端的信息采集变被动 ...
- python+django 开源数据库监控平台构建
该平台已停止开发维护,推荐使用新的监控项目:https://github.com/gumengkai/db_monitor 采用python3.6+django2+vue,基于前后端分离实现 DEMO ...
- 从Zabbix到Prometheus,同程艺龙数据库监控系统的实践
来自:DBAplus社群 作者介绍 闫晓宇,同程艺龙数据库技术专家,具有多年互联网行业DB运维经验,在游戏.O2O及电商行业从事过DBA运维工作.2016年加入同程艺龙,目前在团队负责数据库架构设计及 ...
最新文章
- mootools 简介
- 搜索引擎设计实用教程(2)-以百度为例
- 取出响应头中包含多个set-cookie的值
- Java使用Redis实现分布式锁来防止重复提交问题
- Spring中的InitializingBean接口的使用
- 大大小小的正六边形嵌套,就会形成像万花筒般有趣的视觉图形!
- hystrix源码小贴士之中断
- 问题解决: Google企业邮箱收不到Postfix发的邮件
- 简单家用nas搭建,只需要这个路由器
- 数据可视化-Tableau-网店运营可视化分析
- [转贴]周星驰经典对白
- 原局凶存,大运流年体现,早亡命例。
- 第九届蓝桥杯个人赛省赛(软件类)C++B组试题第九题
- python找到一行单词中最长的_python - 查找.txt文件中最长的单词,不带标点符号 - SO中文参考 - www.soinside.com...
- 人脸验证:DeepID
- 借助于经济学数学计算机科学,借助于经济学、数学、计算机科学、统计学、概率论以及帮助决策的理论来进行逻辑分析和推论。这一概...
- 是不是安装了anaconda就不用安装python呢_dnf魔界是怎么样的,今天来带大家见识一下...
- 【大数据可视化分析】股吧帖子情感倾向及用户参与行为
- 入门必做的51单片机实验2----》利用外部中断的方法来控制发光二极管和共阴极数码管显示十六进制的0到F
- MATLAB(一)——软件及基本操作介绍
热门文章
- 互斥锁pthread_mutex_t的使用
- HALCON示例程序check_fish_stick_dimension.hdev生鱼棒尺寸测量;基于形态学的像素级精度尺寸测量
- 【ValueError: Target is multiclass but average=‘binary‘. Please choose another average setting, one 】
- 深度学习之keras (一) 初探
- 微智魔盒骗局_微智魔盒官宣
- C++的4种类型转换关键字及其特点
- linux桌面环境 mac os,在Windows或Linux桌面上使用Mac OS Dashboard Widget | MOS86
- 关卡 动画 蓝图 运行_UE4入门之路(基础蓝图篇):蓝图的制作
- 江森系统设置服务器日期,江森自控METASYS操作手册
- Rapidmind计算库性能测试