https 慢_dba+开源工具:可视化分析MongoDB慢查询日志
工具研发者介绍
贺春旸,凡普金科爱钱进DBA团队负责人,《MySQL管理之道:性能调优、高可用与监控》第一、二版作者,曾任职于中国移动飞信、安卓机锋网。致力于MariaDB、MongoDB等开源技术的研究,主要负责数据库性能调优、监控和架构设计。
工具下载:
https://github.com/hcymysql/mongo_slowquery
简介
MongoDB的慢SQL日志是记录到业务库的system.profile表里的,当线上DB运行缓慢时,开发通常联系DBA去排查问题,那么可以将这种机械化的工作,做成一个平台化、可视化的工具出来,让开发在网页里点点鼠标即可查看数据库运行状况,这将大大提高工作效率,降低对DBA的依赖。
笔者参考了Percona pt-mongodb-query-digest工具抓取分析的展示思路,并用PHP重构,将分析结果插入MySQL表里,用前端页面展现出来,方便开发定位问题。每次抓取最近1000条超过1秒的慢SQL记录入库。
执行:
php check_mongo_slowsql.php
相当于执行:
db.getSiblingDB("samples").system.profile.find({millis:{$gte:2000}},
{millis:1,ns:1,query:1,ts:1,client:1,user:1}).sort({ts:-1}).limit(1000)
采用远程连接方式获取慢SQL,所以无需要在数据库服务器端部署相关agent或计划任务。
首页汇总了生产业务库31天内的慢SQL集合。
点击“选择数据库标签”可以查看具体的业务库慢SQL趋势走向。
点击抽象语句栏目的✚号,会弹出一个新连接,展示慢SQL的来源用户名、IP、集合的大小、集合的索引信息,以及SQL的Explain执行计划。
环境搭建
1、php-mysql驱动安装:
shell> yum install -y php-pear php-devel php gcc openssl openssl-devel cyrus-sasl cyrus-sasl-devel httpd mysql php-mysql
2、php-mongo驱动安装:
shell> pecl install mongo
把extension=mongo.so加入到/etc/php.ini最后一行。
重启httpd服务,service httpd restart
(注:如果通过pecl安装报错,请参考以下链接,进行源码安装。PHP 5.4版本对应的驱动版本是mongodb-1.3.4.tgz:https://www.runoob.com/mongodb/mongodb-install-php-driver.html )
3、创建MongoDB管理员用户权限(监控采集数据时使用)
首先我们在被监控的数据库端创建授权帐号,允许采集器服务器能连接到MongoDB数据库。由于需要执行命令db.runCommand(),所以需要授予管理员角色,授权方式如下所示:
> use yourdb
> db.createUser({user:"monitor_slowsql",pwd:"123456",roles:[{role:"dbOwner",db:"yourdb"}]})
MongoDB Slowquery部署
把https://github.com/hcymysql/mongo_slowquery/archive/master.zip安装包解压缩到/var/www/html/目录下。
1、导入MongoDB Slowquery慢查询监控工具表结构(mongo_slowsql库)
cd /var/www/html/mongo_monitor/
mysql -uroot -p123456 < mongo_slowsql_schema.sql
2、录入被监控主机的信息
INSERT INTO mongo_status_info(ip,tag,user,pwd,port,dbname,threshold_slow_ms)
VALUES('10.10.159.31','MongoDB测试机1','monitor_slowsql','123456','27017','yourdb',1000);
注,以下字段可以按照需求变更:
ip字段含义:输入被监控Mongo的IP地址;
tag字段含义:输入被监控Mongo的业务名字;
user字段含义:输入被监控Mongo的用户名(ROOT权限);
pwd字段含义:输入被监控Mongo的密码;
port字段含义:输入被监控MySQL的端口号;
dbname字段含义:输入被监控Mongo的数据库登录权限认证库名;
threshold_slow_ms字段含义:输入慢查询的阈值,当查询时间超过设定的阈值时,该SQL语句会被agent端抓取到平台里,单位毫秒。
3、修改conn.php配置文件
vim /var/www/html/mongo_monitor/conn.php
$con = mysqli_connect("127.0.0.1","admin","123456","mongo_monitor","3306") or die("数据库链接错误".mysql_error());
改成你的MongoDB Slowquery慢查询监控工具表结构(mongo_slowsql库)连接信息。
4、Agent定时任务每10分钟抓取一次慢日志
crontab -l
*/10 * * * * cd /var/www/html/mongo_slowquery; /usr/bin/php /var/www/html/mongo_slowquery/check_mongo_slowsql.php > /dev/null 2 >&1
5、页面访问
http://yourIP/mongo_slowquery/mongo_slowquery.php
加一个超链接,可方便地接入你们的自动化运维平台里。
6、MongoDB开启慢查询
db.setProfilingLevel(1,1000);
查看是否开启慢查询。
db.getProfilingStatus()
注:监控环境为MongoDB 3.2以上版本,2.X版本未测试。
下载方式
此工具现通过dbaplus社群免费为大家提供下载使用。若使用过程中有任何问题或建议,可随时与我们联系,欢迎大家试用。
登录以下链接即可下载:
https://github.com/hcymysql/mongo_slowquery
更多开源工具&脚本
详情及下载:http://dbaplus.cn/list-142-1.html
从过去40年至今,数据库的形态基本经历了传统商业数据库、开源数据库到云原生数据库的演进过程。云时代下数据库将如何革新与创变?企业核心数据库迁移与建设如何安全平稳展开?9月11日到Gdevops全球敏捷运维峰会北京站寻找答案吧:
《All in Cloud 时代,下一代云原生数据库技术与趋势》阿里巴巴集团副总裁/达摩院首席数据库科学家 李飞飞(飞刀)
《AI和云原生时代的数据库进化之路》腾讯数据库产品中心总经理 林晓斌(丁奇)
《ICBC的MySQL探索之路》工商银行软件开发中心 魏亚东
《民生银行在SQL审核方面的探索和实践》民生银行 资深数据库专家 李宁宁
《OceanBase分布式数据库在西安银行的落地和实践》蚂蚁金服P9资深专家/OceanBase核心负责人 蒋志勇
《金融行业MySQL高可用实践》爱可生技术总监 明溪源
https 慢_dba+开源工具:可视化分析MongoDB慢查询日志相关推荐
- 开源工具高效分析Java应用
开源工具高效分析Java应用 不止一次,我们都萌发过想对运行中程序的底层状况一探究竟的念头.产生这种需求的原因可能是运行缓慢的服务.Java虚拟机(JVM)崩溃.挂起.死锁.频繁的JVM暂停.突然或持 ...
- 支持飞书国际版,DataEase开源数据可视化分析平台v1.16.0发布
11月7日,DataEase开源数据可视化分析平台正式发布v1.16.0版本. 在这一版本中,DataEase上线了新的"应用"版块.在"应用"版块中,用户可以 ...
- SQL数据集支持数据参考功能,新增飞书、钉钉、企业微信平台接入支持,DataEase开源数据可视化分析平台v1.15.0发布
10月10日,DataEase开源数据可视化分析平台正式发布v1.15.0版本. 在这一版本中,DataEase对数据源和数据集两个板块的交互进行了全面优化:数据集方面,SQL数据集新增数据参考功能, ...
- 基于 SpringBoot+Vue 的开源数据可视化分析工具
简介 DataEase 是开源的数据可视化分析工具,帮助用户快速分析数据并洞察业务趋势,从而实现业务的改进与优化.DataEase 支持丰富的数据源连接,能够通过拖拉拽方式快速制作图表,并可以方便的与 ...
- 大数据开源的可视化分析工具,主要有哪些?
目前,我们可以在市场上找到很多用于网络分析和数据可视化的开源工具,例如NetworkX,R和Gephi中的iGraph包等.在所有工具中,Gephi一直以来被认为是最值得推荐的,它可以帮助用户轻松实现 ...
- Top 7大开源数据可视化分析工具!
目前,我们可以在市场上找到很多用于网络分析和数据可视化的开源工具,例如NetworkX,R和Gephi中的iGraph包等.在所有工具中,Gephi一直以来被认为是最值得推荐的,它可以帮助用户轻松实现 ...
- 跨平台的开源的可视化分析工具 Grafana的介绍与使用
1 简介 Grafana是一款用Go语言开发的开源数据可视化工具,可以做数据监控和数据统计,带有告警功能. 1.1 七大特点 ①可视化:快速和灵活的客户端图形具有多种选项.面板插件为许多不同的方式可视 ...
- oracle19c xp安装 客户端_dba+开源工具:傻瓜式免安装搞定Centos资源监控
工具研发者介绍 贺春旸,凡普金科爱钱进DBA团队负责人,<MySQL管理之道:性能调优.高可用与监控>第一.二版作者,曾任职于中国移动飞信.安卓机锋网.致力于MariaDB.MongoDB ...
- MySQL性能分析工具的使用:慢查询日志、EXPLAN的使用、分析优化器执行计划:trace、MySQL监控分析视图-sys schema
文章目录 1.数据库服务器的优化步骤 2.查看系统性能参数 2.1 语法 2.2 常用参数 3.统计SQL的查询成本:last_query_cost 4.定位执行慢的SQL:慢查询日志 4.1 慢查询 ...
最新文章
- cisco2950交换机密码恢复
- Django内置Admin
- PostgreSQL在何处处理 sql查询之四十七
- Java多线程之线程并发库阻塞队列的应用
- 学车比学计算机简单,帅哥自述:学车比上班还要累
- linux查服务器总内存大小,在linux 下怎么查看服务器的cpu和内存的硬件信息
- 计算机英语初级考试时间,2020年考研考试时间安排及考试科目_考研网
- java jtree 监听_Java JTree.addTreeExpansionListener方法代码示例
- c++两数组合并算法
- Android Design 1: Back键和Up键在App导航中的表现
- c语言入门级小游戏·飞机(1.0版)| 激发你的编程兴趣(50~100行代码)
- 大学生IT网络创业计划书
- JS 的内联模式与外联模式
- day46 html
- DSP开发的一点概念
- druid Hadoop-based Batch Ingestion
- 汉字转全拼,简拼组件
- android 跳转到系统Settings界面的所有Intent
- python窗口显示图片imread() imshow()_Python-OpenCV:cv2.imread(),cv2.imshow(),cv2.imwrite()
- ORACLE 中OVER()结合rank(),dense_rank(),rownumber() 使用方法
热门文章
- VBNET学习笔记---MS VBnet数据库访问技术,概念,介绍,发展历程.
- tar:归档中找不到 tar: 由于前次错误,将以上次的错误状态退出
- 嵌入式电路设计(物联网esp32最小电路设计)
- 随想录(fatfs的学习)
- 嵌入式操作系统内核原理和开发(信号量)
- sqlrowset 转化为json_Json 读取:eval 和 json.loads 的效率
- 南京计算机审计行业工资,南京最新各行业平均工资曝光!看完分分钟想跳槽!...
- java1.8win7_JDK 1.8 安装配置教程(win7 64bit )
- linux scrapy 定时任务_2019Python学习教程(全套Python学习视频):Scrapy爬虫框架入门...
- python自动化测试环境搭建_(一)Python+Appium自动化测试环境搭建