MySQL运维实战 之 PHP访问MySQL你使用对了吗
大家都知道,slow query系统做的好不好,直接决定了解决slow query的效率问题
一个数据库管理平台,拥有一个好的slow query系统,基本上就拥有了解锁性能问题的钥匙
但是今天主要分享的并不是平台,而是在平台中看到的奇葩指数五颗星的slow issue
好了,关子卖完了,直接进入正题
一、症状
一堆如下慢查询
# User@Host: cra[cra] @ [xx] Id: 3352884621
# Query_time: 0.183673 Lock_time: 0.000000 Rows_sent: 0 Rows_examined: 0
use xx_db;
SET timestamp=1549900927;
# administrator command: Prepare;# Time: 2019-02-12T00:02:07.516803+08:00
# User@Host: cra[cra] @ [xx] Id: 3351119968
# Query_time: 0.294081 Lock_time: 0.000000 Rows_sent: 0 Rows_examined: 0
SET timestamp=1549900927;
# administrator command: Prepare;
从我们的监控图上可以看到,每天不定时间段的slow query 总数在攀升,但是却看不到任何query 语句
这是我接触到的slow query优化案例中从来没有过的情况,比较好奇,也比较兴奋,至此决心要好好看看这个问题
二、排查
要解决这个问题,首先想到的是,如何复现这个问题,如何模拟复现这个症状
- MySQL客户端 模拟prepare
* 模拟
root:xx> prepare stmt1 from 'select * from xx_operation_log where id = ?';
Query OK, 0 rows affected (0.00 sec)
Statement prepared* 结果# Time: 2019-02-14T14:14:50.937462+08:00
# User@Host: root[root] @ localhost [] Id: 369
# Query_time: 0.000105 Lock_time: 0.000000 Rows_sent: 0 Rows_examined: 0
SET timestamp=1550124890;
prepare stmt1 from 'select * from xx_operation_log where id = ?';
结论是: MySQL client 模拟出来的prepare 并不是我们期待的,并没有得到我们想要的 administrator command: Prepare
- perl 模拟prepare
#!/usr/bin/perluse DBI;my $dsn = "dbi:mysql:database=${db_name};hostname=${db_host};port=${db_port}";#数据源#获取数据库句柄
my $dbh = DBI->connect("DBI:mysql:database=xx;host=xx", "xx", "xx", {'RaiseError' => 1});my $sql = qq{select * from xx_operation_log where id in (?)};my $sth = $dbh->prepare($sql);
$sth->bind_param (1, '100');sleep 3;
$sth->execute();
结论是:跟MySQL客户端一样,同样是看不到administrator command: Prepare
- php 模拟prepare
1. 官方网址:https://dev.mysql.com/doc/apis-php/en/apis-php-mysqli-stmt.prepare.html<?php
$link = mysqli_connect("xx", "dba", "xx", "xx_db");/* check connection */
if (mysqli_connect_errno()) {printf("Connect failed: %s\n", mysqli_connect_error());exit();
}$city = '1';/* create a prepared statement */
$stmt = mysqli_stmt_init($link);if (mysqli_stmt_prepare($stmt, 'select * from xx_operation_log where id in (1,2,3)'){/* bind parameters for markers *//* mysqli_stmt_bind_param($stmt, "s", $city);/* execute query */mysqli_stmt_execute($stmt);/* bind result variables */mysqli_stmt_bind_result($stmt, $district);/* fetch value */mysqli_stmt_fetch($stmt);printf("%s is in district %s\n", $city, $district);/* close statement */mysqli_stmt_close($stmt);
}/* close connection */
mysqli_close($link);
?>
- php模拟得到的slow 结果
[root@xx 20190211]# cat xx-slow.log | grep 'administrator command: Prepare' -B4 | grep 'User@Host' | grep 'xx_rx' | wc -l
7891[root@xx 20190211]# cat xx-slow.log | grep 'administrator command: Prepare' -B4 | grep 'User@Host' | wc -l
7908
结论: 通过php代码,我们成功模拟出了想要的结果
那顺藤摸瓜,抓取下这段时间有相同session id的整个sql执行过程
MySQL开启slow=0的抓包模式
可以定位到同一个session id(3415357118) 的 prepare + execute + close stmt# User@Host: xx_rx[xx_rx] @ [xx.xxx.xxx.132] Id: 3415357118
# Query_time: 0.401453 Lock_time: 0.000000 Rows_sent: 0 Rows_examined: 0
use xx_db;
SET timestamp=1550017125;
# administrator command: Prepare;
# Time: 2019-02-13T08:18:45.624671+08:00
--
# User@Host: xx_rx[xx_rx] @ [xx.xxx.xxx.132] Id: 3415357118
# Query_time: 0.001650 Lock_time: 0.000102 Rows_sent: 0 Rows_examined: 1
use xx_db;
SET timestamp=1550017125;
update `xx` set `updated_at` = '2019-02-13 08:18:45', `has_sales_office_phone` = 1, `has_presale_permit` = 1 where `id` = 28886;
# Time: 2019-02-13T08:18:45.626138+08:00
--
# User@Host: xx_rx[xx_rx] @ [xx.xxx.xxx.132] Id: 3415357118
# Query_time: 0.000029 Lock_time: 0.000000 Rows_sent: 0 Rows_examined: 1
use xx_db;
SET timestamp=1550017125;
# administrator command: Close stmt;
# Time: 2019-02-13T08:18:45.626430+08:00
结论:我们发现,prepare时间的确很长,但是sql语句却执行的很快,这就很尴尬了
本来是想通过抓包,看看是否能够验证我们的猜想: prepare的语句非常大,或者条件非常复杂,从而导致prepare在服务器端很慢
结果发现query语句也都非常简单
那么既然如此,我们就找了业务方,将对应业务的prepare方法一起看看
结果发现,业务使用的是php-pdo的方式,所以我们就又有了如下发现
php-pdo 两种prepare模式
- http://php.net/manual/zh/pdo.prepare.php
1. 本地prepare $dbh->setAttribute(PDO::ATTR_EMULATE_PREPARES,true);不会发送给MySQL Server2. 服务器端prepare $dbh->setAttribute(PDO::ATTR_EMULATE_PREPARES,false);发送给MySQL Server
验证两种prepare模式
- 服务端prepare模式( ATTR_EMULATE_PREPARES = false)
<?php
$dbms='mysql'; //数据库类型
$host='xxx'; //数据库主机名
$dbName='test'; //使用的数据库
$user='xx'; //数据库连接用户名
$pass='123456'; //对应的密码
$dsn="$dbms:host=$host;dbname=$dbName";try {$pdo = new PDO($dsn, $user, $pass); //初始化一个PDO对象$pdo->setAttribute(PDO::ATTR_EMULATE_PREPARES,false);echo "----- prepare begin -----\n";$stmt = $pdo->prepare("select * from test.chanpin where id = ?");echo "----- prepare after -----\n";$stmt->execute([333333]);echo "----- execute after -----\n";$rs = $stmt->fetchAll();
} catch (PDOException $e) {die ("Error!: " . $e->getMessage() . "<br/>");
}
strace -s200 -f php mysql1.php 跟踪
大家可以看到这个模式下,prepare的时候,是将query+占位符 发送给服务端的
- 本地prepare模式 (ATTR_EMULATE_PREPARES = true )
<?php
$dbms='mysql'; //数据库类型
$host='xx'; //数据库主机名
$dbName='test'; //使用的数据库
$user='xx'; //数据库连接用户名
$pass='123456'; //对应的密码
$dsn="$dbms:host=$host;dbname=$dbName";try {$pdo = new PDO($dsn, $user, $pass); //初始化一个PDO对象$pdo->setAttribute(PDO::ATTR_EMULATE_PREPARES,true);echo "----- prepare begin -----\n";$stmt = $pdo->prepare("select * from test.chanpin where id = ?");echo "----- prepare after -----\n";$stmt->execute([333333]);echo "----- execute after -----\n";$rs = $stmt->fetchAll();
} catch (PDOException $e) {die ("Error!: " . $e->getMessage() . "<br/>");
}
strace -s200 -f php mysql1.php 跟踪
大家可以看到这个模式下,prepare的时候,是不会将query发送给服务端的,只有execute的时候才会发送
跟业务方确认后,他们使用的是后者,也就是修改了默认值,他们原本是想提升数据库的性能,因为预处理后只需要传参数就好了
但是对于我们的业务场景并不适合,我们的场景是频繁打开关闭连接,也就是预处理基本就用不到
另外文档上面也明确指出prepared statements 性能会不好
调整和验证
如何验证业务方是否将prepare修改为local了呢?
dba:(none)> show global status like 'Com_stmt_prepare';
+------------------+-----------+
| Variable_name | Value |
+------------------+-----------+
| Com_stmt_prepare | 716836596 |
+------------------+-----------+
1 row in set (0.00 sec)
通过观察,发现这个值没有变化,说明调整已经生效
总结
- prepare的优点
1. 防止SQL注入
2. 特定场景下提升性能什么是特定场景: 就是先去服务端用占位符占位,后面可以直接发送请求来填空(参数值)这样理论上来说, 你填空的次数非常多,性能才能发挥出来
- prepare的缺点
1. 在服务器端的prepare毕竟有消耗,当并发量大,频繁prepare的时候,就会有性能问题2. 服务端的prepare模式还会带来的另外一个问题就是,排错和slow 优化有困难,因为大部分情况下是看不到真实query的3. 尽量设置php-pdo为 $pdo->setAttribute(PDO::ATTR_EMULATE_PREPARES,true) ,在本地prepare,不要给服务器造成额外压力
- 建议
1. 默认情况下,应该使用php-pdo的默认配置,采用本地prepare的方式,这样可以做到防SQL注入的效果,性能差不到哪里去2. 除非真的是有上述说的特定场景,可以考虑配置成服务器prepare模式,前提是要做好测试
原文链接
本文为云栖社区原创内容,未经允许不得转载。
MySQL运维实战 之 PHP访问MySQL你使用对了吗相关推荐
- 运维人员mysql如何访问_MySQL运维实战 之 PHP访问MySQL你使用对了吗
原标题:MySQL运维实战 之 PHP访问MySQL你使用对了吗 大家都知道,slow query系统做的好不好,直接决定了解决slow query的效率问题 一个数据库管理平台,拥有一个好的slow ...
- MySQL运维实战系列:MySQL5.7 Group By 问题
一.环境 MySQL版本:MySQL5.7.22表结构:CREATE TABLE `crm_report_accounting_income` (`id` int(10) NOT NULL AUTO_ ...
- mysql upgrade 作用,【MySQL运维】使用mysql_upgrade升级MySQL
mysql_upgrade是官方提供的MySQL升级工具,支持跨大版本升级,如5.0升级到5.7.但为了数据安全,在升级前务必做好备份.如果是主从架构,按照先升级从库-->主从切换-->升 ...
- 【MySQL | 运维篇】06、MySQL 分库分表之 MyCat 分片规则
目录 一.范围分片 1. 介绍 2. 配置 schema.xml逻辑表配置: schema.xml数据节点配置: rule.xml分片规则配置: 二.取模分片 1. 介绍 2. 配置 schema.x ...
- Mysql运维常用命令回顾整理
一.前景 Mysql作为开源数据库的中坚力量之一,虽然目前已被甲骨文收购,面临闭源风险,但是mysql扔是我们运维工作中最常面对的工作,那如何做好mysql运维工作,甚至做好mysql的基础运维,都是 ...
- (一)mysql 运维基础篇(Linux云计算从入门到精通)
学习预览: (一)mysql 运维基础篇(Linux云计算从入门到精通) (二)mysql 索引和视图(数据库运维基础补充) (三)mysql 触发器.存储过程和函数(数据库运维基础补充) (四)My ...
- MySQL运维(二)MySQL分库分表概念及实战、读取分离详解
MySQL运维(二)MySQL分库分表详解.读取分离详解 1.MySQL分库分表相关概念 1.1 分库分表概念 1.1.1 分库的原因 分库:就是一个数据库分成多个数据库,部署到不同机器. 如果业务量 ...
- 高性能Mysql运维应用实战-高俊峰-专题视频课程
高性能Mysql运维应用实战-8242人已学习 课程介绍 爱维Linux独家出品,本课程从mysql运维的方方面面进行介绍,主要对mysql版本的选择,mysql平台的部署,优化.调优 ...
- mysql系列问答题_(2)MySQL运维基础知识面试问答题
面试题001:请解释关系型数据库概念及主要特点? 面试题002:请说出关系型数据库的典型产品.特点及应用场景? 面试题003:请解释非关系型数据库概念及主要特点? 面试题004:请说出非关系型数据库的 ...
最新文章
- ORACLE RAC 重新安装时清空ASM 磁盘命令
- 每日一题:leetcode80.删除有序数组中的重复元素贰
- asp按时间自动递增编号_约束力最强的手铐——美国ASP钢性手铐
- java编译时注解_简单介绍 Java 中的编译时注解
- “光伏热”背后存隐忧 竞价上网倒逼产业升级
- mysql c接口_mysql C语言API接口及实例
- atitit.编辑表单的实现最佳实践dwr jq easyui
- keras分类器模型
- MACD:黄白线、红绿柱与0轴关系
- 2021-11-08
- 【近五千字纯手撸】✨前后一个月面试30家中大型高级、资深java工程师终获500强公司offer心得以及经过
- Cisco2960交换机端口安全Port-Security
- vant框架van-field
- 为了研究而玩:游戏分析的方法
- ICLR 2022最佳论文解读
- CS5801HDMI转eDP/DP转换芯片资料|CS5801规格书
- 以编程方式使用 Microsoft Office Visio 2003 ActiveX 控件(经经经经经典)
- android上调试H5小工具
- 屏幕分辨率及衬线字体
- 安装Windows11需要满足哪些要求
热门文章
- 论程序员如何规划职业路线?网友:从码农到工程师?
- linux用户组chownd,Linux系统centos6下用户与用户组权限命令用法 chmod与chown
- 电脑入门完全自学手册_电气自动化自学宝典——看过人人都是工程师
- 互联网技术+非技术书单资源分享,都给泥萌!
- C++中类和对象的一些注意事项 ---继承
- 鼠标追踪没用_【擺评】赛睿里最好用的小手鼠标---Rival 3
- python数据挖掘分析案例python_Python 数据挖掘实例 决策树分析
- c语言利用栈将字符串逆序输出,【C语言】利用栈将数组中字符串逆序
- php强制cookies,php Cookies操作类(附源码)
- 学完python基础后该学什么_想提一个老生常谈的问题, Python 基础学完后我应该干啥?...