前言

影响查询性能因素

–(定量为同一数据库 且并发 数据量一致)依次是:

  • 机器配置
  • 查询引擎
  • 表设计
  • 索引
  • SQL语句

什么是慢SQL

比通常执行慢、或者超过最大执行限定时间,通常是500ms

慢SQL危害

每个SQL执行都需要消耗一定I/O资源
SQL执行时间长,用户的体验较差

慢SQL排查定位方法

善用slow log

 -- Mysql为例开启slow log :
SET GLOBAL slow_query_log=1;-- 查看slowlog:
SHOW GLOBAL STATUS LIKE '%Slow_queries%';

善用执行计划

我们往往通过慢查询日志,可以找到慢查询的sql具体是怎么写的。我们往往可以通过表的索引,执行引擎等等去自己判断sql为什么执行缓慢的原因。但是这明显不是高效的。
我们的MySQL中为我们提供了EXPLAN关键字来协助我们分析SQL。

--查看执行计划
explain select * from order_exp;

通过使用 EXPLAIN 关键字可以模拟优化器执行 SQL 查询语句,从而知道 MySQL 是如何处理你的 SQL 语句的。分析查询语句或是表结构的性能瓶颈,总的来说通过 EXPLAIN 我们可以帮助我们分析:

  • 表的读取顺序
  • 数据读取操作的操作类型
  • 哪些索引可以使用limit
  • 哪些索引被实际使用
  • 表之间的引用
  • 每张表有多少行被优化器查询
    Mysql为例,我们根据select_type初步判断查询类型是否是复杂查询,type判断是否走索引,根据possible_keys、key查看具体走的索引,是否是最优索引,根据rows扫描行数是多少?等等我们可以进行直观的参考。
    具体说明如下:
字段信息 描述解释
id 查询的序号,包含一组数字,表示查询中执行select子句或操作表的顺序两种情况id相同,执行顺序从上往下id不同,id值越大,优先级越高,越先执行
select_type 查询类型,主要用于区别普通查询,联合查询,子查询等的复杂查询1、simple ——简单的select查询,查询中不包含子查询或者UNION 2、primary ——查询中若包含任何复杂的子部分,最外层查询被标记3、subquery——在select或where列表中包含了子查询4、derived——在from列表中包含的子查询被标记为derived(衍生),MySQL会递归执行这些子查询,把结果放到临时表中5、union——如果第二个select出现在UNION之后,则被标记为UNION,如果union包含在from子句的子查询中,外层select被标记为derived6、union result:UNION 的结果
type 显示联结类型,显示查询使用了何种类型,按照从最佳到最坏类型排序1、system:表中仅有一行(=系统表)这是const联结类型的一个特例。2、const:表示通过索引一次就找到,const用于比较primary key或者unique索引。因为只匹配一行数据,所以如果将主键置于where列表中,mysql能将该查询转换为一个常量3、eq_ref:唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于唯一索引或者主键扫描4、ref:非唯一性索引扫描,返回匹配某个单独值的所有行,本质上也是一种索引访问,它返回所有匹配某个单独值的行,可能会找多个符合条件的行,属于查找和扫描的混合体5、range:只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引,一般就是where语句中出现了between,in等范围的查询。这种范围扫描索引扫描比全表扫描要好,因为它开始于索引的某一个点,而结束另一个点,不用全表扫描6、index:index 与all区别为index类型只遍历索引树。通常比all快,因为索引文件比数据文件小很多。7、all:遍历全表以找到匹配的行注意:一般保证查询至少达到range级别,最好能达到ref。
possible_keys 指出MySQL能使用哪个索引在该表中找到行
key 显示MySQL实际决定使用的键(索引)。如果没有选择索引,键是NULL。查询中如果使用覆盖索引,则该索引和查询的select字段重叠。
key_len 表示索引中使用的字节数,该列计算查询中使用的索引的长度在不损失精度的情况下,长度越短越好。如果键是NULL,则长度为NULL。该字段显示为索引字段的最大可能长度,并非实际使用长度。
ref 显示索引的哪一列被使用了,如果有可能是一个常数,哪些列或常量被用于查询索引列上的值
rows 根据表统计信息以及索引选用情况,大致估算出找到所需的记录所需要读取的行数
Extra 包含不适合在其他列中显示,但是十分重要的额外信息1、Using filesort:说明mysql会对数据适用一个外部的索引排序。而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成排序操作称为“文件排序”2、Using temporary:使用了临时表保存中间结果,mysql在查询结果排序时使用临时表。常见于排序order by和分组查询group by。3、Using index:表示相应的select操作用使用覆盖索引,避免访问了表的数据行。如果同时出现using where,表名索引被用来执行索引键值的查找;如果没有同时出现using where,表名索引用来读取数据而非执行查询动作。4、Using where :表明使用where过滤5、using join buffer:使用了连接缓存6、impossible where:where子句的值总是false,不能用来获取任何元组7、select tables optimized away:在没有group by子句的情况下,基于索引优化Min、max操作或者对于MyISAM存储引擎优化count(*),不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化。8、distinct:优化distinct操作,在找到第一匹配的元组后即停止找同样值的动作。

优化方式

数据库、表优化

纯分析选择OLAP数据库,根据业务进行合理选型
不得已情况下,进行合理的分库分表等

表优化

数据类型

数据类型的选择原则:更简单或者占用空间更小
(当然了,要根据实际业务合理调整,不必完全依照)
例如Mysql为例:

  • 如果长度能够满足,整型尽量使用 tinyint、smallint、medium_int 而非int。
  • 如果字符串长度确定,采用char类型。
  • 如果varchar能够满足,不采用text类型。
  • 避免空值
    MySQL中字段为NULL时依然占用空间,会使索引、索引统计更加复杂。
    从NULL值更新到非NULL无法做到原地更新,容易发生索引分裂影响性能。
    尽可能将NULL值用有意义的值代替,也能避免SQL语句里面包含is not null的判断

模型设计

  • ER模型VS维度模型
    (避免两大表关联,某些场景考虑预计算)

索引优化-- 以Mysql为例

索引的分类

  • 普通索引:最基本的索引。
  • 组合索引:多个字段上建立的索引,能够加速复合查询条件的检索。(要遵循最左前缀原则)
  • 唯一索引:与普通索引类似,但索引列的值必须唯一,允许有空值。
  • 组合唯一索引:列值的组合必须唯一。
  • 主键索引:特殊的唯一索引,用于唯一标识数据表中的某一条记录,不允许有空值,一般用primary key约束。
  • 全文索引:用于海量文本的查询,MySQL5.6之后的InnoDB和MyISAM均支持全文索引。
  • 空间索引
    MySQL在5.7之后的版本支持了空间索引,而且支持OpenGIS几何数据模型。MySQL在空间索引这方面遵循OpenGIS几何数据模型规则。
  • 前缀索引
    在文本类型如CHAR,VARCHAR,TEXT类列上创建索引时,可以指定索引列的长度,但是数值类型不能指定。

索引优化

  • 根据业务判断是否定义了最优索引
  • 分页查询很重要,如果查询数据量超过30%,MYSQL不会使用索引。
  • 单表索引数不超过5个、单个索引字段数不超过5个。
  • 字符串可使用前缀索引,前缀长度控制在5-8个字符。
  • 字段唯一性太低,增加索引没有意义,如:是否删除、性别。
  • 合理使用覆盖索引,如下所示:
select login_name, nick_name from member where login_name = ?

login_name, nick_name两个字段建立组合索引,比login_name简单索引要更快。

SQL优化

  • 谓词下推
  • 操作符<>优化
    通常<>操作符无法使用索引,举例如下,查询金额不为100元的订单:
select id from orders where amount != 100;
  • OR优化
    在Innodb引擎下or无法使用组合索引,比如:
select id,product_name from orders where mobile_no = '13421800407' or user_id = 100;

OR 无法命中mobile_no + user_id的组合索引,可采用union,如下所示:

(select id,product_name from orders where mobile_no = '13421800407')
union
(select id,product_name from orders where user_id = 100);

此时id和product_name字段都有索引,查询才最高效。

  • IN优化
    尝试改为join查询,举例如下:
select id from orders where user_id in (select id from user where level = 'VIP');

采用 join 如下:

select o.id from orders o left join user u on o.user_id = u.id where u.level = 'VIP';
  • 不做列运算
    通常在查询条件列运算会导致索引失效,如下所示:
select id from order where date_format(create_time,'%Y-%m-%d') = '2019-07-01';

date_format 函数会导致这个查询无法使用索引,改写后:

select id from order where create_time between '2019-07-01 00:00:00' and '2019-07-01 23:59:59';
  • 避免Select all
    如果不查询表中所有的列,避免使用SELECT *,它会进行全表扫描,不能有效利用索引。
  • Like优化
    在SQL中,尽量不使用like,且禁止使用前缀是%的like匹配。
    like用于模糊查询,举个例子(field已建立索引):
SELECT column FROM table WHERE field like '%keyword%';

这个查询未命中索引,换成下面的写法:

SELECT column FROM table WHERE field like 'keyword%';
  • Join 优化
    避免使用大表做 JOIN,使用group by分组、自动排序
  • 分页查询
    当只要一行数据时使用LIMIT 1 。
    limit用于分页查询时越往后翻性能越差,解决的原则:缩小扫描范围,如下所示:
select * from orders where id > (select id from orders order by id desc  limit 1000000, 1) order by id desc limit 0,10

如果查询条件仅有主键ID,写法如下:

select id from orders where id between 1000000 and 1000010 order by id desc
  • 避免隐式转换:查询条件保持数据类型一致

总结

慢SQL优化首先是合理的表设计(数据类型、模型设计)、其次要重点在各类型数据库的索引上,每个数据库都有交叉或者单独的特性,我们要探究其最佳实践,合理使用,更要注重SQL的全局思维,避免低效的慢SQL,来保障服务性能稳定。

【Mysql】慢SQL优化详解 Mysql案例相关推荐

  1. MySQL之SQL优化详解(二)

    目录 MySQL之SQL优化详解(二) 1. SQL的执行顺序 1.1 手写顺序 1.2 机读顺序 2. 七种join 3. 索引 3.1 索引初探 3.2 索引分类 3.3 建与不建 4. 性能分析 ...

  2. MySQL之SQL优化详解(一)

    目录 慢查询日志 1. 慢查询日志开启 2. 慢查询日志设置与查看 3.日志分析工具mysqldumpslow 序言: 在我面试很多人的过程中,很多人谈到SQL优化都头头是道,建索引,explain分 ...

  3. mysql索引linke和等于_MySQL之SQL优化详解(三)

    摘要: 致索引失效而转向全表扫描存储引擎不能使用索引中范围条件右边的列mysql在使用不等于(!=或者<>)的时候无法使用索引会导致全表扫描isnull,isnotnull也无法使用索引l ...

  4. phpstudy mysql恢复数据_MySQL_详解MySQL误操作后怎样进行数据恢复,一、开启binlog。 首先查看binlo - phpStudy...

    详解MySQL误操作后怎样进行数据恢复 一.开启binlog. 首先查看binlog是否开启 mysql> show variables like "log_bin"; +- ...

  5. mysql 日期比较_详解Mysql中日期比较大小的方法

    假如有个表product有个字段add_time,它的数据类型为datetime,有人可能会这样写sql: 代码如下 select * from product where add_time = '2 ...

  6. mysql 事务 for update,mysql事务锁_详解mysql 锁表 for update

    摘要 腾兴网为您分享:详解mysql 锁表 for update,智慧农业,真还赚,悦读小说,学习帮等软件知识,以及电池管家,三国群英传3,userland,运满满货主版,王者荣耀,简单3d动画,嘉丽 ...

  7. mysql inner join where_详解mysql 使用left join添加where条件的问题分析

    当前需求: 有group和factor两张表,一个group对应多个factor,现在想查询有效的group和对应的有效的factor,两个表都有isDel逻辑删除标志. 最开始的错误写法一: SEL ...

  8. mysql 数据分组_详解MySQL 数据分组

    创建分组 分组是在select语句中的group by 子句中建立的. 例: select vend_id, count(*) as num_prods from products group by ...

  9. java mysql 自动提交_详解MySQL与Spring的自动提交(autocommit)

    1 MySQL的autocommit设置 MySQL默认是开启自动提交的,即每一条DML(增删改)语句都会被作为一个单独的事务进行隐式提交.如果修改为关闭状态,则执行DML语句之后要手动提交 才能生效 ...

最新文章

  1. 300 Longest Increasing Subsequence
  2. Windows 7新睹为快!!
  3. navicat数据库运行存储过程
  4. linux运维初级课前实战随机考试题含答案(笔试+上机)
  5. 【Elasticsearch】运行 400 多个节点的 Elasticsearch 集群
  6. 全班100名同学抽奖c语言,C语言综合设计实验-1-班级同学录程序设计.pptx
  7. Rust: Atom中cargo build error
  8. x79主板bios设置中文_新买的电脑不知道主板型号?这三种方法可查看,非常简单...
  9. Java常见面试题汇总-----------JVM专题(Java类加载机制)
  10. 让qt应用程序拥有管理员权限
  11. jquery name选择器
  12. 程序猿段子_程序员段子
  13. 实现java多线程的3种方式
  14. 微信小程序-日期时间选择器
  15. 网络安全(刘建伟/毛剑版本)重点整理/复试/期末
  16. Mac电脑如何启用root用户
  17. 完整的搭建内网穿透ngrok详细教程(有图有真相)
  18. 开源个人网盘(奇文网盘)前后端代码运行与部署在Windows服务器并修改部分配置
  19. http://www.w3school.com.cn
  20. IE浏览器下实现rtmp、rtsp协议视频播放

热门文章

  1. 网络爬虫:乘风破浪的姐姐
  2. Windows多用户配置,不同用户不同访问权限
  3. 一次性加载数据,前端分页
  4. 有道云笔记同步IT笔试面试资源
  5. 相机光学(一)——成像系统分辨率的理论
  6. 镜头主要参数与光 源 选 型,选型焦距计算公式,CS、C接口工业镜头与M12镜头的关系知识。
  7. LWN:让内核支持符合FIPS规范的随机数!
  8. 百度AI文字识别需要注意的点
  9. 微商城分销系统开发方式需求与价格开发周期评估
  10. matlab 单位化矩阵,MATLAB数据矩阵单位化,归一化,标准化