之前微信系统后台报警次数过多,简单的查询了下原因,主要是数据量比较大,查询次数较多而数据库性能低下导致。当时简单的对数据库配置以及通过慢日志查询对少数表作了分析,为执行时间较长的表添加了单列索引,效果也是比较明显的。

14年国庆节期间微信后台接口处公众号调用情况如下,当然这只是其中一个公众号,我们后台大约有十到二十个公众号在活跃

后面部分数据

最近一次调用次数达到16万,但失败率是40%,相对于国庆期间八万数据,失败率就达80%来说算改善还行的。但既然问题存在,优化工作一直需要继续下去。

MySQL数据库是常见的两个瓶颈是CPU和I/O的瓶颈,CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候。磁盘I/O瓶颈发生在装入数据远大于内存容量的时候,如果应用分布在网络上,那么查询量相当大的时候那么平瓶颈就会出现在网络上,我们可以用mpstat, iostat, sar和vmstat来查看系统的性能状态。 
除了服务器硬件的性能瓶颈,对于MySQL系统本身,我们可以使用工具来优化数据库的性能,通常有三种:使用索引,使用EXPLAIN分析查询以及调整MySQL的内部配置。

在优化MySQL时,通常需要对数据库进行分析,常见的分析手段有慢查询日志,EXPLAIN 分析查询,profiling分析以及show命令查询系统状态及系统变量,通过定位分析性能的瓶颈,才能更好的优化数据库系统的性能。

首先我们简单的认识下mysql自带的分析工具show profiles,搭配explain解释命令

show profiles是版本5.0后添加的,查看数据库版本

可查询到mysql版本是支持profiling功能的,接下来查看是否开启了此功能,默认是关闭的。

使用select @@profiling查询,开启方法为set profiling=1

show profiling语法为:

  1. SHOW PROFILE [type [, type] … ]
  2. [FOR QUERY n]
  3. [LIMIT row_count [OFFSET offset]]
  4. type:
  5. ALL
  6. | BLOCK IO
  7. | CONTEXT SWITCHES
  8. | CPU
  9. | IPC
  10. | MEMORY
  11. | PAGE FAULTS
  12. | SOURCE
  13. | SWAPS

执行查询,然后通过命令show profiles查询

可查询执行某条语句需要的时间,如果需详细查看详细时间耗费,可使用命令

show profile for query 19;

要查看更详细的,cpu io之类的,可指定具体某项show profile block io,cpu for query 45 或者查询所有项

show profile all for query 45

根据这些数据去分析时间耗费比较长的阶段

explain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。

EXPLAIN列的解释:

table:显示这一行的数据是关于哪张表的

type:这是重要的列,显示连接使用了何种类型。从最好到最差的连接类型为const、eq_reg、ref、range、indexhe和ALL

possible_keys:显示可能应用在这张表中的索引。如果为空,没有可能的索引。可以为相关的域从WHERE语句中选择一个合适的语句

key: 实际使用的索引。如果为NULL,则没有使用索引。很少的情况下,MYSQL会选择优化不足的索引。这种情况下,可以在SELECT语句中使用USE INDEX(indexname)来强制使用一个索引或者用IGNORE INDEX(indexname)来强制MYSQL忽略索引

key_len:使用的索引的长度。在不损失精确性的情况下,长度越短越好

ref:显示索引的哪一列被使用了,如果可能的话,是一个常数

rows:MYSQL认为必须检查的用来返回请求数据的行数

Extra:关于MYSQL如何解析查询的额外信息。将在表4.3中讨论,但这里可以看到的坏的例子是Using temporary和Using filesort,意思MYSQL根本不能使用索引,结果是检索会很慢

extra列返回的描述的意义

Distinct:一旦MYSQL找到了与行相联合匹配的行,就不再搜索了

Not exists: MYSQL优化了LEFT JOIN,一旦它找到了匹配LEFT JOIN标准的行,就不再搜索了

Range checked for each Record(index map:#):没有找到理想的索引,因此对于从前面表中来的每一个行组合,MYSQL检查使用哪个索引,并用它来从表中返回行。这是使用索引的最慢的连接之一

Using filesort: 看到这个的时候,查询就需要优化了。MYSQL需要进行额外的步骤来发现如何对返回的行排序。它根据连接类型以及存储排序键值和匹配条件的全部行的行指针来排序全部行

Using index: 列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的,这发生在对表的全部的请求列都是同一个索引的部分的时候

Using temporary 看到这个的时候,查询需要优化了。这里,MYSQL需要创建一个临时表来存储结果,这通常发生在对不同的列集进行ORDER BY上,而不是GROUP BY上

Where used 使用了WHERE从句来限制哪些行将与下一张表匹配或者是返回给用户。如果不想返回表中的全部行,并且连接类型ALL或index,这就会发生,或者是查询有问题不同连接类型的解释(按照效率高低的顺序排序)

system 表只有一行:system表。这是const连接类型的特殊情况

const:表中的一个记录的最大值能够匹配这个查询(索引可以是主键或惟一索引)。因为只有一行,这个值实际就是常数,因为MYSQL先读这个值然后把它当做常数来对待

eq_ref:在连接中,MYSQL在查询时,从前面的表中,对每一个记录的联合都从表中读取一个记录,它在查询使用了索引为主键或惟一键的全部时使用

ref:这个连接类型只有在查询使用了不是惟一或主键的键或者是这些类型的部分(比如,利用最左边前缀)时发生。对于之前的表的每一个行联合,全部记录都将从表中读出。这个类型严重依赖于根据索引匹配的记录多少—越少越好

range:这个连接类型使用索引返回一个范围中的行,比如使用>或<查找东西时发生的情况

index: 这个连接类型对前面的表中的每一个记录联合进行完全扫描(比ALL更好,因为索引一般小于表数据)

ALL:这个连接类型对于前面的每一个记录联合进行完全扫描,这一般比较糟糕,应该尽量避免

mysql数据库优化 分析工具 性能瓶颈相关推荐

  1. Mysql进阶优化篇01——四万字详解数据库性能分析工具(深入、全面、详细,收藏备用)

    前 言 ?? 作者简介:,长跑型选手,立志坚持写10年博客,专注于java后端 ?? 专栏简介:mysql进阶,主要讲解mysql数据库进阶知识,包括索引.数据库调优.分库分表等 ?? 文章简介:本文 ...

  2. mysql的查询分析工具下载_万能数据库查询分析器(ODBC数据库查询分析工具)V7.03 最新版...

    万能数据库查询分析器(ODBC数据库查询分析工具)是一款功能强大,性能良好的数据库查询辅助工具,对开发人员来说是一款省时省力的数据库分析工具. 功能特点: 可以通过它查询ODBC数据源(包括世面上所有 ...

  3. 解开发者之痛:中国移动MySQL数据库优化最佳实践

    章颖 数据研发工程师 现任中国移动杭州研发中心数据研发工程师,擅长MySQL故障诊断,性能调优,MySQL高可用技术,曾任中国电信综合平台开发运营中心DBA 开源数据库MySQL比较容易碰到性能瓶颈, ...

  4. 移动 网络 连mysql_中国移动MySQL数据库优化最佳实践

    本文根据DBAplus社群第69期线上分享整理而成,文末还有书送哦~ 讲师介绍章颖 数据研发工程师 现任中国移动杭州研发中心数据研发工程师,擅长MySQL故障诊断,性能调优,MySQL高可用技术,曾任 ...

  5. mysql优化经验_中国移动MySQL数据库优化经验

    开源数据库MySQL比较容易碰到性能瓶颈,为此经常需要对MySQL数据库进行优 化,而MySQL数据库优化需要运维DBA与相关开发共同参与,其中MySQL参数及服务器配置优化主要由运维DBA完成,开发 ...

  6. 【转载】运维角度浅谈MySQL数据库优化

     运维角度浅谈MySQL数据库优化 2015-06-02 14:22:02 标签:mysql优化   mysql分库分表分区 mysql读写分离 mysql主从复制 原创作品,允许转载,转载时请务必以 ...

  7. mysql数据库优化大全_MySQL数据库优化技巧大全

    简介: MySQL数据库优化技巧大全 MySQL优化三大方向 ① 优化MySQL所在服务器内核(此优化一般由运维人员完成). ② 对MySQL配置参数进行优化(my.cnf)此优化需要进行压力测试来进 ...

  8. MySQL数据库优化技巧大全

    简介:MySQL数据库优化技巧大全 MySQL优化三大方向 ① 优化MySQL所在服务器内核(此优化一般由运维人员完成). ② 对MySQL配置参数进行优化(my.cnf)此优化需要进行压力测试来进行 ...

  9. Mysql数据库优化技术之配置篇、索引篇 ( 必看 必看 转)

    转自:Mysql数据库优化技术之配置篇.索引篇 ( 必看 必看 ) (一)减少数据库访问 对于可以静态化的页面,尽可能静态化 对一个动态页面中可以静态的局部,采用静态化 部分数据可以生成XML,或者文 ...

  10. MySQL索引优化分析

    转载来源:https://www.cnblogs.com/itdragon/p/8146439.html MySQL索引优化分析 为什么你写的sql查询慢?为什么你建的索引常失效?通过本章内容,你将学 ...

最新文章

  1. Python基础教程:list中的append()和extend()方法区别
  2. leetcode 628. Maximum Product of Three Numbers | 628. 三个数的最大乘积(Java)
  3. cpu倍频模式怎么调_CPU频率被锁定到800mhz怎么办?
  4. 计算机二级公共基础部分学习笔记
  5. docker开放的端口_关于docker自动开放端口解决方案
  6. php加密数据解密,php 数据加密解密
  7. PATH变量,cp,mv,cat,more,less,head,tail命令举例
  8. Xmind模板文档分享——商务模板(2)
  9. Ubuntu18.04下的模拟神器RetroArch
  10. CommonAPI 使用说明文档
  11. linux中如何压缩目录文件,如何在Linux中压缩和解压缩目录及其文件
  12. android 支付sdk ----libPaySdk
  13. 用select多路io复用实现简单聊天程序
  14. 科技现代闪耀上海秀场 北京现代在上海车展上演转型之姿
  15. 学习GNU Emacs命令速查表(三)
  16. WinSCP集成PuTTY
  17. python url加密_python的加密操作
  18. 用 ATL ActiveX 绘制任意平面函数的曲线
  19. windows批量删除当前目录下的空文件夹
  20. php decode

热门文章

  1. OOM框架AutoMapper基本使用(2)
  2. 【hdu1556】Color the ball——树状数组
  3. Mono 基于Jexus发布,创建中文文件名乱码及解决办法
  4. 武汉大学2014年基础数学面试全过程
  5. 文章下载:关于窗宽窗位调节非常有用的论文《DICOM 医学图像窗口变换的加速算法》...
  6. 小猪佩奇(python)
  7. springboot 访问远程服务器文件,springboot使用JSch远程读取sshd服务器上的文件
  8. java丑数算法_Java代码如何实现求第N个丑数?实现和思路分享
  9. qt实现百度首页(仅界面,功能未实现)
  10. wireshark抓包方法及数据分析