MySQL 查询优化如何坐到极致？

什么影响了数据库查询速度

1.1 影响数据库查询速度的四个因素

1.2 风险分析
QPS：QueriesPerSecond意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

TPS：是TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。

Tips：最好不要在主库上数据库备份，大型活动前取消这样的计划。

效率低下的 sql：超高的 QPS与 TPS。
大量的并发：数据连接数被占满（ max_connection默认 100，一般把连接数设置得大一些）。并发量:同一时刻数据库服务器处理的请求数量。
超高的 CPU使用率：CPU资源耗尽出现宕机。
磁盘 IO：磁盘 IO性能突然下降、大量消耗磁盘性能的计划任务。解决：更快磁盘设备、调整计划任务、做好磁盘维护。

1.3 网卡流量：如何避免无法连接数据库的情况

1、减少从服务器的数量（从服务器会从主服务器复制日志） 2、进行分级缓存（避免前端大量缓存失效） 3、避免使用 select 进行查询 4、分离业务网络和服务器网络

1.4 大表带来的问题（重要）

1.4.1 大表的特点
记录行数巨大，单表超千万 2、表数据文件巨大，超过 10个 G

1.4.2 大表的危害
慢查询：很难在短时间内过滤出需要的数据
查询字区分度低 -> 要在大数据量的表中筛选出来其中一部分数据会产生大量的磁盘 io -> 降低磁盘效率

对 DDL影响：
建立索引需要很长时间：
MySQL-v<5.5 建立索引会锁表 MySQL-v>=5.5 建立索引会造成主从延迟（ mysql建立索引，先在组上执行，再在库上执行）

修改表结构需要长时间的锁表：会造成长时间的主从延迟(‘480秒延迟’)

1.4.3 如何处理数据库上的大表

分库分表把一张大表分成多个小表
难点：
1、分表主键的选择 2、分表后跨分区数据的查询和统计.

1.5 大事务带来的问题（重要）

1.5.1 什么是事务

事务是数据库系统区别于其他一切文件系统的重要特性之一
事务是一组具有原子性的SQL语句，或是一个独立的工作单元
事务要求符合：原子性、一致性、隔离性、持久性

1.5.2事务的 ACID属性

原子性（ atomicity)：全部成功，全部回滚失败。银行存取款。
一致性（consistent)：银行转账的总金额不变。
隔离性（isolation)：
隔离性等级：
未提交读( READ UNCOMMITED)脏读,两个事务之间互相可见；已提交读(READ COMMITED)符合隔离性的基本概念,一个事务进行时，其它已提交的事物对于该事务是可见的，即可以获取其它事务提交的数据。可重复读( REPEATABLE READ)InnoDB的默认隔离等级。事务进行时，其它所有事务对其不可见，即多次执行读，得到的结果是一样的！可串行化（SERIALIZABLE）在读取的每一行数据上都加锁，会造成大量的锁超时和锁征用，严格数据一致性且没有并发是可使用。
持久性( DURABILITY)：从数据库的角度的持久性，磁盘损坏就不行了

redolog机制保证事务更新的一致性和持久性

1.5.3 大事务
运行时间长，操作数据比较多的事务；
风险：锁定数据太多，回滚时间长，执行时间长。
1、锁定太多数据，造成大量阻塞和锁超时；
2、回滚时所需时间比较长，且数据仍然会处于锁定；
3、如果执行时间长，将造成主从延迟，因为只有当主服务器全部执行完写入日志时，从服务器才会开始进行同步，造成延迟。
解决思路

避免一次处理太多数据，可以分批次处理；
移出不必要的 SELECT操作，保证事务中只有必要的写操作。（影响性能的几个方面：服务器硬件、服务器系统（系统参数优化）。
存储引擎。MyISAM：不支持事务，表级锁。InnoDB: 支持事务，支持行级锁，事务 ACID。
数据库参数配置。
数据库结构设计和SQL语句。（重点优化）

2.2 MySQL体系结构
分三层：客户端->服务层->存储引擎

1、 MySQL是插件式的存储引擎，其中存储引擎分很多种。只要实现符合mysql存储引擎的接口，可以开发自己的存储引擎! 2、所有跨存储引擎的功能都是在服务层实现的。
3、MySQL的存储引擎是针对表的，不是针对库的。也就是说在一个数据库中可以使用不同的存储引擎。但是不建议这样做。

2.3 InnoDB存储引擎
MySQL5.5及之后版本默认的存储引擎：InnoDB。

2.3.1 InnoDB使用表空间进行数据存储。show variables like’innodb_file_per_table如果innodbfileper_table 为 ON 将建立独立的表空间，文件为tablename.ibd；如果innodbfileper_table 为 OFF 将数据存储到系统的共享表空间，文件为ibdataX（X为从1开始的整数）；.frm：是服务器层面产生的文件，类似服务器层的数据字典，记录表结构。

2.3.2 (MySQL5.5默认)系统表空间与( MySQL5.6及以后默认)独立表空间
1、系统表空间无法简单的收缩文件大小，造成空间浪费，并会产生大量的磁盘碎片。
2、独立表空间可以通过 optimeze table 收缩系统文件，不需要重启服务器也不会影响对表的正常访问。
3、如果对多个表进行刷新时，实际上是顺序进行的，会产生IO瓶颈。
4、独立表空间可以同时向多个文件刷新数据。

强烈建立对Innodb 使用独立表空间，优化什么的更方便，可控。
2.3.3 系统表空间的表转移到独立表空间中的方法
1、使用mysqldump 导出所有数据库数据（存储过程、触发器、计划任务一起都要导出）可以在从服务器上操作。
2、停止MYsql 服务器，修改参数（my.cnf加入innodbfileper_table），并删除Inoodb相关文件（可以重建Data目录）。
3、重启MYSQL，并重建Innodb系统表空间。
4、重新导入数据。或者Altertable 同样可以的转移，但是无法回收系统表空间中占用的空间。

2.4 InnoDB存储引擎的特性
2.4.1 特性一：事务性存储引擎及两个特殊日志类型：Redo Log 和 Undo Log
1、 Innodb是一种事务性存储引擎。
2、完全支持事务的 ACID特性。
3、支持事务所需要的两个特殊日志类型：RedoLog 和 UndoLog
Redo Log：实现事务的持久性(已提交的事务)。Undo Log：未提交的事务，独立于表空间，需要随机访问，可以存储在高性能io设备上。

Undo日志记录某数据被修改前的值，可以用来在事务失败时进行 rollback；Redo日志记录某数据块被修改后的值，可以用来恢复未写入 data file的已成功事务更新的数据。

2.4.2 特性二：支持行级锁

1、InnoDB支持行级锁。

2、行级锁可以最大程度地支持并发。

3、行级锁是由存储引擎层实现的。

2.5 什么是锁

2.5.1 锁

锁的主要作用是管理共享资源的并发访问

锁用于实现事务的隔离性

2.5.2 锁类型

2.5.3 锁的粒度

MySQL的事务支持不是绑定在MySQL服务器本身，而是与存储引擎相关

表级锁

行级锁

将table_name加表级锁命令：locktable table_name write;写锁会阻塞其它用户对该表的‘读写’操作，直到写锁被释放：unlock tables；

1、锁的开销越大，粒度越小，并发度越高。2、表级锁通常是在服务器层实现的。3、行级锁是存储引擎层实现的。innodb的锁机制，服务器层是不知道的

2.5.4 阻塞和死锁

1、阻塞是由于资源不足引起的排队等待现象。

2、死锁是由于两个对象在拥有一份资源的情况下申请另一份资源，而另一份资源恰好又是这两对象正持有的，导致两对象无法完成操作，且所持资源无法释放。

2.6 如何选择正确的存储引擎

MySQL 查询优化如何坐到极致？相关推荐

MySQL高级-索引是个什么东西？explain到底怎么用-MySQL查询优化大全
目录一.引出问题-MySQL的查询优化: 二.性能下降的原因: 三.索引到底是什么?怎么用? 1.索引操作查看索引: 删除索引: 创建索引: 说明: 索引命名规范: 2.索引优势: 3.索引劣势: ...
MySQL查询优化-explain
2019独角兽企业重金招聘Python工程师标准>>> 一.MySQL 查询优化器是如何工作的 MySQL 查询优化器有几个目标,但是其中最主要的目标是尽可能地使用索 ...
MySQL查询优化之explain的深入解析
在分析查询性能时,考虑EXPLAIN关键字同样很管用.EXPLAIN关键字一般放在SELECT查询语句的前面,用于描述MySQL如何执行查询操作.以及MySQL成功返回结果集需要执行的行数.expla ...
mysql查询优化explain命令详解
转载自 mysql查询优化explain命令详解 mysql查询优化的方法有很多种,explain是工作当中用的比较多的一种检查方式.explain翻译即解释,就是看mysql语句的查询解释计划,从解 ...
mysql优化php面试_php面试专题---18、MySQL查询优化考点
php面试专题---18.MySQL查询优化考点一.总结一句话总结: 慢查询:查找分析查询速度慢的原因数据访问:优化查询过程中的数据访问长难句:优化长难的查询语句特定类型:优化特定类型的查询 ...
MySQL查询优化之索引
MySQL查询优化之索引什么是索引索引简单来说就类似字典,想想我们小时候在中华字典怎么查某个字.索引的作用就是快速找出在某个列中有一特定值的行. 例如:有一张user表,其中有200万条记录,记录 ...
mysql查询优化之三：查询优化器提示（hint）
目录: <MySQL中的两种临时表>--强制使用临时表 SQL_BUFFER_RESULT <MySQL 多表关联更新及删除> <mysql查询优化之三:查询优化器提示( ...
MySql查询优化性能调优，sql性能自测方法，及Mysql索引介绍
MySql查询优化性能调优,sql性能自测方法,及Mysql索引介绍前言一.普通优化加索引(适用于where条件后一个查询条件) 二.组合查询加索引(适用于where条件后多个查询条件) 三.My ...
谈谈MySQL查询优化
1.硬件优化一般来讲,硬件的优化是成本最高效果最差的,服务器性能对数据库的读写能力的影响尤其体现在磁盘I/O上.mysql数据库频繁的CURD操作是十分吃磁盘I/O的,一般可以认为磁盘I/O是硬件方 ...
MySQL查询优化详解
mysql 查询优化-查询执行的路径 mysql 客户端/服务端通信查询缓存查询优化处理查询执行引擎返回客户端 mysql 客户端/服务端通信 Mysql客户端与服务端的通信方式是" ...

MySQL 查询优化如何坐到极致？

MySQL 查询优化如何坐到极致？相关推荐

最新文章

热门文章