背景

一个行数为4亿条的表。

查询50000000~50000010行之间的数据。发现查询时间达到20s！！！

查询执行计划发现，需要进行全表扫描，没有索引。

但是，sbtest1这个表是有索引的

为什么mysql没有选择索引，而是全表扫描呢？

分析

mysql select 语法

SELECT[ALL | DISTINCT | DISTINCTROW ][HIGH_PRIORITY][STRAIGHT_JOIN][SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT][SQL_NO_CACHE] [SQL_CALC_FOUND_ROWS]select_expr [, select_expr] ...[into_option][FROM table_references[PARTITION partition_list]][WHERE where_condition][GROUP BY {col_name | expr | position}, ... [WITH ROLLUP]][HAVING where_condition][WINDOW window_name AS (window_spec)[, window_name AS (window_spec)] ...][ORDER BY {col_name | expr | position}[ASC | DESC], ... [WITH ROLLUP]][LIMIT {[offset,] row_count | row_count OFFSET offset}][into_option][FOR {UPDATE | SHARE}[OF tbl_name [, tbl_name] ...][NOWAIT | SKIP LOCKED]| LOCK IN SHARE MODE][into_option]into_option: {INTO OUTFILE 'file_name'[CHARACTER SET charset_name]export_options| INTO DUMPFILE 'file_name'| INTO var_name [, var_name] ...
}

https://dev.mysql.com/doc/refman/8.0/en/select.html

offset 实现

MySQL的limit m n工作原理就是先读取前面m+n条记录，然后抛弃前m条，读后面n条想要的，所以m越大，偏移量越大，性能就越差。
https://cloud.tencent.com/developer/article/1505252

解决

在网上找到一个解决办法：可以把limit的offset当做where条件，这样mysql直接走索引，通过B+树直接定位到offset位置。类似于看书用书签标记下看到哪里的思路。

查询执行计划发现的确如此

如果使用非聚簇索引，也可以达到相同的效果

引申

比如：订单表、商品表，如果想做到分页效果、并提高用户体验，选择这种优化会有很大的提升。

就好比openstack的开源项目trove模块就有此设计，通过marker参数来保证一直分页的offset。

marker的使用逻辑为：

本次查询的最后一条记录标记为next_marker，
将next_marker作为api结果的一部分返回给用户，
用户下次再请求这个api时，把next_marker赋值给marker传入进来

实现逻辑

由于trove支持多种数据库，所以mysql user这类url需要通过注册的方式添加

https://github.com/openstack/trove/blob/master/trove/extensions/routes/mysql.py#L48
def index方法是/users的controller层实现，在这里调用了models.Users.load(context)方法，第一个参数是context，这个参数是trove封装的上下文里面包含一些基本信息。

https://github.com/openstack/trove/blob/master/trove/extensions/mysql/service.py#L64
从上面controller层，调用到了models.User.load(context)方法，经过几次转换，调用到client.list_users(marker)方法参数带有marker。调用流程Users.load() -> load_via_context() -> Users.load_with_client(context.marker) -> client.list_users(marker)

https://github.com/openstack/trove/blob/master/trove/extensions/mysql/models.py#L182
client.list_users的实现（manager层）

https://github.com/openstack/trove/blob/master/trove/guestagent/datastore/manager.py#L833
list_users的service层实现，注释很详细，就不解释了。
https://github.com/openstack/trove/blob/master/trove/guestagent/datastore/mysql_common/service.py#L340

mysql limit offset 原理分析与使用相关推荐

mysql limit offset很大_MySQL查询中LIMIT的大offset导致性能低下浅析
前言我们大家都知道,mysql查询使用select命令,配合limit,offset参数可以读取指定范围的记录,但是offset过大影响查询性能的原因及优化方法我们在业务系统中难免少不了分页的需求 ...
.net mysql limit 分页原理_浅谈MySQL分页Limit的性能问题
MySQL的分页查询通常通过limit来实现.limit接收1或2个整数型参数,如果是2个参数,第一个是指定第一个返回记录行的偏移量,第二个是返回记录行的最大数目.初始记录行的偏移量是0.为了与Pos ...
MySQL表联接原理分析
01 前言用过MySQL的同学肯定都知道表联接,关键字即为 join ,使用的场景就是"当只查询一个表的信息不能满足我们需求"的时候,就需要用到两个甚至多个表联接查询.但是当不了 ...
meb4.0.3(mysql enterprise backup)原理分析
mysql企业版有两个值得付费的工具:mysql enterprise backup.thread pool. 下面来分析下MEB工作原理: 1.先来个全备 /usr/local/meb5.7/bin ...
mysql limit offset
Java代码 SELECT keyword FROM keyword_rank WHERE advertiserid='59' order by keyword LIMIT 2 OFFSET 1; ...
MYSQL limit,offset 区别
首先看下表执行下面SQL SELECT* FROM`user` WHEREsex = 1 复制代码结果再来看下下面的SQL SELECT* FROM`user` WHEREsex = 1 LIM ...
MySQL子查询原理分析
01 前言子查询,通俗解释就是查询语句中嵌套着另一个查询语句.相信日常工作中接触到 MySQL 的同学都了解或使用过子查询,但是具体它是怎样实现的呢? 查询效率如何? 这些恐怕好多人就不太清楚了,下 ...
MySQL索引实现原理分析
目前大部分数据库系统及文件系统都采用B-Tree(B树)或其变种B+Tree(B+树)作为索引结构.B+Tree是数据库系统实现索引的首选数据结构.在MySQL中,索引属于存储引擎级别的概念,不同存储 ...
Mysql的常见面试题 + 索引原理分析
今天给大家分享一篇干货,面试必备之Mysql索引底层原理分析 Mysql索引的本质 Mysql索引的底层原理 Mysql索引的实战经验面试问:数据库中最常见的慢查询优化方式是什么? 同学A:加索引 ...

mysql limit offset 原理分析与使用

背景

分析

mysql select 语法

offset 实现

解决

引申

实现逻辑

mysql limit offset 原理分析与使用相关推荐

最新文章

热门文章