mysql分页查询是先查询出来所有数据,然后跳过offset,取limit条记录,造成了越往后的页数,查询时间越长

一般优化思路是转换offset,让offset尽可能的小,最好能每次查询都是第一页,也就是offset为0

查询按id排序的情况

一、如果查询是根据id排序的,并且id是连续的

这种网上介绍比较多,根据要查的页数直接算出来id的范围

比如offset=40, limit=10, 表示查询第5页数据,那么第5页开始的id是41,增加查询条件:id>40 limit 10

二、如果查询是根据id排序的,但是id不是连续的

通常翻页页数跳转都不会很大,那我们可以根据上一次查询的记录,算出来下一次分页查询对应的新的 offset和 limit,也就是离上一次查询记录的offset

分页查询一般会有两个参数:offset和limit,limit一般是固定,假设limit=10

那为了优化offset太大的情况,每次查询需要提供两个额外的参数

参数lastEndId: 上一次查询的最后一条记录的id

参数lastEndOffset: 上一次查询的最后一条记录对应的offset,也就是上一次查询的offset+limit

  1. 第一种情况(与第二种其实是一样):跳转到下一页,增加查询条件:id>lastEndId limit 10
  2. 第二种情况:往下翻页,跳转到下任意页,算出新的newOffset=offset-lastEndOffset,增加查询条件:id>lastEndId offset newOffset limit 10,但是如果newOffset也还是很大,比如,直接从第一页跳转到最后一页,这时候我们可以根据id逆序(如果原来id是正序的换成倒序,如果是倒序就换成正序)查询,根据总数量算出逆序查询对应的offset和limit,那么 newOffset = totalCount - offset - limit, 查询条件:id=totalCount ,也就是算出来的newOffset 可能小于0, 所以最后一页的newOffset=0,limit = totalCount - offset
  3. 第三种情况:往上翻页,跳转到上任意页,根据id逆序 ,newOffset = lastEndOffset- offset - limit-1, 查询条件:id

三,如果查询是根据其他字段,比如一般使用的创建时间(createTime)排序

这种跟第二种情况差不多,区别是createTime不是唯一的,所以不能确定上一次最后一条记录对应的创建时间,哪些是下一页的,哪些是上一页的

这时候,增加一个请求参数lastEndCount:表示上一次查询最后一条记录对应的创建时间,有多少条是这同一时间的,这个根据上一次的数据统计

根据第二种情况下计算出来的newOffset加上lastEndCount,就是新的offset,其他的处理方式和第二种一致

java 示例:

/**

* 如果是根据创建时间排序的分页,根据上一条记录的创建时间优化分布查询

*

* @see 将会自动添加createTime排序

* @param lastEndCreateTime

* 上一次查询的最后一条记录的创建时间

* @param lastEndCount 上一次查询的时间为lastEndCreateTime的数量

* @param lastEndOffset 上一次查询的最后一条记录对应的偏移量 offset+limit

**/

public Page page(QueryBuilder queryBuilder, Date lastEndCreateTime, Integer lastEndCount, Integer lastEndOffset,

int offset, int limit) {

FromBuilder fromBuilder = queryBuilder.from(getModelClass());

Page page = new Page<>();

int count = dao.count(fromBuilder);

page.setTotal(count);

if (count == 0) {

return page;

}

if (offset == 0 || lastEndCreateTime == null || lastEndCount == null || lastEndOffset == null) {

List list = dao.find(

SelectBuilder.selectFrom(fromBuilder.offsetLimit(offset, limit).order().desc("createTime").end()));

page.setData(list);

return page;

}

boolean isForward = offset >= lastEndOffset;

if (isForward) {

int calcOffset = offset - lastEndOffset + lastEndCount;

int calcOffsetFormEnd = count - offset - limit;

if (calcOffsetFormEnd <= calcOffset) {

isForward = false;

if (calcOffsetFormEnd > 0) {

fromBuilder.order().asc("createTime").end().offsetLimit(calcOffsetFormEnd, limit);

} else {

fromBuilder.order().asc("createTime").end().offsetLimit(0, calcOffsetFormEnd + limit);

}

} else {

fromBuilder.where().andLe("createTime

倒序查询_mysql大表分页查询翻页优化方案相关推荐

  1. mysql 分页查询分析_mysql 大表分页查询测试分析优化

    http://blog.csdn.net/xluren/article/details/32746183 http://www.cnblogs.com/kupig/archive/2011/10/19 ...

  2. mysql多表联查分页_sqlserver多表联合查询和多表分页查询的代码讲解

    sqlserver多表联合查询和多表分页查询的代码讲解 发布时间:2020-05-14 14:42:07 来源:亿速云 阅读:700 作者:Leah 这篇文章主要为大家详细介绍了sqlserver多表 ...

  3. mysql关联表分页查询_MySQL一对多分页查询-主表关联表条件查询问题

    文章目录 1 摘要 2 情景复现 2.1 数据模型 2.2 核心代码 2.3 测试数据 2.4 拓展一点 1 摘要 分页查询是后台项目中最常见的一种操作,在一对多(one to many)的关系表中, ...

  4. Mybatis-plus多表关联查询,多表分页查询

    学习plus真的觉得写代码真的越来越舒服了.昨天开始接触吧,只要学会了多表关联查询.plus就能随意搭配使用了. 关于怎么搭建的就自行了去研究了哦.这里直接进入主题. 我用的是springboot+m ...

  5. mysql 分页 有序保证_MySql大表分页(附独门秘技)

    问题背景 MySql(InnoDB)中的订单表需要按时间顺序分页查询,且主键不是时间维度递增,订单表在百万以上规模,此时如何高性能地实现该需求? 注:本文并非主要讲解如何建立索引,以下的分析均建立在有 ...

  6. mysql中怎么分页查询_mysql怎样实现分页查询

    mysql分页查询的方法:1.用具体字段代替[*]:2.先查寻索引:3.使用[between - and],id必须是连续递增的:4.保留上一页记录所在id. mysql分页查询的方法: 简述通常在M ...

  7. mysql 多表中间表查询_mysql多表连接查询

    新建两张表: 表1:student  截图如下: 表2:course  截图如下: (此时这样建表只是为了演示连接SQL语句,当然实际开发中我们不会这样建表,实际开发中这两个表会有自己不同的主键.) ...

  8. mysql多表分页查询语句_Mysql多表分页查询

    多张表,字段完全相同,表名称不同,每三个月的数据插入到一张表中.当查询历史的时候,把所有表中的数据展示出来并做分页处理. sql语句的写法: select * from ${fristName} wh ...

  9. 【MySQL Tips】偏移量大的分页查询LIMIT子句的优化方法

    SQL优化是要看执行计划分析,并做基准测试的. 前言 MySQL官方关于LIMIT子句的优化建议在之前的文章中写过,链接如下: 8.2.19 LIMIT查询优化.note [MySQL 8翻译]8.2 ...

最新文章

  1. dispatch_queue_create(com.biostime.xxx, DISPATCH_QUEUE_SERIAL)的陷阱
  2. 三星在研发VR一体机?眼动追踪公司曝出原型机
  3. 专题 18 Inline Assembly(在C语言中嵌套使用汇编)
  4. Java内存模型深度解析:顺序一致性--转
  5. 初识 RESTful API规范
  6. SAP CRM WebClient UI运行时加载哪个configuration,到底是如何决定的
  7. 在银行存款被吞了,怎么能快速解决?
  8. jooq 执行sql_使用jOOQ和Java 8的CompletableFuture进行异步SQL执行
  9. 使用JMeter创建数据库(Mysql)测试
  10. 如何更新Postgresql的Jsonb数组
  11. eclipse 修改java代码不重启服务器 生效配置
  12. 第十一章 图形视图、动画、状态机框架
  13. 最小总代价(洛谷-U17433)
  14. Cesium 加载天地图
  15. .NET Core开发的iNeuOS物联网平台部署树莓派(raspbian),从网关到云端整体解决方案。助力2019中国.NET峰会。
  16. MAC编译OpenJDK8(含202-242)的Xcode版本问题
  17. 郝斌_数据结构入门笔记
  18. Oracle的CaseWhen
  19. 操作系统应用阶层现状,对操作系统的认识
  20. Fuzzy Clustering详解

热门文章

  1. Linux内核设计与实现学习笔记目录
  2. [ATF]-ATF文档和代码的深度解读
  3. [crypto]-02-非对称加解密RSA原理概念详解
  4. [ATF]-ATF启动--BL31跳转到optee和uboot
  5. 【攻防世界003】re-for-50-plz-50
  6. 函数指针和shellcode
  7. 2020-10-26(对Dex文件的理解)
  8. C++用FindFirstFile、FindNext递归遍历硬盘的文件
  9. JAVA 解析JSON数据
  10. 【运维】linux硬盘空间不足,扩容硬盘,挂载目录,并永久挂载