mysql大翻页limt 1700,100慢优化方案

2024-04-15 02:28:47

1、引言

公司有个需求，统计短信系统每天status没成功的电话号码，然后进行统计分析。为了省事，我直接用了现成的sql, 该sql是分页，每次筛选limit一百条，最后合并下，最后不就得出所有的手机号了吗？

select id from smss where type='0' and status='0' and ctime >= '2020-03-03 00:00:00' and ctime<= '2020-03-03 23:59:59' order by id desc limit 1800,100

由于这个表是个日志表，相当大，大约有十几亿条数据，翻页是很慢的，及时有ctime限制而且有索引，大约执行了几十秒，后续优化了一把。

2、第一次优化

我想优化方案是

1、取出今天的minid

2、 where id > minid order by id asc limt 100

3、取出上一步筛选出来最大的maxid, minid= maxid再次进入2循环取，直到取不到值为止

问题的关键在于minid开始初值我写的0，为0的话minid条件不命中，条件第二次才会有。造成的慢sql

select id, mobile from sms where type='0' and status='0' and ctime >= '2020-03-04 00:00:00' and ctime<= '2020-03-04 23:59:59' order by id asc limit 100

这条sql的原因在于：ctime这个索引根本不起作用，直接用id进行扫描的，所以执行非常慢。

3、第二次优化

1、minid = select min(id) from sms where type='0' and status='0' and ctime >= '2020-03-04 00:00:00' and ctime<= '2020-03-04 23:59:59' 这个执行很快，ctime有索引

2、select id, mobile from sms where id>minid and type='0' and status='0' and ctime >= '2020-03-04 00:00:00' and ctime<= '2020-03-04 23:59:59' order by id asc limit 100

3、从2中结果取出mobiles放在内存中，同时取出这一批次中最大的maxid, minid = maxid

再次循环2取数据，直到取不到为止，这个就顺利解决了

4、总结

对于大翻页，排序按照区间的最大id为条件，再去请求数据，这样能减少扫描的行数，从而减少sql执行时间。

mysql大翻页limt 1700,100慢优化方案相关推荐

UE4 Material 101学习笔记——01-07 介绍/PBR基础/UV扭曲/数据类型/翻页动画/材质混合/性能优化
UE4 Material 101学习笔记--01-07 介绍/PBR基础/UV扭曲/数据类型/翻页动画/材质混合/性能优化 Lec 01 什么是着色器 What Is A Shader? 1.1 介绍 ...
mysql实现翻页功能
1.limit分页公式 1.1 limit分页公式 1.limit分页公式:curPage是当前第几页上一页:limit (curPage-1)*pageSize,pageSize 下一页:limi ...
mysql 的翻页查询
前言: 前段时间在写 mybatis-plus 的翻页查询功能的时候突然想到,mysql 语句本身肯定是有翻页查询的功能,所以研究一波. limit 实现翻页 sql 语句还是正常写,但是要在后面加上 ...
mysql大数据量下的操作以及优化
当我们操作mysql的时候,如果数据量很小,那么我们如何处理都没有问题.但是当一张表非常大的时候,我们一个大查询,一个堆大插入,一个count(*),一个limit都是非常恐怖的,因此,我在下面说几种 ...
MySQL大数据量分页查询方法及其优化
点击上方好好学java ,选择星标公众号重磅资讯.干货,第一时间送达今日推荐:收藏了!7 个开源的 Spring Boot 前后端分离优质项目个人原创+1博客:点击前往,查看更多链接:ht ...
千锋重庆Java学习之MySQL大数据量分页查询方法及其优化
方法1: 直接使用数据库提供的SQL语句语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因/缺 ...
T 沙龙移动实践日总结 ——享物说大流量⼩程序的架构与性能优化方案
PPT 和视频视频地址 PPT地址下面是 T 沙龙小编对分享的一些总结: 第一位分享嘉宾是来自享物说的 Rolland Safort(中文名:塞福),目前负责享物说小程序开发工作,有多年前端工作 ...
mysql show 翻页_mysql show操作
'latin%'; SHOW COLLATION 输出包括所有可用的字符集 SHOW COLLATION; SHOW COLLATION LIKE'latin1%'; SHOW COLUMNS 显示在 ...
mysql 大分页查询优化_Mysql骚操作：优化大分页查询
背景系统结构如上图.经过排查是因为系统B拉取数据时间太长导致的推送超时. 系统B拉取数据的方法是根据_tiemstamp(数据操作时间)分页查询系统A的接口,即: 1SELECT 字段名2FROM ...

最新文章

热门文章