排雷日记 -- mybatisplus分页查询效率

雷区场景：仍然是某2G+2C的项目用户管理模块，比较普通的增删改查功能。近日被吐嘈打开人员列表（用户数据量在70-80万之间）展示页面超慢！有时还会请求超时。。。

初步排查：NetWork找到了响应慢为获取人员列表数据的接口，响应时间竟然超过了10s，看来实施的同学心态普遍都是极好了！！！然后安排了开发兄弟直接排查日志及查询脚本，确实也查到了一些关键问题，比如下面的查询脚本：

实际执行的脚本为：

select * from
(SELECT bu.*, cp.name AS companyName, cp.id AS companyId
FROM xxx_user bu
LEFT JOIN xc_company_user cu ON cu.user_id = bu.user_id
LEFT JOIN xc_company cp ON cp.id = cu.company_id
LEFT JOIN xxx_dept bd ON bd.id = bu.dept_id
WHERE bu.is_deleted = 0) t
limit 0, 100;

而系统中集成了MybatisPlus框架，采用了自带的分页查询模式。所以在xml脚本中没有写入limit脚本，运行过程中mp会在脚本末尾自动附加上limit脚本。开发人员认为是该sql语句写的有问题，没有必要在外层又套了一个select t.* from的壳，认为内部的select做的是全表查询，所以修改了查询脚本为：

SELECT bu.*, cp.name AS companyName, cp.id AS companyId
FROM xxx_user bu
LEFT JOIN xc_company_user cu ON cu.user_id = bu.user_id
LEFT JOIN xc_company cp ON cp.id = cu.company_id
LEFT JOIN xxx_dept bd ON bd.id = bu.dept_id
WHERE bu.is_deleted = 0
limit 0, 100;

实则不然，两者的执行效率相差无几

当然，从脚本功能上来讲确实是没有必要在外层重新包装select t.* from的壳，还是做了这一步优化。

那么，问题来了，单独执行脚本基本都在100ms以内，而接口总体响应时间却在10s钟左右。那问题很有可能出在业务逻辑上了，接口程序查询完sql之后又做了其它的业务逻辑处理了？我得到的答复是：没有！！！

不放心的我找到程序位置又确认了一遍，确实没有：

这就有点意思了，按照惯例还是需要跟进mp的baseMapper底层实现去分析原因了。起初也曾怀疑过是mp查询结果反序列化耗时引起的，但并没有查到相关的配置参数，而且测试了单页查询10条和500条数据响应时间差不多就打消了这个疑虑，还是查源码吧！

问题分析：一路漫长的调试源码（N多层嵌套），最终找到了mp的分页拦截器定义类PaginationInterceptor的intercept方法，

而sqlInfo.getSql()自动组装的查询总数据量的sql脚本竟然是：

SELECT COUNT(1)
FROM xxx_user bu
LEFT JOIN xc_company_user cu ON cu.user_id = bu.user_id
LEFT JOIN xc_company cp ON cp.id = cu.company_id
LEFT JOIN xxx_dept bd ON bd.id = bu.dept_id
WHERE bu.is_deleted = 0;

执行了一遍竟然耗时7s钟！！！总算找到问题所在了，那么为何做一个count计算会这么慢呢，原因在于下面的几个left join，对于这种count而言，做这些left join纯粹是浪费时间啊！无语，mp的分页查询只是机械化的将原始sql脚本的select做了替换：

去掉这些无用的left join表之后，查询单表count耗时500ms。

解决方案：目前只是确定了left join对count的性能损耗冗余量较大，针对该响应慢的接口做了如下优化，不使用mp自带的分页查询，单独写分页及count查询，而且优化查询方式，不再对每一页查询都做数据总量的查询，而是只在第一页和最后一页时重新查一遍总量，以节省系统开销。

优化后的接口响应时间第一页在600ms左右，第二页在100-200ms之间。

这只是目前临时的优化方案，对mp机械化的分页方式还是需要区分业务场景。

排雷日记 -- mybatisplus分页查询效率相关推荐

MyBatis-Plus分页查询where后面的参数拼接错误报### The error occurred while setting parameters
MyBatis-Plus分页查询条件参数拼接错误! ### The error may exist in file [D:\SourcrGit\IOT_sxx\iot-parent\iot\targe ...
mybatis-plus分页查询三种方法
mybatis-plus分页查询一.前期准备表 1.配置类二.使用selectPage 1.Service 2.结果三.使用2种分页查询的写法 1.xml 2.Mapper 3.第一种写法 4. ...
Mybatis-plus分页查询不生效之问题排查
Mybatis-plus分页查询不生效之问题排查一.问题描述二.分析步骤三.解决方案四.总结一.问题描述在查询的时候,发现点击后台的分页器数字,第2页时候,数据还是和第1页的一致.就看后台 ...
Mybatis-plus分页查询records为空，total不为空的问题
Mybatis-plus分页查询records为空,total不为空的问题问题图片其实原来是分页配置文件的问题(3.4版本以后配置文件有所变化) @Beanpublic MybatisPlusIn ...
mybatis-plus分页查询详解
文章目录一.官方文档二.内置的分页方法 1.内置方法 2.selectPage单元测试 3.PaginationInnerInterceptor分页插件配置三.分页原理分析四.自定义分页方法 ...
使用 MyBatis-Plus 分页查询
文章目录一.MyBatis-Plus 二.使用步骤 1.引入库 2.在application.yml配置 3.启动类上面添加@MapperScan注解 4.实体类User 5.Mapper接口Use ...
mybatis-plus分页查询_SpringBoot + MyBatisPlus 快速入门
Hello,大家好!前面与大家分享了一次如何搭建Java项目脚手架,并且送给大家一个基础项目模板.那今天与大家分享如何使用这个基础项目,也就是快速上手 SpringBoots ➕ MyBatisPlu ...
多年以前提高asp.net分页查询效率的一个实例
2004年数据库查询优化实例情况:sqlserver 2000,资源表,记录近30万条.资源有一个整数的id字段,自动增量,但是资源可以被删除.所以,id并不连续. 用.net SqlDataAda ...
node js+sql 后端分页查询效率越来越低解决方案
创建分页的时候查询效率越来低的解决原因 1,没创建索引 CREATE INDEX index_name ON table_name(column_name,column_name) include(s ...
Mybatis-Plus分页查询total始终为0
一.问题 SpringBoot + Mybatis-Plus,使用分页查询,records有记录,total却始终为0. 二.原因查看很多博客,说是因为没有加分页拦截器.加上了,total仍然为0, ...

排雷日记 -- mybatisplus分页查询效率

排雷日记 -- mybatisplus分页查询效率相关推荐

最新文章

热门文章