https://blog.csdn.net/baidu_38083619/article/details/82463058

博客
学院
下载
图文课
论坛
APP
问答
商城
VIP会员
活动
招聘
ITeye
GitChat

写博客
赚零钱
传资源
关注和收藏在这里

PageHelper 使用

04-06
MySQL高效分页-mybatis插件PageHelper改进

05-27
pageHelper分页插件使用以及_jsp_中数据处理（记录）

08-18
Mybatis插件原理和PageHelper结合实战分页插件

12-30
pageHelper分页超过最大页数后还会没有返回数据

10-26
java分页的实现，插件PageHelper的使用及原理

04-08
PageHelper原理

09-14
PageHelper源码(一)_:PageInfo

09-07
pagehelper连接查询分页问题

06-30
PageHelper分页使用

01-30
PageHelper分页插件源码及原理剖析

05-05
mybatis框架---分页插件PageHelper的使用方法

03-13
Mybatis使用pageHelper分页插件原理

08-25
PageHelper分页插件在面对大数据的时候的问题

03-07
pageHelper超过最大页数后还会返回数据

07-05
百万数据_分页插件pageHelper__select_count（*）速度慢问题

07-02
PageHelper_属性

11-23
PageHelper 实现原理

08-04
mybatis分页pageHelper的源码查看

09-06
浅析pagehelper分页原理

04-02
mysql大数据量分页慢问题解决方案

02-14
解决mongodb大数据量分页查询效率问题

01-03
浅谈大数据量查询

02-19
大数据量SqlServer效率分页

05-16
大数据量分页优化--延迟查询

04-19
oracle 大数据量分页查询

03-10
mysql大数据量的分页查询问题

02-14
大数据量下的分页解决方法

03-02
大数据量分页存储过程效率测试

03-08
SQL大数据量分页性能优化

06-06
针对大数据量查询效率的经验

12-22
大数据量查询

02-27
mybats_分页插件_pageHelper_入门使用示例

07-27
SQL大数据量查询的优化

09-06
使用PageHelper时发现超过最大数量的页数，仍然可以返回数据

10-25
SSM全注解方式使用PageHelper实现分页查询

06-22
十一、整合PageHelper实现分页查询

10-19
分页插件pagehelper杂谈

10-31
mybatis中使用pageHelper实现一对多分页

05-20
(转)当使用Pagehelper进行分页时页数不在实际页数之内依旧有数据返回

07-30

原

浅谈PageHelper插件分页实现原理及大数据量下SQL查询效率问题解决

2018年09月06日 17:25:19 岁月安然阅读数：2058

前因：项目一直使用的是PageHelper实现分页功能，项目前期数据量较少一直没有什么问题。随着业务扩增，数据库扩增PageHelper出现了明显的性能问题。几十万甚至上百万的单表数据查询性能缓慢，需要几秒乃至十几秒的查询时间。故此特地研究了一下PageHelper源码，查找PageHelper分页的实现方式。

一段较为简单的查询，跟随debug开始源码探寻之旅。

public ResultContent select(Integer id) {
Page<Test> blogPage = PageHelper.startPage(1,3).doSelectPage( () -> testDao.select(id));
List<Test> test = (List<Test>)blogPage.getResult();
return new ResultContent(0, "success", test);
}

主要保存由前端传入的pageNum(页数)、pageSize(每页显示数量)和count(是否进行count(0)查询)信息。

这里是简单的创建page并保存当前线程的变量副本心里，不做深究。

public static <E> Page<E> startPage(int pageNum, int pageSize) {
return startPage(pageNum, pageSize, DEFAULT_COUNT);
}
public static <E> Page<E> startPage(int pageNum, int pageSize, boolean count) {
return startPage(pageNum, pageSize, count, (Boolean)null, (Boolean)null);
}
public static <E> Page<E> startPage(int pageNum, int pageSize, String orderBy) {
Page<E> page = startPage(pageNum, pageSize);
page.setOrderBy(orderBy);
return page;
}
public static <E> Page<E> startPage(int pageNum, int pageSize, boolean count, Boolean reasonable, Boolean pageSizeZero) {
Page<E> page = new Page(pageNum, pageSize, count);
page.setReasonable(reasonable);
page.setPageSizeZero(pageSizeZero);
Page<E> oldPage = getLocalPage();
if(oldPage != null && oldPage.isOrderByOnly()) {
page.setOrderBy(oldPage.getOrderBy());
}
setLocalPage(page);
return page;
}

开始执行真正的select语句

public <E> Page<E> doSelectPage(ISelect select) {
select.doSelect();
return this;
}

进入MapperProxy类执行invoke方法获取到方法名称及参数值

public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {
if (Object.class.equals(method.getDeclaringClass())) {
try {
return method.invoke(this, args);
} catch (Throwable t) {
throw ExceptionUtil.unwrapThrowable(t);
}
}
final MapperMethod mapperMethod = cachedMapperMethod(method);
return mapperMethod.execute(sqlSession, args);
}

接着是MapperMethod方法执行execute语句，判断是增、删、改、查。判断返回值是多个，进入executeForMany方法

public Object execute(SqlSession sqlSession, Object[] args) {
Object result;
if (SqlCommandType.INSERT == command.getType()) {
Object param = method.convertArgsToSqlCommandParam(args);
result = rowCountResult(sqlSession.insert(command.getName(), param));
} else if (SqlCommandType.UPDATE == command.getType()) {
Object param = method.convertArgsToSqlCommandParam(args);
result = rowCountResult(sqlSession.update(command.getName(), param));
} else if (SqlCommandType.DELETE == command.getType()) {
Object param = method.convertArgsToSqlCommandParam(args);
result = rowCountResult(sqlSession.delete(command.getName(), param));
} else if (SqlCommandType.SELECT == command.getType()) {
if (method.returnsVoid() && method.hasResultHandler()) {
executeWithResultHandler(sqlSession, args);
result = null;
} else if (method.returnsMany()) {
result = executeForMany(sqlSession, args);
} else if (method.returnsMap()) {
result = executeForMap(sqlSession, args);
} else {
Object param = method.convertArgsToSqlCommandParam(args);
result = sqlSession.selectOne(command.getName(), param);
}
} else if (SqlCommandType.FLUSH == command.getType()) {
result = sqlSession.flushStatements();
} else {
throw new BindingException("Unknown execution method for: " + command.getName());
}
if (result == null && method.getReturnType().isPrimitive() && !method.returnsVoid()) {
throw new BindingException("Mapper method '" + command.getName()
+ " attempted to return null from a method with a primitive return type (" + method.getReturnType() + ").");
}
return result;
}

这个方法开始调用SqlSessionTemplate、DefaultSqlSession等类获取到Mapper.xml文件的SQL语句

private <E> Object executeForMany(SqlSession sqlSession, Object[] args) {
List<E> result;
Object param = method.convertArgsToSqlCommandParam(args);
if (method.hasRowBounds()) {
RowBounds rowBounds = method.extractRowBounds(args);
result = sqlSession.<E>selectList(command.getName(), param, rowBounds);
} else {
result = sqlSession.<E>selectList(command.getName(), param);
}
// issue #510 Collections & arrays support
if (!method.getReturnType().isAssignableFrom(result.getClass())) {
if (method.getReturnType().isArray()) {
return convertToArray(result);
} else {
return convertToDeclaredCollection(sqlSession.getConfiguration(), result);
}
}
return result;
}

开始进入PageHelper的真正实现，Plugin通过实现InvocationHandler进行动态代理获取到相关信息

public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {
try {
Set<Method> methods = signatureMap.get(method.getDeclaringClass());
if (methods != null && methods.contains(method)) {
return interceptor.intercept(new Invocation(target, method, args));
}
return method.invoke(target, args);
} catch (Exception e) {
throw ExceptionUtil.unwrapThrowable(e);
}
}

PageInterceptor 实现Mybatis的Interceptor 接口，进行拦截

public Object intercept(Invocation invocation) throws Throwable {
try {
Object[] args = invocation.getArgs();
MappedStatement ms = (MappedStatement)args[0];
Object parameter = args[1];
RowBounds rowBounds = (RowBounds)args[2];
ResultHandler resultHandler = (ResultHandler)args[3];
Executor executor = (Executor)invocation.getTarget();
CacheKey cacheKey;
BoundSql boundSql;
if(args.length == 4) {
boundSql = ms.getBoundSql(parameter);
cacheKey = executor.createCacheKey(ms, parameter, rowBounds, boundSql);
} else {
cacheKey = (CacheKey)args[4];
boundSql = (BoundSql)args[5];
}
this.checkDialectExists();
List resultList;
if(!this.dialect.skip(ms, parameter, rowBounds)) {
if(this.dialect.beforeCount(ms, parameter, rowBounds)) {
Long count = this.count(executor, ms, parameter, rowBounds, resultHandler, boundSql);
if(!this.dialect.afterCount(count.longValue(), parameter, rowBounds)) {
Object var12 = this.dialect.afterPage(new ArrayList(), parameter, rowBounds);
return var12;
}
}
resultList = ExecutorUtil.pageQuery(this.dialect, executor, ms, parameter, rowBounds, resultHandler, boundSql, cacheKey);
} else {
resultList = executor.query(ms, parameter, rowBounds, resultHandler, cacheKey, boundSql);
}
Object var16 = this.dialect.afterPage(resultList, parameter, rowBounds);
return var16;
} finally {
this.dialect.afterAll();
}
}

转到ExecutorUtil抽象类的pageQuery方法

public static <E> List<E> pageQuery(Dialect dialect, Executor executor, MappedStatement ms, Object parameter, RowBounds rowBounds, ResultHandler resultHandler, BoundSql boundSql, CacheKey cacheKey) throws SQLException {
if(!dialect.beforePage(ms, parameter, rowBounds)) {
return executor.query(ms, parameter, RowBounds.DEFAULT, resultHandler, cacheKey, boundSql);
} else {
parameter = dialect.processParameterObject(ms, parameter, boundSql, cacheKey);
String pageSql = dialect.getPageSql(ms, boundSql, parameter, rowBounds, cacheKey);
BoundSql pageBoundSql = new BoundSql(ms.getConfiguration(), pageSql, boundSql.getParameterMappings(), parameter);
Map<String, Object> additionalParameters = getAdditionalParameter(boundSql);
Iterator var12 = additionalParameters.keySet().iterator();
while(var12.hasNext()) {
String key = (String)var12.next();
pageBoundSql.setAdditionalParameter(key, additionalParameters.get(key));
}
return executor.query(ms, parameter, RowBounds.DEFAULT, resultHandler, cacheKey, pageBoundSql);
}
}

在抽象类AbstractHelperDialect的getPageSql获取到对应的Page对象

public String getPageSql(MappedStatement ms, BoundSql boundSql, Object parameterObject, RowBounds rowBounds, CacheKey pageKey) {
String sql = boundSql.getSql();
Page page = this.getLocalPage();
String orderBy = page.getOrderBy();
if(StringUtil.isNotEmpty(orderBy)) {
pageKey.update(orderBy);
sql = OrderByParser.converToOrderBySql(sql, orderBy);
}
return page.isOrderByOnly()?sql:this.getPageSql(sql, page, pageKey);
}

进入到MySqlDialect类的getPageSql方法进行SQL封装，根据page对象信息增加Limit。分页的信息就是这么拼装起来的

public String getPageSql(String sql, Page page, CacheKey pageKey) {
StringBuilder sqlBuilder = new StringBuilder(sql.length() + 14);
sqlBuilder.append(sql);
if(page.getStartRow() == 0) {
sqlBuilder.append(" LIMIT ? ");
} else {
sqlBuilder.append(" LIMIT ?, ? ");
}
return sqlBuilder.toString();
}

将最后拼装好的SQL返回给DefaultSqlSession执行查询并返回

public <E> List<E> selectList(String statement, Object parameter, RowBounds rowBounds) {
try {
MappedStatement ms = configuration.getMappedStatement(statement);
return executor.query(ms, wrapCollection(parameter), rowBounds, Executor.NO_RESULT_HANDLER);
} catch (Exception e) {
throw ExceptionFactory.wrapException("Error querying database. Cause: " + e, e);
} finally {
ErrorContext.instance().reset();
}

至此整个查询过程完成，原来PageHelper的分页功能是通过Limit拼接SQL实现的。查询效率低的问题也找出来了，那么应该如何解决。

首先分析SQL语句，limit在数据量少或者页数比较靠前的时候查询效率是比较高的。(单表数据量百万进行测试)

select * from user where age = 10 limit 1,10;结果显示0.43s

当where条件后的结果集较大并且页数达到一个量级整个SQL的查询效率就十分低下(哪怕where的条件加上了索引也不行)。

select * from user where age = 10 limit 100000,10;结果显示4.73s

那有什么解决方案呢？mysql就不能单表数据量超百万乃至千万嘛？答案是NO，显然是可以的。

SELECT a.* FROM USER a
INNER JOIN
(SELECT id FROM USER WHERE age = 10 LIMIT 100000,10) b
ON a.id = b.id;

结果0.53s

完美解决了查询效率问题！！！其中需要对where条件增加索引，id因为是主键自带索引。select的字段越多,字段数据量越大,速度就越慢,所以采用查询主键字段后进行关联大幅度提升了查询效率。

PageHelper想要优化需要在拦截器的拼接SQL部分进行重构，由于博主能力有限暂未实现。能力较强的读者可以自己进行重构

附上PageHelper的git地址：https://github.com/pagehelper/Mybatis-PageHelper/

java分页的实现，插件PageHelper的使用及原理

1.9万

如果你只希望知道PageHelper的用法，直接去github查看官网文档 Mybatis-PageHelper. 1.关于分页。在web项目中，分页是一个常见的功能。在我刚学完javaweb的...来自： qq_25498677

PageHelper分页插件源码及原理剖析

3.5万

摘要: com.github.pagehelper.PageHelper是一款好用的开源免费的Mybatis第三方物理分页插件。 PageHelper是一款好用的开源免费的Mybatis第三...来自： Optimistic

浅析pagehelper分页原理

4476

写的第一篇文章，不足之处，请多提宝贵意见，谢谢。之前项目一直使用的是普元框架，最近公司项目搭建了新框架，主要是由公司的大佬搭建的，以springboot为基础。为了多学习点东西，我也模仿他搭了一套自己...来自：王大锤的博客

Mybatis使用pageHelper分页插件原理

2.9万

首先在Mybatis的配置文件 SqlMapConfig.xml中配置PageHelper插件 xml version="1.0" encoding="UTF-8" ?> DOCTYPE c...来自： jaryle的专栏

mybatis使用PageHelper分页插件原理

4605

1、官方介绍： https://github.com/pagehelper/Mybatis-PageHelper/blob/master/README_zh.md 官方介绍文档中已经说明了详细的配...来自： lh87270202的博客

pageHelper分页插件实现原理及使用方法

5913

插件官方网站：https://github.com/pagehelper/Mybatis-PageHelper/tree/master/src/main/java/com/github/pagehel...来自： summerwindl的博客

MyBatis拦截器分页原理及PageHelper分页插件教学

2517

闲来无事，特地整理了一下MyBatis拦截器实现分页的原理。地球人应该都知道要利用JDBC对数据库进行操作，就需要一个statement对象，MyBatis也是如此。MyBatis在执行sql语句前会...来自： jant的博客

Mybatis分页插件——PageHelper使用与原理介绍

554

推荐一款Mybatis分页插件以前也写过一篇博文介绍Mybatis的插件，以及如何通过...来自： itcats_cn的博客

使用pagehelper分页插件详细教程

2931

pagehelper是一个简单的实现分页技巧的插件我们要使用这个插件无可避免的需要引用它的jar包，你可以从下面的地址中下载最新版本的 jar 包 1：https://oss.sonatype....来自：醉梦无生的博客

PageHelper分页使用

5054

使用分页插件的好处：在编写Web后台代码时，分页是必不可少的，当然最通常的思路是在Sql中使用分页关键字来进行分页。在实际开发中，更多的是使用分页插件来减少代码冗杂，使编码更加清晰思路：分页控...来自： ALearrring的博客

文章热词

SQL Server SQL Server视频教程 SQL Server培训 SQL Server培训套餐 SQL Server教程

个人分类

linux安装教程2篇
HTTPS1篇
Redis2篇
ĴAVA基础篇5篇
Idea插件2篇
并发编程1篇
Mybatis1篇
Mysql4篇

展开

联系我们

微信客服

QQ客服

kefu@csdn.netQQ客服

客服论坛400-660-0108

工作时间 8:00-22:00

关于我们招聘广告服务网站地图

百度提供站内搜索 京ICP证09002463号

经营性网站备案信息网络110报警服务

北京互联网违法和不良信息举报中心

中国互联网举报中心

猿学习

零基础学JAVA
Python 爬虫和数据分析实战