新技能 MyBatis 千万数据表,快速分页!
点击上方蓝色“方志朋”,选择“设为星标”
回复“666”获取独家整理的学习资料!
来源:https://segmentfault.com/a/1190000022478915
基本概念
流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器,应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。
如果没有流式查询,我们想要从数据库取 1000 万条记录而又没有足够的内存时,就不得不分页查询,而分页查询效率取决于表设计,如果设计的不好,就无法执行高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。
流式查询的过程当中,数据库连接是保持打开状态的,因此要注意的是:执行一个流式查询后,数据库访问框架就不负责关闭数据库连接了,需要应用在取完数据后自己关闭。
MyBatis 流式查询接口
MyBatis 提供了一个叫 org.apache.ibatis.cursor.Cursor
的接口类用于流式查询,这个接口继承了 java.io.Closeable 和 java.lang.Iterable 接口,由此可知:
Cursor 是可关闭的;
Cursor 是可遍历的。
除此之外,Cursor 还提供了三个方法:
isOpen():用于在取数据之前判断 Cursor 对象是否是打开状态。只有当打开时 Cursor 才能取数据;
isConsumed():用于判断查询结果是否全部取完。
getCurrentIndex():返回已经获取了多少条数据
因为 Cursor 实现了迭代器接口,因此在实际使用当中,从 Cursor 取数据非常简单:
cursor.forEach(rowObject -> {...});
但构建 Cursor 的过程不简单
我们举个实际例子。下面是一个 Mapper 类:
@Mapper
public interface FooMapper {@Select("select * from foo limit #{limit}")Cursor<Foo> scan(@Param("limit") int limit);
}
方法 scan() 是一个非常简单的查询。通过指定 Mapper 方法的返回值为 Cursor 类型,MyBatis 就知道这个查询方法一个流式查询。
然后我们再写一个 SpringMVC Controller 方法来调用 Mapper(无关的代码已经省略):
@GetMapping("foo/scan/0/{limit}")
public void scanFoo0(@PathVariable("limit") int limit) throws Exception {try (Cursor<Foo> cursor = fooMapper.scan(limit)) { // 1cursor.forEach(foo -> {}); // 2}
}
上面的代码中,fooMapper 是 @Autowired 进来的。注释 1 处调用 scan 方法,得到 Cursor 对象并保证它能最后关闭;2 处则是从 cursor 中取数据。
上面的代码看上去没什么问题,但是执行 scanFoo0() 时会报错:
java.lang.IllegalStateException: A Cursor is already closed.
这是因为我们前面说了在取数据的过程中需要保持数据库连接,而 Mapper 方法通常在执行完后连接就关闭了,因此 Cusor 也一并关闭了。
所以,解决这个问题的思路不复杂,保持数据库连接打开即可。我们至少有三种方案可选。
方案一:SqlSessionFactory
我们可以用 SqlSessionFactory 来手工打开数据库连接,将 Controller 方法修改如下:
@GetMapping("foo/scan/1/{limit}")
public void scanFoo1(@PathVariable("limit") int limit) throws Exception {try (SqlSession sqlSession = sqlSessionFactory.openSession(); // 1Cursor<Foo> cursor = sqlSession.getMapper(FooMapper.class).scan(limit) // 2) {cursor.forEach(foo -> { });}
}
上面的代码中,1 处我们开启了一个 SqlSession (实际上也代表了一个数据库连接),并保证它最后能关闭;2 处我们使用 SqlSession 来获得 Mapper 对象。这样才能保证得到的 Cursor 对象是打开状态的。
方案二:TransactionTemplate
在 Spring 中,我们可以用 TransactionTemplate 来执行一个数据库事务,这个过程中数据库连接同样是打开的。代码如下:
@GetMapping("foo/scan/2/{limit}")
public void scanFoo2(@PathVariable("limit") int limit) throws Exception {TransactionTemplate transactionTemplate = new TransactionTemplate(transactionManager); // 1transactionTemplate.execute(status -> { // 2try (Cursor<Foo> cursor = fooMapper.scan(limit)) {cursor.forEach(foo -> { });} catch (IOException e) {e.printStackTrace();}return null;});
}
上面的代码中,1 处我们创建了一个 TransactionTemplate 对象(此处 transactionManager 是怎么来的不用多解释,本文假设读者对 Spring 数据库事务的使用比较熟悉了),2 处执行数据库事务,而数据库事务的内容则是调用 Mapper 对象的流式查询。注意这里的 Mapper 对象无需通过 SqlSession 创建。
方案三:@Transactional 注解
这个本质上和方案二一样,代码如下:
@GetMapping("foo/scan/3/{limit}")
@Transactional
public void scanFoo3(@PathVariable("limit") int limit) throws Exception {try (Cursor<Foo> cursor = fooMapper.scan(limit)) {cursor.forEach(foo -> { });}
}
它仅仅是在原来方法上面加了个 @Transactional
注解。这个方案看上去最简洁,但请注意 Spring 框架当中注解使用的坑:只在外部调用时生效。在当前类中调用这个方法,依旧会报错。
以上是三种实现 MyBatis 流式查询的方法。
热门内容:
面试官:String长度有限制吗?是多少?
工作10年后,再看String s = new String("xyz") 创建了几个对象?
Java外卖点餐系统
Redis 分布式锁使用不当,酿成一个重大事故,超卖了100瓶飞天茅台!!!
最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。
明天见(。・ω・。)ノ♡
新技能 MyBatis 千万数据表,快速分页!相关推荐
- 小唐开始学 Spring Boot——(3)利用mybatis访问数据表
文章目录 一.过程 创建新项目 创建数据表 创建返回结构 查询函数 方法集成 访问网站 配置数据库 成功 二.项目代码 Testlist.java Test1.java TestMapper.java ...
- ORCAD如何用数据表快速制做原理图封装
用数据表制做IC封装可以极大的提高制作原理图封装的效率,而且还不容易出错. 在Library→schlib.olb下,右击新建. 跳出下面的对话框,把在Excel表格里做好的IC引脚编号.名称.位置等 ...
- MySQL千万数据量深分页优化
前言 提到MySQL的事务,我相信对MySQL有了解的同学都能聊上几句,无论是面试求职,还是日常开发,MySQL的事务都跟我们息息相关. 而事务的ACID(即原子性Atomicity.一致性Consi ...
- 超过100w条数据表的分页查询优化
目录 问题描述 解决方案 参考文献 问题描述 最近做一个运营商的项目,其中有一个需求就是需要将用户所有的通话记录保存起来,支持按照各种条件查询.最开始开发阶段,使用的单表存储,后来根据调研,确定每天的 ...
- 新技能Get,PC整机快速备份和还原靠谱攻略
重装电脑或是换了新机是件很麻烦的事 尤其安装好系统还要重新装软件 还要恢复一些个性化设置 当然迁移数据也很麻烦 一步到位的整机备份有木有?当然有!真香! 群晖 10 月新推出的新套件 Active B ...
- (菜鸟要飞系列)五,基于Asp.Net MVC5的后台管理系统(添加数据表的分页功能)...
献上代码 1 public ActionResult SelectAll(int id=1) 2 { 3 4 List<UserModel> arrayUserModel = new Li ...
- java后台如何实现让用户可以在页面修改数据表_长见识了,Kotlin + SpringBoot + JPA 整合开发比Java更爽......
点击上方蓝色字体,选择"标星公众号" 优质文章,第一时间送达 关注公众号后台回复pay或mall获取实战项目资料+视频 作者:ride segmentfault.com/a/119 ...
- Laravel学习笔记4,文件上传,分页,验证码,数据表和迁移
目录 一.文件上传 二.数据分页 三.验证码 Return Image Return URL Return HTML 六.响应处理 一.文件上传 在laravel, 里面实现文件的上传是很简单的,压根 ...
- Case Study: 利用PHP获取关系型数据库中多张数据表的数据
一.目标 该笔记的目的是引导读者借助WampServer平台和MySQL数据库,利用HTML/CSS/JS/PHP设计一个多数据表关联的网页.在上一个案例(Case Study: 利用JS实现数据库网 ...
最新文章
- mysql中char与varchar的区别分析(补充一句,int和integer没区别)
- react-native 使用 antd-mobile-rn UI进行开发app
- javascript基础07
- 根据相机内参进行图像去畸变
- CCIE-LAB-第八篇-SDWAN-Branch1_Branch2_Vmanage
- The content of the adapter has changed but ListView did not receive a notification
- OO第一单元总结——求导之旅
- matlab做线性规划图
- 定投复利公式 php,基金定投收益计算公式和复利计算公式
- 用python将文件夹里的图片统一修改名字
- vscode英文感叹号没出现提示文本解决方法
- Python定时爬虫脚本
- ⅰcp经济模型_简单介绍一下R中的几种统计分布及常用模型
- 7个等级 容灾等级_容灾备份的柒个国际标准等级(一)
- 河北外国语学院计算机宿舍,2021年河北外国语学院新生宿舍条件和宿舍环境图片...
- udf开发入门(python udf、hive udf)
- 外贸电子商务网站的网络广告推广方案
- 假设银行一年整存零取的月息为1.875%(年息为12*1.875%,年息按复利计算),现在某人手头有一笔钱,他打算在今后5年中,每年年底取出1000元作为孩子来年的教育金,到第5年孩子毕业时刚好取完这
- 浏览器渲染页面的原理、回流、重绘
- 如何制作精美的GIF动图