很久前,写过关于list数据量大,分批处理的相关介绍文章(自定义的java代码实现):
SSM Mybatis 批量插入 采用分批处理一次500条_默默不代表沉默-CSDN博客_mybatis分批插入

该篇再带来两种 我认为使用挺方便的 分批方式:

1. 使用 apache 的工具包 :

<dependency><groupId>org.apache.commons</groupId><artifactId>commons-collections4</artifactId><version>4.4</version>
</dependency>

代码示例:

ListUtils.partition

        List<Integer> list=new ArrayList<>();for (int i=0;i<500;i++){list.add(i);}List<List<Integer>> newList = Lists.partition(list, 150);for (List<Integer> list1:newList){System.out.println(list1.size());}

结果输出:

2.使用guava的工具包 :

<dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>31.0.1-jre</version>
</dependency>

代码示例:

Lists.partition

        List<Integer> list=new ArrayList<>();for (int i=0;i<500;i++){list.add(i);}List<List<Integer>> newList = Lists.partition(list, 150);for (List<Integer> list1:newList){System.out.println(list1.size());}

结果输出:

当然还有其他工具包也是封装了这些list分批的函数的,但是我只介绍这两种吧。

Java List数据量大, 需要分片批次操作相关推荐

  1. 我艹,MySQL数据量大时,delete操作无法命中索引。

    来自:Java面试那些事儿 最近,在脉脉上看到一个楼主提出的问题:MySQL数据量大时,delete操作无法命中索引:并且还附上了相关案例截图. 最终,楼主通过开启MySQL分析优化器追踪,定位到是优 ...

  2. 【code】Java List数据量大分批次操作

    聚合一下使用挺方便的分批方式,后续查找回顾方便 原先方法代码(不推荐) 提供思路 /*** 切割数据集合** @param list 待切割集合* @param len 集合按照多大size来切割* ...

  3. 面试官问单表数据量大一定要分库分表吗?我们用六个字和十张图回答

    1 文章概述 在业务发展初期单表完全可以满足业务需求,在阿里巴巴开发手册也建议:单表行数超过500万行或者单表容量超过2GB才推荐进行分库分表,如果预计三年后数据量根本达不到这个级别,请不要在创建表时 ...

  4. 历史数据如何处理_数据库表数据量大读写缓慢如何优化(1)【冷热分离】

    今天讨论的内容是冷热分离,也许概念并不陌生,对其使用场景也比较熟悉,但涉及锁的内容时仍然需要认真思考,这部分内容在我们实际开发中的"坑"还是不少的. 业务场景一 曾经经历过供应链相 ...

  5. mysql给数据量大的表添加索引的办法

    有一个问题,一张表有3百万条记录,随着时间的增加,记录量会更多,此时查询速度很慢.在创建此表前没有未相应字段添加索引,所以此时需要为表添加索引.但是因为数据量大的原因,索引添加不成功,想了很多办法,终 ...

  6. 解决Mysql数据量大的时候 分页优化(使用limit)的问题

    解决Mysql数据量大的时候 分页优化(使用limit)的问题 参考文章: (1)解决Mysql数据量大的时候 分页优化(使用limit)的问题 (2)https://www.cnblogs.com/ ...

  7. Echars 折线图 自动向右平移显示数据(数据量大的时候适应)

    <!DOCTYPE html> <html><head><meta charset="utf-8"><title>Ech ...

  8. form 提交 无法显示该网页 数据量大提交Post too large错误

    如果form表单提交数据量大的时候会出现无法显示该网页. 解决办法1: 在 $TOMCAT_HOME$/conf/server.xml中找到 <Connector port="8080 ...

  9. java导出excel数据量大_解决大批量Excel导出OOM问题

    1.背景介绍:最近一直被OOM问题缠绕,原因是表单下载功能访问量比较大,数据量相当多,表单数据存储在mongodb,数据总量2亿多,每个实例总内存限制1.5G左右,线上部署了5个实例,但是最大承受时间 ...

最新文章

  1. SAP S4HANA 介绍LTMC的文章链接
  2. 使用LeakCanary遇到的问题 就是不弹出来
  3. 在vs2010中使用nuget安装EF5报错解决方案
  4. RMAN 不完全恢复
  5. VTK修炼之道56:图形基本操作进阶_表面重建技术(三维点云曲面重建)
  6. OpenGL envmapsphere球形环境图的实例
  7. python如何绘制曲线图_python pandas plot画折线图如何显示x轴的值?
  8. Redis 分布式锁遇到的序列化问题
  9. oracle数据库关不掉,oracle进程关不掉的问题??新手问题
  10. 十分钟带你学会Http协议和Tomcat服务器的原理
  11. JAVA类与对象(一)----基础概念理解
  12. vb显示文件列表_VB基本操作题4/150
  13. java hibernate 多对多_hibernate 多对多映射配置详解
  14. crontab 简介
  15. python密码传参有特殊字符如何解决_am start的总结,-d参数的总结,以及python中传递内容包含中文及特殊字符的解决方案...
  16. putty远程连接以及密钥
  17. 动态规划精卫填海之路
  18. SSCOM下载及无法打开问题解决
  19. 第7章 EL表达式和JSTL
  20. mbot编程机器人怎么连接蓝牙_STEAM教育机器人搭建指南,mBot入门级编程机器人搭建教程...

热门文章

  1. 计算机实现加减乘除法的原理
  2. dell 恢复介质_为您的戴尔计算机创建Windows 10恢复介质
  3. iterm2下载太慢_iTerm2 都不会用,还敢自称老司机?
  4. 如何正确使用Exact Audio Copy抓取无损音乐
  5. 一个标点符号,怎么都整不通
  6. springboot整合kafka2.5(单机模式)
  7. 千锋逆战Java的总结第七周
  8. 小白自学笔记——JAVA基础 1.3写第一个程序
  9. Win7无法添加打印机错误0x00000057如何解决?
  10. Java | abstract关键字【面向对象的第三大特征——多态】