使用JUC下的CountDownLatch异步批量处理数据

前几天有个需求让导出物流的发货信息, 比如2023年1月1日之后的

sql查了下数据量比较大, 而且需要sql查询到的数据中的一些参数, 调用外部api接口才能获取到完成的数据

由于外部api只能依次调用, 每次只能查询一条数据, 导致excel的导出非常缓慢, 最后考虑使用多线程异步查询外部api, 汇总数据, 最后做excel导出

考虑到需要做数据汇总, 使用CountDownLatch最合适

CountDownLatch可以使一个获多个线程等待其他线程各自执行完毕后再执行。

CountDownLatch 定义了一个计数器，和一个阻塞队列，当计数器的值递减为0之前，阻塞队列里面的线程处于挂起状态，当计数器递减到0时会唤醒阻塞队列所有线程，这里的计数器是一个标志，可以表示一个任务一个线程，也可以表示一个倒计时器，CountDownLatch可以解决那些一个或者多个线程在执行之前必须依赖于某些必要的前提业务先执行的场景。

1. 首先查询要统计的物流信息

Lists.partition 是 guava 提供的工具类, 目的在于把一个很长的集合, 拆分多多个小集合, 比如我这里是把 itemList 做拆分, 每一个小集合的长度是 50, 之后创建一个拥有 50 个计数器的 CountDownLatch, 计数器的数量一定要是拆分后集合的数量, 不然会丢数据

2. 多线程执行

循环外层集合, 会循环50次, 每一次循环取到里面的小集合, 也就是真正要处理的业务数据, 然后开启一个线程调用第三方api接口, 每一个小集合处理完毕, 千万要记住在 finally 里把计数器做减一操作

3. 等待所有线程执行完毕

使用 countDownLatch的 await() 方法, 等待所有线程执行完毕, 也就是计数器为0, 从源码的角度看就是 state 这个字段是不是0, 如果不放心, 可以传递等待超时时间

4. excel导出

等所有线程执行完毕, 做excel导出工作

使用JUC下的CountDownLatch异步批量处理数据相关推荐

ajax实现向上正在加载,向上滚动或者向下滚动分页异步加载数据(Ajax + lazyload)
/**** desc : 分页异步获取列表数据,页面向上滚动时候加载前面页码,向下滚动时加载后面页码 ajaxdata_url ajax异步的URL 如data.php page_val_name a ...
vue el-checkbox按下shift键实现批量选择数据
目录 1.先看下效果 2.代码分析 1.添加html代码,先将列表写出来 2.初始化数据:给原数据添加index属性 3.设置一个flag记录是否按下了shift键,通过监听键盘按下和松开给flag赋 ...
JUC下的CountDownLatch，CyclicBarrier、Semaphore的使用方法
countDownLatch是在 java1.5 被引入,跟它一起被引入的工具类还有 CyclicBarrier.Semaphore.concurrentHashMap 和 BlockingQueue ...
Linux下redis 以关键字批量删除数据
删除以某些key(info)开头得数据,总结了一下: 环境配置: CentOS-6,redis-3.2.8,双机主备集群 192.168.149.212:7018,7019,7020:(master) ...
SharePoint 实现ajax异步加载数据的几种方式
初到公司,由原想的asp.net开发转向了SharePoint(简称SP)开发,个人感觉与之前差别不大,今天用sp实现异步加载数据的时候遇到点问题,之前在asp.net下一步都是用 jquery.aj ...
excel批量导入数据
这个功能也是我以前项目中经常用到的,感觉很实用,必须拿来分享下: excel进行批量导入数据,结合struts2+ajax 导入的视图:batchAdd.ftl(视图无关紧要的,可以换成其他任何视图, ...
几分钟教你批量重命名文件，批量更改数据的方法
批量更改数据的方法有很多,今天为您介绍的是使用Renamer这款专门为批量重命名文件而设计的一款工具,使用Renamer可以批量重命名文件,还可以批量更改文件的数据,操作简单,可快速地同时更改多个文件 ...
【重难点】【JUC 02】volitale 常用模式、JUC 下有哪些内容、并发工具类
[重难点][JUC 02]volitale 常用模式 .JUC 下有哪些内容 .并发工具类文章目录 [重难点][JUC 02]volitale 常用模式 .JUC 下有哪些内容 .并发工具类一.v ...
libusb linux 异步传输,使用libusb异步批量传输，设备停止接收，如果我们空闲
我正在写一个Linux程序(使用Qt 4.8和libusb 1.0),它将与自定义USB设备(当前正在由同事编程)进行通信.使用libusb异步批量传输,设备停止接收,如果我们空闲第1步是让&quo ...

使用JUC下的CountDownLatch异步批量处理数据

使用JUC下的CountDownLatch异步批量处理数据相关推荐

最新文章

热门文章