使用FeatureTask多线程优化in，提高查询速度

场景是这样的：使用in查询数据的时候，in的数量越多，效率越低，所以一个优化的思路是，缩小in查询的数量，用多线程的方式查询缩小数量后in的sql，并行查询。

直接上代码：

public List<UserOrgVO> getCscpOrgInfoByUserId(List<Integer> userIds) {//List<UserOrgVO> list = innerWorkFlowRepository.batchGetCscpOrgInfoByUserId(userIds);List<UserOrgVO> list = getInListThread(userIds);return list;}private List<UserOrgVO> getInListThread(List<Integer> userIds){List<UserOrgVO> resultList = Collections.synchronizedList(new ArrayList<>());List<CompletableFuture> tasks = new ArrayList<>();int threshold = 3; // 每个线程最大条数int threadNum = userIds.size() / threshold;  // 线程个数int lastSize = userIds.size() % threshold; // 最后一个线程的数据条数//多线程for (int i = 0; i <= threadNum; i++) {int start = i * threshold;int end = 0;if (i != threadNum) {end = (i + 1) * threshold;} else {end = lastSize == 0 ? start : (lastSize + start);}int finalEnd = end;CompletableFuture<Void> task = CompletableFuture.runAsync(() -> {List<Integer> tempMsIdList = new ArrayList<>();for (int j = start; j < finalEnd; j++) {tempMsIdList.add(userIds.get(j));}List<UserOrgVO> temps = new ArrayList<>();if(!org.springframework.util.CollectionUtils.isEmpty(tempMsIdList)){//查询SQLSystem.out.println(Thread.currentThread().getId() + "in的数量：" + tempMsIdList.size());temps =  innerWorkFlowRepository.batchGetCscpOrgInfoByUserId(tempMsIdList);}if (!org.springframework.util.CollectionUtils.isEmpty(temps)) {resultList.addAll(temps);}});tasks.add(task);}CompletableFuture.allOf(tasks.toArray((new CompletableFuture[] {}))).join();return resultList;}

其中，只需配置private的方法中的最大线程数参数threshold即可，按照实际需求配置，此时我配置的参数是3，即每次in的数量是3个，测试userIds的数量是8个。

打印的结果如下（sql日志忽略）：

使用FeatureTask多线程优化in，提高查询速度相关推荐

利用SQL索引提高查询速度
1.合理使用索引索引是数据库中重要的数据结构,它的根本目的就是为了提高查询效率.现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构. 索引的使用要恰到好处,其使用原则如下: 在经常进行连接 ...
php 增加mysql 索引,【PHP】为什么 MySQL 添加索引后就可以提高查询速度
遇到这种问题,你就要高度集中,保持空杯心态,脑海里要有以下三个问题为什么添加索引会提高查询速度索引提高了查询速度对增删改有影响索引常用的算法原理分析B树和B+树下面来详细介绍介绍为什么添加索 ...
lambda 查询大量数据速度很慢_处理百万级以上的数据提高查询速度的方法
处理百万级以上的数据提高查询速度的方法: 1.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描. 2.对查询进行优化,应尽量避免全表扫描,首先应考 ...
lambda 查询大量数据速度很慢_处理百万级以上的数据提高查询速度的方法：
处理百万级以上的数据提高查询速度的方法: 1.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描. 2.对查询进行优化,应尽量避免全表扫描,首先应考 ...
redis提高查询速度_面试小点-MySQL 的两种索引方法如何提高查询速度
MySQL索引的建立对于MySQL的高效运行是很重要的,索引可以大大提高MySQL的检索速度. 索引方法 Mysql的索引方法有两种,BTERR和HASH. 散列表(Hash Table)和B+Tre ...
mysql索引级别快慢_面试小点-MySQL 的两种索引方法如何提高查询速度
MySQL 索引的建立对于 MySQL 的高效运行是很重要的,索引可以大大提高 MySQL 的检索速度. 索引方法 Mysql 的索引方法有两种,BTERR 和 HASH. 散列表(Hash Tabl ...
Oracle物化视图优化多表查询速度
近期项目中遇到有关报表查询sql速度过慢的问题,由于sql是多个表相关联的查询结果,并且数据量过大,所以导致查询速度过慢.为此,采用物化视图来提高查询速度. 1.物化视图概述物化视图是包括一个查询结 ...
使用索引为什么能提高查询速度？
作者:big_foot cnblogs.com/Berryxiong/p/6249427.html 关于资源视频下载的说明常用设计模式完整系列篇 [强化编程功底]算法文摘为什么能够提高查询速度? ...
处理百万级以上的数据提高查询速度的方法
1.应尽量避免在where子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描. 2.对查询进行优化,应尽量避免全表扫描,首先应考虑在where及orderby涉及的列上建立索 ...
MySQL 异步查询提高查询速度
本文解决什么问题什么是 MySQL 异步查询 MySQL 异步查询的优缺点一个例子异步查询功能 MySQLi 扩展提供了异步查询功能,需要使用 mysqlnd ( MySQL Native Dr ...

使用FeatureTask多线程优化in，提高查询速度

使用FeatureTask多线程优化in，提高查询速度相关推荐

最新文章

热门文章