Mongo聚合函数使用Sort排序时内存不足导致查询失败,开启allowDiskUse=true

1、问题描述

2、问题解决

1. Java代码方式解决办法

2. Mongo 原生聚合函数解决办法

1、问题描述

由于项目原因, 需要向数据存储至mongo，在使用过程中 , 单个document(集合)数据量大概在80万条左右 , 单条数据为16的栏位(属性) ,

现有如下需求 , 根据某些特定条件一次性查出N条数据(大致数量在8万条左右) , 并进行 sort 排序,然后在使用Java代码查询时候, 直接抛出了异常 ,

经过Debug跟踪发现在问题具体抛出点是在进行Sort时导致的代码如下:

List<AggregationOperation> aggregationOptions = new ArrayList<>();AggregationOptions publicAggregationOptions = AggregationOptions.builder().allowDiskUse(true).build();aggregationOptions.add(Aggregation.match(Criteria.where("benchId").is(benchDocument.getBenchId())));// 这里就是问题引发处....aggregationOptions.add(Aggregation.sort(Sort.Direction.DESC,"routeCode", "procedureName", "procedureCode", "paramCode"));

由以上代码抛出的异常信息如下:

org.springframework.data.mongodb.UncategorizedMongoDbException: Command failed with error 16819 (Location16819): 'Sort exceeded memory limit of 104857600 bytes,
but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in.' on server 192.168.207.234:27017.
The full response is {"ok": 0.0, "errmsg": "Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in.", "code": 16819, "codeName": "Location16819"};nested exception is com.mongodb.MongoCommandException: Command failed with error 16819 (Location16819): 'Sort exceeded memory limit of 104857600 bytes,but did not opt in to external sorting. Aborting operation.
Pass allowDiskUse:true to opt in.' on server 192.168.207.234:27017. The full response is {"ok": 0.0, "errmsg": "Sort exceeded memory limit of 104857600 bytes,but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in.", "code": 16819, "codeName": "Location16819"}at org.springframework.data.mongodb.core.MongoExceptionTranslator.translateExceptionIfPossible(MongoExceptionTranslator.java:138)at org.springframework.data.mongodb.core.MongoTemplate.potentiallyConvertRuntimeException(MongoTemplate.java:2902)at org.springframework.data.mongodb.core.MongoTemplate.execute(MongoTemplate.java:587)

上面的报错信息是由 spring-data-mongo 封装了原本的mongo报错信息重新打印出来的 , 稍微有点乱 , 意思就是在MongoDB中，内存中排序有100M的限制 要执行大型排序，需要启用allowDiskUse=true选项使用系统缓存将数据写入临时文件以进行排序。

Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in.

2、问题解决

1. Java代码方式解决办法

Spring Data MongoDB api不同版本对allowDiskUse设置的操作写法不同。

对于Spring Data MongoDB 1.5.x以上2.0版本以下版本并没有提供显式的封装 , 故而需要自己创建：

AggregationOptions aggregationOptions = new AggregationOptions(true, false, null);

2.0及以上版本提供内部静态类，以builder的方式设置：

AggregationOptions aggregationOptions = AggregationOptions.builder().allowDiskUse(true).build();

设置完该属性之后 , 需要将 AggregationOptions 通过 Aggregation.newAggregation()..withOptions(AggregationOptions ) 使之生效 , 具体用发如下:

AggregationOptions publicAggregationOptions = AggregationOptions.builder().allowDiskUse(true).build();aggregationOptions.add(Aggregation.match(Criteria.where("benchId").is(123)));aggregationOptions.add(Aggregation.sort(Sort.Direction.DESC,"routeCode", "procedureName", "procedureCode", "paramCode"));// .withOptions()Aggregation aggregation = Aggregation.newAggregation( aggregationOptions).withOptions(publicAggregationOptions);AggregationResults<Document> aggregate = mongoTemplate.aggregate(aggregation,COLLECTION_NAME, Document.class);

2. Mongo 原生聚合函数解决办法

Mongo原生聚合函数 , 取十万条数据 , 进行排序

db.getCollection("document001").aggregate([{$project: {_id: 0}},{$skip: 0},{$limit: 100000},{$sort: {temperature: 1,supplierWorkNo: 1,checkTime:  - 1}}
])

mongo提示报错信息

其实解决办法 , 提示信息中也已经写了出来加上 allowDiskUse 属性即可 , 修改后SQL 如下:

db.getCollection("document001").aggregate([{$project: {_id: 0}},{$skip: 0},{$limit: 77000},{$sort: {temperature: 1,supplierWorkNo: 1,checkTime: - 1}}
], {allowDiskUse: true
})

Mongo聚合函数使用Sort排序时内存不足导致查询失败,开启allowDiskUse=true相关推荐

MongoDB排序时内存大小限制和创建索引的注意事项
线上服务的MongoDB中有一个很大的表,我查询时使用了sort()根据某个字段进行排序,结果报了下面这个错误: [Error] Executor error during find command ...
spring-data-elasticsearch使用Sort排序时Please use a keyword field instead. ……异常解决
异常信息核心提示在Please use a keyword field instead. Alternatively, set fielddata=true on [dataTimestamp] i ...
springboot的Sort排序时遇到的问题 has private access in ‘org.springframework.data.domain.Sort‘
springboot2.2.1(含)以上的版本Sort已经不能再实例化了,构造方法已经是私有的了! private Sort(Sort.Direction direction, List<Str ...
解决SpringBoot整合SpringData JPA的PagingAndSortingRepository的Sort排序时遇到的错误：has protected access in ‘org.sp
问题: 原因: pringboot2.2.1(含)以上的版本Sort已经不能再实例化了,构造方法已经是私有的了! 解决方法: 我们可以改用Sort.by获得Sort对象
CoreData + CloudKit 支持的 App 在导出（export）新建托管对象时内存飙升导致被杀死的解决
问题现象 CoreData + CloudKit 支持的 App 在新建托管对象并同步导出到云时可能会导致进程内存疯狂增长,最终很快被系统杀死. 如果你的 App 满足以下三点,那么很可能出现这种情况 ...
oracle数据库内存不足导致查询变慢,经验：探索内存问题如何造成数据库性能严重异常...
导读:在使用数据库的过程中,内存不足常常会引起数据库异常.但是内存不足,又会为数据库带来哪些具体的影响呢?本次,我们将通过某客户现场数据库在某个时段内性能严重下降的案例来展示由于主机内存不足而造成数据 ...
mysql索引优化longtext_mysql中longtext存在大量数据时，会导致查询很慢？
一个表,1.5w条数据,字段: id,name,content,last_update_time id,自定义主键 name,varchar类型 content是longtext类型, last_up ...
nginx 下载带中文名静态资源时中文乱码导致下载失败
在使用xMFtp上传中文名资源文件时选择:
mysql longtext 查询_mysql中longtext存在大量数据时，会导致查询很慢？
一个表,1.5w条数据,字段: id,name,content,last_update_time id,自定义主键 name,varchar类型 content是longtext类型, last_up ...

Mongo聚合函数使用Sort排序时内存不足导致查询失败,开启allowDiskUse=true

1、问题描述

2、问题解决

1. Java代码方式解决办法

2. Mongo 原生聚合函数解决办法

Mongo聚合函数使用Sort排序时内存不足导致查询失败,开启allowDiskUse=true相关推荐

最新文章

热门文章