php mongo sort -1出错,mongoDB排序引起的ERROR
mongo 使用过程中遇到了一个问题,需求就是要对mongo 库中数据进行排序查询
logger.info("历史采集汇总");// 一天数据
calendar = Calendar.getInstance();
calendar.add(Calendar.HOUR_OF_DAY, -24);
cond = new BasicDBObject();
cond.put("workTime", new BasicDBObject(QueryOperators.GTE, calendar.getTime()));
feild = new BasicDBObject();
query = new BasicQuery(cond, feild);
query.with(new Sort(Sort.Direction.DESC, "stockId"));
List dayStockList = mongoTemplate.find(query, HashMap.class, "stockAnls");
logger.info("分析数据数量24"+dayStockList.size());
query = new BasicQuery(cond, feild);
query.with(new Sort(Sort.Direction.DESC, "topicId"));
List dayTopicList = mongoTemplate.find(query, HashMap.class, "topicAnls");
logger.info("分析数据数量24"+dayTopicList.size());
这种方法在库里数据容量小的情况下完全可以胜任,但是如果数据过多,这时会报一个 ERROR
2018/06/28-14:40:22 [pool-1-thread-1] ERROR
org.springframework.scheduling.support.TaskUtils$LoggingErrorHandler-
Unexpected error occurred in scheduled task.
org.springframework.data.mongodb.UncategorizedMongoDbException:
Query failed with error code 96 and error message 'Executor error
during find command: OperationFailed: Sort operation used more than the
maximum 33554432 bytes of RAM. Add an index, or specify a smaller
limit.' on server 47.98.85.173:3717; nested exception is
com.mongodb.MongoQueryException: Query failed with error code 96 and
error message 'Executor error during find command: OperationFailed: Sort
operation used more than the maximum 33554432 bytes of RAM. Add an
index, or specify a smaller limit.' on server 47.98.85.173:3717
按照错误提示,知道这是排序的时候报的错,因为 mongo 的 sort 操作是在内存中操作的,必然会占据内存,同时mongo内的一个机制限制排序时最大内存为 32M,当排序的数据量超过 32M,就会报上面的这个错,解决办法就像上面提示的意思,一是加大 mongo的排序内存,这个一般是运维来管,也有弊端,就是数据量如果再大,还要往上加。
另一个办法就是加索引,这个方法还是挺方便的。创建索引及时生效,不需要重启服务。创建索引:
db.你的collection.createIndex({"你的字段": -1}),此处 -1 代表倒序,1 代表正序;
db.你的collecton.getIndexes();
这两个语句,第一个是添加索引,第二个是查询索引,如果查看到你刚才添加的那个索引字段,就说明索引添加成功了。这时候在你的程序里再运用 sort 方法的话,这样就不会报错而且速度很快。
添加索引会带来一定的弊端,这样会导致数据插入的时候相对之前较慢,因为索引会占据空间的。综上考虑,根据实际情况判断采用合适的方法。
db.getCollection('topicAnls').find({})
db.getCollection('topicAnls').createIndex({"topicId": -1})
db.getCollection('topicAnls').getIndexes()
php mongo sort -1出错,mongoDB排序引起的ERROR相关推荐
- mongodb排序_MongoDB排序
mongodb排序 MongoDB sort method sorts the document in either ascending or descending order as specifie ...
- mongodb 排序_技术分享 | MongoDB 一次排序超过内存限制的排查
本文目录: 一.背景 1. 配置参数检查 2. 排序字段是否存在索引 二.测试环境模拟索引对排序的影响 1. 测试环境信息 2. 报错语句的执行计划解释 3. 建立新的组合索引进行测试 三.引申的组合 ...
- MongoDB排序时内存大小限制和创建索引的注意事项
线上服务的MongoDB中有一个很大的表,我查询时使用了sort()根据某个字段进行排序,结果报了下面这个错误: [Error] Executor error during find command ...
- MongoDB 排序
MongoDB sort()方法 在MongoDB中使用使用sort()方法对数据进行排序,sort()方法可以通过参数指定排序的字段,并使用 1 和 -1 来指定排序的方式,其中 1 为升序排列,而 ...
- MongoDB排序异常
MongoDB排序异常 参考文章: (1)MongoDB排序异常 (2)https://www.cnblogs.com/owenma/p/9103395.html 备忘一下.
- python工资津贴的计算和排序-python sort、sorted高级排序技巧
Python list内置sort()方法用来排序,也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列. 1)排序基础 简单的升序排序是非常容易的.只需要调用sorte ...
- boost::sort模块实现整数排序测试
boost::sort模块实现整数排序测试 实现功能 C++实现代码 实现功能 boost::sort模块实现整数排序测试 C++实现代码 #include <boost/cstdint.hpp ...
- boost::sort模块实现展开排序示例
boost::sort模块实现展开排序示例 实现功能 C++实现代码 实现功能 boost::sort模块实现展开排序示例 C++实现代码 #include <boost/sort/spread ...
- boost::sort模块实现整数排序与右移函子反向排序示例
boost::sort模块实现整数排序与右移函子反向排序示例 实现功能 C++实现代码 实现功能 boost::sort模块实现整数排序与右移函子反向排序示例 C++实现代码 #include < ...
最新文章
- 串口监视软件_ESP32 Arduino教程:软件重置
- 使用OpenCV 实现matlab的padarray(A, padsize, ‘symmetric’)函数简单实现
- 前端学习(3135):react-hello-react之函数的柯里化
- windows 根据端口杀死进程
- hdu2647(拓扑排序)
- Ps提示“脚本错误-50出现一般Photoshop错误,如何解决?
- Python基础-类和实例
- Java程序员须知的七个日志管理工具(转)
- 数据统计分析(SPSS)【1】
- [953]mongo创建索引及索引相关方法
- div四角边框直角、倒角、 圆角、倒圆角
- Launcher中拨号、短信图标加数字提示未接电话、未读短信数量
- Omnet+Sumo+Veins安装配置总结(win7 win10亲测可行)
- MapReduce总结
- 74位图灵奖得主背景显示:大多数没有主修计算机专业,也并非高引用计算机科学家...
- 小米手机MIUI系统MIX4屏下光电指纹解锁时闪屏解决步骤办法
- 民事诉讼过程中的一些笔记
- RT-thread应用讲解——U盘(usb host)
- 基于单片机的传送带计数系统
- 如何转换swf格式的文件?
热门文章
- 怎么在电脑安装php文件夹在哪个文件夹,php进行文件上传时找不到临时文件夹怎么办,电脑自动保存的文件在哪里...
- java layoutmanager_Java Swing 探索(一)LayoutManager
- ribbon, restTemplate 负载均衡服务调用
- leetcode 21 合并两个有序链表 C++
- c++ mmap写入速度_Linux系统编程_用mmap+数组的方式修改数据文件
- 移植uboot之修改代码支持NorFlash记录续集二
- linux安装mysql5.6
- Gitlab的develop角色的人没有权限无法提交的问题解决方案
- 人这辈子没法做太多的事情
- 尚未注册 OLE DB 访问接口 SQLNCLI10 7043 错误