mongo 使用过程中遇到了一个问题,需求就是要对mongo 库中数据进行排序查询

logger.info("历史采集汇总");// 一天数据

calendar = Calendar.getInstance();

calendar.add(Calendar.HOUR_OF_DAY, -24);

cond = new BasicDBObject();

cond.put("workTime", new BasicDBObject(QueryOperators.GTE, calendar.getTime()));

feild = new BasicDBObject();

query = new BasicQuery(cond, feild);

query.with(new Sort(Sort.Direction.DESC, "stockId"));

List dayStockList = mongoTemplate.find(query, HashMap.class, "stockAnls");

logger.info("分析数据数量24"+dayStockList.size());

query = new BasicQuery(cond, feild);

query.with(new Sort(Sort.Direction.DESC, "topicId"));

List dayTopicList = mongoTemplate.find(query, HashMap.class, "topicAnls");

logger.info("分析数据数量24"+dayTopicList.size());

这种方法在库里数据容量小的情况下完全可以胜任,但是如果数据过多,这时会报一个 ERROR

2018/06/28-14:40:22 [pool-1-thread-1] ERROR

org.springframework.scheduling.support.TaskUtils$LoggingErrorHandler-

Unexpected error occurred in scheduled task.

org.springframework.data.mongodb.UncategorizedMongoDbException:

Query failed with error code 96 and error message 'Executor error

during find command: OperationFailed: Sort operation used more than the

maximum 33554432 bytes of RAM. Add an index, or specify a smaller

limit.' on server 47.98.85.173:3717; nested exception is

com.mongodb.MongoQueryException: Query failed with error code 96 and

error message 'Executor error during find command: OperationFailed: Sort

operation used more than the maximum 33554432 bytes of RAM. Add an

index, or specify a smaller limit.' on server 47.98.85.173:3717

按照错误提示,知道这是排序的时候报的错,因为 mongo 的 sort 操作是在内存中操作的,必然会占据内存,同时mongo内的一个机制限制排序时最大内存为 32M,当排序的数据量超过 32M,就会报上面的这个错,解决办法就像上面提示的意思,一是加大 mongo的排序内存,这个一般是运维来管,也有弊端,就是数据量如果再大,还要往上加。

另一个办法就是加索引,这个方法还是挺方便的。创建索引及时生效,不需要重启服务。创建索引:

db.你的collection.createIndex({"你的字段": -1}),此处 -1 代表倒序,1 代表正序;

db.你的collecton.getIndexes();

这两个语句,第一个是添加索引,第二个是查询索引,如果查看到你刚才添加的那个索引字段,就说明索引添加成功了。这时候在你的程序里再运用 sort 方法的话,这样就不会报错而且速度很快。

添加索引会带来一定的弊端,这样会导致数据插入的时候相对之前较慢,因为索引会占据空间的。综上考虑,根据实际情况判断采用合适的方法。

db.getCollection('topicAnls').find({})

db.getCollection('topicAnls').createIndex({"topicId": -1})

db.getCollection('topicAnls').getIndexes()

php mongo sort -1出错,mongoDB排序引起的ERROR相关推荐

  1. mongodb排序_MongoDB排序

    mongodb排序 MongoDB sort method sorts the document in either ascending or descending order as specifie ...

  2. mongodb 排序_技术分享 | MongoDB 一次排序超过内存限制的排查

    本文目录: 一.背景 1. 配置参数检查 2. 排序字段是否存在索引 二.测试环境模拟索引对排序的影响 1. 测试环境信息 2. 报错语句的执行计划解释 3. 建立新的组合索引进行测试 三.引申的组合 ...

  3. MongoDB排序时内存大小限制和创建索引的注意事项

    线上服务的MongoDB中有一个很大的表,我查询时使用了sort()根据某个字段进行排序,结果报了下面这个错误: [Error] Executor error during find command ...

  4. MongoDB 排序

    MongoDB sort()方法 在MongoDB中使用使用sort()方法对数据进行排序,sort()方法可以通过参数指定排序的字段,并使用 1 和 -1 来指定排序的方式,其中 1 为升序排列,而 ...

  5. MongoDB排序异常

    MongoDB排序异常 参考文章: (1)MongoDB排序异常 (2)https://www.cnblogs.com/owenma/p/9103395.html 备忘一下.

  6. python工资津贴的计算和排序-python sort、sorted高级排序技巧

    Python list内置sort()方法用来排序,也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列. 1)排序基础 简单的升序排序是非常容易的.只需要调用sorte ...

  7. boost::sort模块实现整数排序测试

    boost::sort模块实现整数排序测试 实现功能 C++实现代码 实现功能 boost::sort模块实现整数排序测试 C++实现代码 #include <boost/cstdint.hpp ...

  8. boost::sort模块实现展开排序示例

    boost::sort模块实现展开排序示例 实现功能 C++实现代码 实现功能 boost::sort模块实现展开排序示例 C++实现代码 #include <boost/sort/spread ...

  9. boost::sort模块实现整数排序与右移函子反向排序示例

    boost::sort模块实现整数排序与右移函子反向排序示例 实现功能 C++实现代码 实现功能 boost::sort模块实现整数排序与右移函子反向排序示例 C++实现代码 #include < ...

最新文章

  1. 串口监视软件_ESP32 Arduino教程:软件重置
  2. 使用OpenCV 实现matlab的padarray(A, padsize, ‘symmetric’)函数简单实现
  3. 前端学习(3135):react-hello-react之函数的柯里化
  4. windows 根据端口杀死进程
  5. hdu2647(拓扑排序)
  6. Ps提示“脚本错误-50出现一般Photoshop错误,如何解决?
  7. Python基础-类和实例
  8. Java程序员须知的七个日志管理工具(转)
  9. 数据统计分析(SPSS)【1】
  10. [953]mongo创建索引及索引相关方法
  11. div四角边框直角、倒角、 圆角、倒圆角
  12. Launcher中拨号、短信图标加数字提示未接电话、未读短信数量
  13. Omnet+Sumo+Veins安装配置总结(win7 win10亲测可行)
  14. MapReduce总结
  15. 74位图灵奖得主背景显示:大多数没有主修计算机专业,也并非高引用计算机科学家...
  16. 小米手机MIUI系统MIX4屏下光电指纹解锁时闪屏解决步骤办法
  17. 民事诉讼过程中的一些笔记
  18. RT-thread应用讲解——U盘(usb host)
  19. 基于单片机的传送带计数系统
  20. 如何转换swf格式的文件?

热门文章

  1. 怎么在电脑安装php文件夹在哪个文件夹,php进行文件上传时找不到临时文件夹怎么办,电脑自动保存的文件在哪里...
  2. java layoutmanager_Java Swing 探索(一)LayoutManager
  3. ribbon, restTemplate 负载均衡服务调用
  4. leetcode 21 合并两个有序链表 C++
  5. c++ mmap写入速度_Linux系统编程_用mmap+数组的方式修改数据文件
  6. 移植uboot之修改代码支持NorFlash记录续集二
  7. linux安装mysql5.6
  8. Gitlab的develop角色的人没有权限无法提交的问题解决方案
  9. 人这辈子没法做太多的事情
  10. 尚未注册 OLE DB 访问接口 SQLNCLI10 7043 错误