结论

通过反复查询原因,最终确定,数据库查询速度很快,最重要的是mongodb将查询出来的数据映射到实体属性中,这个过程太过耗费时间


优化1

通过使用temple来查询的语句

// 这个查询出来所有符合条件的数据集合,速度很慢,主要是这种方式的数据映射过程太过耗时:public List<MineUserDetail> findListByGid(String groupId) {Query query = new Query(Criteria.where(

spring data mongodb 大数据量查询性能差的原因(20s 优化到2s)相关推荐

  1. 高并发的大数据量查询导致系统频繁死机

    我们的大数据量查询是数据库分页的, 但是导出和打印功能是基于全部数据的. 系统投入使用后,对于导出和打印功能的使用远远要高于我们的预期. 而我们的系统的硬件设备是有限的 不能再升级了. 抓取内存大对象 ...

  2. 大数据量查询:流式查询与游标查询

    最近在做一个计算相关的功能,大体就是有很多条SQL,每条SQL都涉及复杂地运算,最后要将所有计算结果进行合并分析.经初步测试,每个SQL起码会查出几十万条记录,我们现在有毛毛多的这种SQL. 最大的问 ...

  3. 一次mysql大数据量查询 慢查询导致服务阻塞后的学习

    场景还原:前一个月给朋友写了个简单的登录功能,简单的查询数据库登录逻辑,使用mysbatis-plus进行的dao层代码生成(吐槽一下这个工具,真是方便一时爽,后面维护难,比较喜欢自己能够组装和优化s ...

  4. 利用Cache缓存数据DataTable数据提高大数据量访问性能-.NET教程,数据库应用

    在数据量不大的情况下,程序怎么写基本上性能差别不大,但是当我们面对数以万计的数据的时候,我想性能就是个不得不考虑的问题了,每写一个方法,每填充一 笔数据都要考虑到性能问题,否则服务器将承担巨大的执行开 ...

  5. 大数据量查询解决方案

    1. java.lang.OutOfMemoryError: GC overhead limit exceeded 报错: 代码: 场景:当sql查询量过大时,切断任务,但是造成上述错误 解决方案: ...

  6. MyBatis Plus 解决大数据量查询慢问题

    分享知识 传递快乐 大数据量操作的场景大致如下: 数据迁移 数据导出 批量处理数据 在实际工作中当指定查询数据过大时,我们一般使用分页查询的方式一页一页的将数据放到内存处理.但有些情况不需要分页的方式 ...

  7. MYSQL大数据量分页查询优化 - 十万、百万级优化

    1. 常见问题 在mysql大数据量的基础下,分页中随着页码的增加,查询时间也会响应的增加.所以到了百万级别的数据量时,我们就需要优化已有的查询代码进行合理有效的分页. 一般情况下,页码与查询时间成正 ...

  8. 搞懂 SQL 查询优化原理分析,秒速处理大数据量查询

    点击上方"朱小厮的博客",选择"设为星标" 后台回复"书",获取 有一张财务流水表,未分库分表,目前的数据量为9555695,分页查询使用到 ...

  9. key redis 遍历_快乐运维Redis大数据量查询与清理

    一. keys命令(生产环境禁止使用) 简单粗暴,由于Redis单线程这一特性,keys命令是以阻塞的方式执行的,keys是以遍历的方式实现的复杂度是 O(n),Redis库中的key越多,查找实现代 ...

最新文章

  1. stm32编译时报错 ..........ER_IROM1: File exists 的问题
  2. 四川三河职业学院计算机寝室,2020四川三河职业学院宿舍条件如何-有空调否?(宿舍图片)...
  3. 利用 jwt 可以获取用户的额外信息?
  4. python RE表达式规则剩余规则
  5. 人工智能机器学习笔记 10月10日
  6. 利用GDB、KGDB调试应用程序及内核驱动模块
  7. 编程之美读书笔记_1.4 买书问题
  8. 一键seo提交收录_百度网站提交,选择主动提交,还是被动收录?
  9. 百善孝为先,万恶淫为首
  10. “沉浸式”住宿体验——酒店的新瓶,民宿的老酒
  11. 如何在R中画出高效美观的相关性分析图
  12. 易基因|文献科普:DNA甲基化测序揭示DNMT3a在调控T细胞同种异体反应中的关键作用
  13. Linux/C++项目结构与编译
  14. Markov Chain Monte Carlo 和 Gibbs Sampling算法
  15. python网球比赛模拟主持稿_主持人大赛模拟主持环节情景
  16. linux usb gadget printer使用
  17. 黄飞130702010037第二次作业
  18. coder,你会设计交易系统吗(实干篇)?
  19. Easy EDA #学习笔记02# |Arduino UNO 单片机最小系统PCB原理图 (ATMEGA328P单片机 AMS1117芯片5V转3.3V )
  20. ipad如何改造成linux终端,如何实现让ipad上使用终端terminal

热门文章

  1. Ubuntu18 编译和运行PL-SVO(不需要ROS)
  2. 数值分析——自适应辛普森积分
  3. strtoupper php 中文,strtoupper回导致中文乱码么
  4. 报错:UnicodeDecodeError:: ‘utf-8‘ codec can‘t decode byte 0xc8 in position 0: invalid contin
  5. siri快捷指令_如何使用siri快捷方式来记录警察的遭遇
  6. 工赋开发者社区 | (案例)中译语通:差别化纺纱柔性智慧工厂
  7. 网页制作和java有关系么_网页设计注意问题
  8. 连接交换机太讲究,很多网工总弄不明白
  9. 深度学习的loss变小梯度是否变小
  10. WEB学习——JQury