mongo单表大量数据的读取
mongo单表大量数据的读取
- 重要提示：建议不要直接使用find方法
- 下面是读取方法笔记：（python 语言 为主）
- 1. 使用batch_size 方法
- 2. 使用索引切片的方法
- 3. 使用mongo工具，将单表导出json文件或者csv文件
重要提示：建议不要直接使用find方法
下面是读取方法笔记：（python 语言 为主）
1. 使用batch_size 方法
可以在不大于16M的情况下，批量返回数据
**但是**在数据超过几千万的情况下，加载会导致游标超时，栈溢出等问题
建议千万级别在考虑服务器性能的情况下使用。
2. 使用索引切片的方法
通过pymongo 手册可以看到：
可以避免上述一的问题。
3. 使用mongo工具，将单表导出json文件或者csv文件
这种方法，比上述两种方法速度都快，唯一遗憾的是：只能将数据传送到一个文件里。
相对比前面两种方法，
上亿数据只用1天多时间，而前面的时间则会很慢。
例如 mongoexport 工具，利用脚本就更加的方便
mongo单表大量数据的读取相关推荐
- MySQL 单表百万数据记录分页性能优化
来源:一颗卤蛋 链接:http://www.cnblogs.com/lyroge/p/3837886.html 背景: 自己的一个网站,由于单表的数据记录高达了一百万条,造成数据访问很慢,Goog ...
- Postgres 数据库大批量单表导入数据引发性能故障的处理
因公司经营管理策略原因,我们地区部门还是以开发外包和产品服务为主,对测试外包服务销售工作要求占比不高,而测试部门本来有四五个性能测试人员,加上老员工都比较积极做事在测试团队建设管理上不用花费太多精力. ...
- mysql 造1亿条记录的单表--大数据表
读写文件 背景及木:现有数据1000w单表,为压力测试准备1亿条数据. 步骤: 1.将1000w条记录,除id外都导入到多个文件中: //DELIMITER DROP PROCEDURE if EXI ...
- mysql单表最大数据量_你的Mysql库真需要Adaptive Hash Index
说起AHI(Adaptive Hash Index),有的同学估计很陌生,都没听说,没关系,下面我会详细解释说明的,AHI是什么,mysql库为什么要设计AHI,解决什么问题,只有了解这些原理之后,才 ...
- mysql查询单表的销售额_MYsql数据库单表百万数据量查询
最近总在意自己的网页刷新数据的速度,mysql5.7和mysql8.0单表数据库导入百万甚至千万数据的时候,会不会卡死,会不会慢? 因此编写测试用例,通过Navicat Premium来查询单表的时间 ...
- mysql为何500w拆表_【mysql】MySQL 单表500W+数据，查询超时，如何优化呢？
1.问题描述: MySQL 数据库,单表 `im_data_record`,查询超时(30s) 表结构如下图: 表索引如下图: 查询语句如下: SELECT `record_global_id`, ` ...
- oracle数据泵备份单表,使用数据泵备份/恢复某些表
问题提出: 两个系统a和b之间做了同步接口,可能是之前的接口出现了问题,导致两边的数据不一致,需要清除系统b中的数据,使用同步接口从系统a将数据批量同步到系统b中. 解决办法: 分析:由于此同步涉及到 ...
- 使用mongo shake实现从一个单实例mongo往多个mongo单实例进行数据同步
一 实验环境 二 实验步骤 2.1 确保源端mongo已开启oplog 可参考单实例MongoDB 如何开启Oplog_雅冰石的专栏-CSDN博客 2.2 安装mongoshake 在每个目标端都安装 ...
- Oracle三级联动单表地址数据
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/inforstack/article/details/62232012 下载链接 CREATE TAB ...
最新文章
- BIOS INT 10中断功能
- 20051020:该办宽带了
- [css] 如何让一个块元素绝对居中？
- Java中JVM、JRE和JDK三者有什么区别和联系？
- 【多线程】什么是线程安全？
- 牛逼！它比传统数据库快 100-1000，真不相信？
- 5.0在python中是一个整数常量_python学习之路，基础篇-变量和常量
- Nginx配置HTTPS和HTTP
- android打包报错Detected multiple Kotlin daemon sessions
- chi2inv函数 matlab_MATLAB的所有函数？
- 从不重视体检的我拿到了体检报告，我慌了…
- 计算机的防呆接口,电脑上有哪些“防呆设计”
- 机器学习之密度聚类算法
- skipped: maximum number of running instances reached (1)
- 超全！182所大学的考研复试参考书目/复试通知
- 广为流传的一个关于项目管理的通俗讲解
- mysql收货地址表_收货地址表结构 以及创建修改流程
- 广东省数字经济促进条例 （征求意见稿）
- 隐式超级构造函数Fu（）未定义。
- 有效预防电脑辐射有三招