MongoDB 3.4 复制集全量同步改进

3.2版本复制集同步的过程参考MongoDB 复制集同步原理解析

在 3.4 版本里 MongoDB 对复制集同步的全量同步阶段做了2个改进

在拷贝数据的时候同时建立所有的索引，在之前的版本里，拷贝数据时会先建立_id索引，其余的索引在数据拷贝完之后集中建立
在拷贝数据的同时，会把同步源上新产生的oplog拉取到本地local数据库的临时集合存储着，等数据全量拷贝完，直接读取本地临时集合的oplog来应用，提升了追增量的效率，同时也避免了同步源上oplog不足导致无法同步的问题。

上图描述了这2个改进的效果，实测了『10GB的数据，包含64个集合，每个集合包含2个索引字段，文档平均1KB』，3.4版本的全量同步相比3.2版本性能约有20%的提升，如果数据集很大，并且在同步的过程中有写入，提升的效果会更明显，并且彻底解决了因同步源oplog不足而导致全量同步失败的问题。

云数据库 MongoDB 版

基于飞天分布式系统和高性能存储，提供三节点副本集的高可用架构，容灾切换，故障迁移完全透明化。并提供专业的数据库在线扩容、备份回滚、性能优化等解决方案。

了解更多

MongoDB 3.4 复制集全量同步改进相关推荐

Elasticsearch 的全量同步和增量同步
(1)全量同步什么是全量同步:将一个mysql的整个表的所有数据都同步到es中常用插件是logstash-input-jdbc,logstash通过sql语句分区间对数据进行查询,然后输出到es进 ...
【图解】redis主从同步流程——全量同步、部分同步、命令传播
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.全量同步二.部分同步三.命令传播总结前言本文主要介绍Redis高可用下的主从同步问题,包括全量同步.部分 ...
Redis持久化机制 -全量同步与增量同步的区别
全量同步与增量同步的区别全量同步:就是每天定时(避开高峰期)或者采用一个周期实现将数据拷贝到一个地方也就是Rdb存储. 增量同步:比如采用对行为的操作实现对数据的同步,也就是AOF. 全量与增量的比 ...
数据同步之全量同步与增量同步
一.什么是数据同步业务数据是数据仓库的重要数据来源,我们需要每日定时从业务数据库中抽取数据,传输到数据仓库中,之后再对数据进行分析统计. 为保证统计结果的正确性,需要保证数据仓库中的数据与业务数据库 ...
mongoDB研究笔记：复制集概述
自我学习,仅供参考: 数据库总是会遇到各种失败的场景,如网络连接断开.断电等,尽管journaling日志功能也提供了数据恢复的功能,但journaling通常是针对单个节点来说的,只能保证单节点数据 ...
es 全量同步mysql_什么时候该用MySQL，什么时候该用ES呢？
作者:张sir 来源:京东技术京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况. 我们把订单数据存储在MySQL ...
DM 源码阅读系列文章（四）dump/load 全量同步的实现
作者:杨非本文为 DM 源码阅读系列文章的第四篇,上篇文章介绍了数据同步处理单元实现的功能,数据同步流程的运行逻辑以及数据同步处理单元的 interface 设计.本篇文章在此基础上展开,详细介绍 ...
MySQL全量同步和增量同步-
me:为啥你们队答辩时说的话, 我听了没啥感觉, 评委听了直接就深有感触了? 资深:生产不可能只同步一张表和10W数据, 其他队伍用jdbc的方法同步全量数据, 在真实环境决绝报错.生产都是5000万 ...
es 全量同步mysql_使用canal将mysql同步到es中
因为自己项目中需要用到mysql数据同步到es中,查找了相关资料最后决定用canal来做,所以便有了本文,下面一起来看如何使用canal吧 canal教程根据 https://github.com/ ...

MongoDB 3.4 复制集全量同步改进

MongoDB 3.4 复制集全量同步改进相关推荐

最新文章

热门文章