mongoshake实现mongodb数据同步
前言
MongoShake是阿里云以Golang语言编写的通用平台型服务工具，它通过读取MongoDB的Oplog操作日志来复制MongoDB的数据以实现特定需求。
MongoShake还提供了日志数据的订阅和消费功能，可通过SDK、Kafka、MetaQ等方式的灵活对接，适用于日志订阅、数据中心同步、Cache异步淘汰等场景。
官方地址：https://github.com/alibaba/MongoShake
使用场景
- MongoDB集群间数据的异步复制，免去业务双写开销（数据灾备）；
- MongoDB集群间数据的镜像备份（当前1.0开源版本支持受限）；
- 日志离线分析；
- 日志订阅；
- 数据路由，根据业务需求，结合日志订阅和过滤机制，可以获取关注的数据，达到数据路由的功能；
- Cache同步。日志分析的结果，知道哪些Cache可以被淘汰，哪些Cache可以进行预加载，反向推动Cache的更新；
- 基于日志的集群监控
基于mongoshake可以衍生出很多的场景，从而提供给开发者在架构设计中更多更灵活、更丰富的选择
搭建步骤
mongoshake本身的使用不难，这个参考官方的配置即可，主要是根据自身的业务场景做好配置文件中各个参数的配置即可达到目的，下面以mongoshake一个较为常用的场景，即使用mongoshanke完成2个mongodb复制集群之间的数据同步
mongoshake实现mongodb数据同步相关推荐
- 使用MongoShake实现MongoDB数据实时导入Kafka
一.MongoShake简介 MongoShake是阿里云以Golang语言编写的通用平台型服务工具,它通过读取MongoDB的Oplog操作日志来复制MongoDB的数据以实现特定需求. Mongo ...
- mongodb数据同步到elasticsearch的中间件，支持全量，增量，实时同步等多种同步情景。(syncs MongoDB to Elasticsearch in realtime) （Mong
GitHub - levonmo/mongo-sync-elasticsearch: mongodb数据同步到elasticsearch的中间件,支持全量,增量(新增修改删除),实时同步等多种同步情景 ...
- docker版mongodb数据同步到elasticsearch
MongoDB 和 Elasticsearch 同步方式有两种,一种为搭建集群,另一种为配置MongoDB的副本集,本案在docker上部署,所以选择配置副本集方式. 说明:为了能够使得 Mongo ...
- mongodb数据同步到oracle_数据库周刊41丨9月数据库排行榜；2020 数据技术嘉年华…...
摘要:墨天轮数据库周刊第41期发布啦,每周1次推送本周数据库相关热门资讯.精选文章.干货文档.本周分享9月数据库热度排行榜:国产数据库签约项目盘点:2020 数据技术嘉年华活动预告:OGG日常运维及故 ...
- elasticsearch mongodb mysql_Elasticsearch 与 Mongodb 数据同步问题
1.mongo-connector工具 首先安装python环境 wget http://www.python.org/ftp/python/3.0.1/Python-3.0.1.tgz tar -z ...
- mongoshake同步mongodb数据到kafka
前言 在上一篇,mongoshake实现mongodb数据同步中,我们详细探讨了如何使用mongoshake实现数据从mongodb同步到mongodb的完整流程,本篇基于mongoshake,继续探 ...
- 用mongoshake实现mongo分片集群到单实例和分片集群的数据同步
一 实验环境 这里演示只同步源端ccc库下的t1,t2表,ddd库下的所有表到两个目标端. 二 实验步骤 2.1 创建专用账号 2.1.1 在源端创建账号 2.1.1.1 登录其中一个mongos节点 ...
- 数据同步工具MongoShake
文章目录 一.MongoShake 1.1 MongoShake简介 1.2 应用场景 1.3 基本特性 二.方案 2.1 多活方案 2.2 容灾方案 三.验证 3.1 环境介绍 3.2 功能验证 3 ...
- Solr(搜索引擎服务)和MongoDB通过mongodb-connector进行数据同步的解决方案，以及遇到的各种坑的总结（针对solr-5.3.x版本）,mongodb和solr实现实时增量索引
Solr配置与MongoDB的安装 Solr安装配置到目前已经非常简单,参考官方文档:http://lucene.apache.org/solr/quickstart.html,官方文档中用的是clo ...
最新文章
- pytorch .item_pytorch + SGD
- 函数计算新功能-----支持C#函数
- LeetCode1262 可被三整除的最大和(动态规划)
- 成功解决from scipy.misc import imread, imresize ImportError: cannot import name ‘imread‘
- orm2 中文文档 3.2 模型验证器
- WebSphere Message Boker 中调用jar包
- Nginx何防止流量攻击
- 数据结构与算法：十大排序算法之冒泡排序
- 进制之间的转换(转)
- PAT简介和2019年秋季浙大PAT考试报名流程
- 四级英语口语模拟测试软件,英语四级口语模拟题：非常有用
- 2022年个税专项附加扣除，开始确认，拿到软考证书即可抵扣
- 南昌不翻车 Codeforces Round #571 (Div. 2) C,D
- Python-(生成由0到9组成的n位数字)
- matlab函数im2bw_im2bw(matlab中im2bw用法)
- 猪小税：携手卫瓴·企微助手，探索团队协同办公“新动能”
- 蓝牙定位技术大全:蓝牙室内定位技术解决方案--新导智能
- 磁盘克隆、磁盘镜像还有复制粘贴有什么不一样？
- 基于用户画像的商品推荐方案总结
- java图片ico_原创 | Java图片处理：ico格式转 PNG/JPG等格式