mongoshake同步mongodb数据到kafka
前言
在上一篇，mongoshake实现mongodb数据同步中，我们详细探讨了如何使用mongoshake实现数据从mongodb同步到mongodb的完整流程，本篇基于mongoshake，继续探讨在数据同步中的另一个场景，即从mogodb同步数据到kafka
业务场景举例
有这样一个需求场景，mongo的某个数据集中，存储了海量的操作行为日志数据，比如定义了一个数据对象的模型集合，有100多个字段，在这个对象模型中，不同的操作行为有一个tag标签作为区分
在下游的应用中，需要接收行为日志数据进行计算分析，得出操作行为轨迹，由于日志数据写到mongodb和下游的分析应用是独立的微服务，两者之间并没有直接的关系，同时又要求系统的性能具备较高的性能，于是想到使用mongoshake作为中介，将mongodb的数据同步到kafka的topic，下游的各个应用只需要监听相关的topic数据即可
这种需求可以衍生出很多其他的场景来，有兴趣的同学可以深入思考，下面来演示下具体的操作步骤
mongoshake同步mongodb数据到kafka相关推荐
- 使用MongoShake实现MongoDB数据实时导入Kafka
一.MongoShake简介 MongoShake是阿里云以Golang语言编写的通用平台型服务工具,它通过读取MongoDB的Oplog操作日志来复制MongoDB的数据以实现特定需求. Mongo ...
- Ogg For Bigdata 同步Oracle数据到KAFKA（包括初始化历史数据）
OGG同步Oracle数据到KAFKA:OGG初始化进程初始化历史数据 在前面曾写过几篇关于OGG同步Oracle等库数据到kafka的文章: OGG实时同步Oracle数据到Kafka实施文档(供f ...
- confluent实时同步sqlserver数据到kafka
安装准备 192.168.23.132 (主机名spark01) 192.168.23.133 (主机名spark02) 192.168.23.134 (主机名spark03) confluent-5 ...
- mongoshake实现mongodb数据同步
前言 MongoShake是阿里云以Golang语言编写的通用平台型服务工具,它通过读取MongoDB的Oplog操作日志来复制MongoDB的数据以实现特定需求. MongoShake还提供了日志数 ...
- 使用maxwell实时同步mysql数据到kafka
一.软件环境: 操作系统:CentOS release 6.5 (Final) java版本: jdk1.8 zookeeper版本: zookeeper-3.4.11 kafka 版本: kafka ...
- canal同步mysql到kafka_使用Canal同步MySQL数据到Kafka 得到的数据中sql字段无值-问答-阿里云开发者社区-阿里云...
这个应该跟你的binlog记录模式有关系,binlog有3中模式,ROW(行模式), Statement(语句模式), Mixed(混合模式)三种模式的用法如下: ROW(行模式):记录那条数据修改了 ...
- docker版mongodb数据同步到elasticsearch
MongoDB 和 Elasticsearch 同步方式有两种,一种为搭建集群,另一种为配置MongoDB的副本集,本案在docker上部署,所以选择配置副本集方式. 说明:为了能够使得 Mongo ...
- mongodb数据备份与恢复
前言 为确保数据安全性,mongodb数据备份在实际生产环境下必不可少,一旦生产环境下的mongo所在服务器出现诸如掉电.宕机.甚至是一些不可预测的灾难情况,数据备份就显得尤为重要了,又备份,就有数据 ...
- mongodb数据同步到elasticsearch的中间件，支持全量，增量，实时同步等多种同步情景。(syncs MongoDB to Elasticsearch in realtime) （Mong
GitHub - levonmo/mongo-sync-elasticsearch: mongodb数据同步到elasticsearch的中间件,支持全量,增量(新增修改删除),实时同步等多种同步情景 ...
最新文章
- xlrd.biffh.XLRDError: Unsupported format, or corrupt file: Expected BOF record； found b‘b\x14#e\xbc\
- linux 检索全部文件中的中文词汇,linux – 获取所有文件中的单词计数
- vMotion svMotion HA FT概念区别
- Mybatis框架中是如何获取到SQL语句的，让我们一起来模拟一下吧
- [Java基础]Calendar类基础
- 量子时代已来，与时代接轨，从这本书开始
- 牛腩新闻发布系统-发布
- python求两个数的最大公约数_python中求最大公约数的三种方法
- 安卓逆向学习 之 KGB Messenger的writeup（1)
- java游戏主角用毛笔_Java FX版的毛笔效果
- 谷歌浏览器启动chrome 常用参数
- 对1bit的脉冲信号进行展宽，转为32bit位宽，并产生有效信号
- 系统集成项目管理工程师_系统集成项目管理工程师，拿到证书可直接办理入户...
- CSS实现文字动画效果【每日一题】
- 微信朋友圈里，微信群里的早报新闻简报都是哪里来的呢？
- 企业WiFi管理需求
- TB级(小白到大牛之路)技术视频资源福利大放送
- 鸿蒙系统开发实战-开发一个聊天技巧软件堪称聊天神器
- 格式工厂绿色便携版，无需安装直接运行，专注视频格式转换软件
- ByteBuffer解密