项目地址:yuanfenxi/yuanlicast​github.com

go-mysql-elasticsearch是一个golang包,可以以一个MysqlServer的salve的身份,监听mysql的数据变更,并将变更导入到elasticsearch。

我看到这个包的想法是,是否可以稍做修改,当mysql数据库有变更时,将变更广播到消息队列中去,增强及时性。关于我们的这个简单的消息队列,或者叫广播,可以参见:

昨天睡前喝了点小酒,拿着elasticsearch的代码就开始动刀了,我把访问elasticsearch的那一部分删掉,改成提交数据到http://ws.z.12zan.net 到凌晨1点的时候已经基本完成了。

用法和go-mysql-elasticsearch基本一致,启动是: ./bin/yuancast -config=./etc/river.toml

配置文件

配置文件也在./etc/river.toml里。

配置里几个关键项如下:

* _bulk_size = 1

这个请修改成1,这样每次有数据变更就提交。不然就失去项目存在的意义了。yfx_gateway = "https://ws.z.12zan.net/dbcast/some_channel_as_you_wish"

每个不同的URL地址就是一个不同的频道。这里可以随便填,请确保你填写的和别人的是不一样的频道地址。yfx_secret = hellloafsdfefss9843ru93f

广播的时候,对数据进行一下加密,用的是这个密钥。

客户端

客户端解密的代码需要根据自己的应用场景来写了。

我提供了一个nodejs的示例,在 jsClientExample 目录下:

npm install

node ./test.js

mysql广播_监听Mysql数据库变更并广播到ws.z.12zan.net相关推荐

  1. 监听mysql表内容变化 使用canal,canal 监听同步指定数据库,所有表

    canal 监听同步指定数据库,所有表 canal 监听同步指定数据库,所有表 因为工作需求,需要用到数据库同步,又从网上找了一些发现都有些问题,所以自己弄好之后写一篇总结,及配置步骤吧 先将 MyS ...

  2. spring boot+kafka+canal实现监听MySQL数据库

    spring boot+kafka+canal实现监听MySQL数据库 一.zookeeper安装 kafka依赖于zookeeper,安装kafka前先安装zookeeper 下载地址:Apache ...

  3. Java监听mysql的binlog详解(mysql-binlog-connector)

    Java监听mysql的binlog详解(mysql-binlog-connector) 1. 需求概述 2. 技术选型 3. 方案设计 3.环境准备 3.1 查看是否开启binlog 3.2 mys ...

  4. Canal监听mysql的binlog日志实现数据同步

    Canal监听mysql的binlog日志实现数据同步 1. canal概述 1.1 canal简介 1.2 技术选型 1.3 原理分析 1.3.1 MySQL主备复制原理 1.3.2 canal原理 ...

  5. springboot整合canal,监听MySQL binlog日志,实现增量同步

    有两个数据库,并不是主从关系,但是需要同步某张表,可以通过binlog日志,进行同步,前提是这两个数据库的要同步的表,表名和字段名需要一致. 当前项目连接的数据库(需要同步的数据库):base_pro ...

  6. Canal监听MySQL

    Canal监听MySQL 1.Mysql数据库开启binlog模式 注意:Mysql容器,此处Mysql版本为5.7 #进入容器 docker exec -it mysql /bin/bash #进入 ...

  7. 判断frame是否已创建_大白菜的ROS笔记(8)(创建TF广播和监听,内容很多,细节满满)...

    创建TF广播和监听 #include <ros/ros.h> #include <tf/transform_broadcaster.h> #include <turtle ...

  8. 【Android 电量优化】电量优化 ( 充电状态获取 | 主动获取充电状态 | 广播接受者监听充电状态 | 被动获取充电状态 | 注册空广播接受者获取历史广播 )

    文章目录 一.获取充电状态 二.被动获取充电状态 三.主动获取充电状态 参考 Google 官方文档 : 优化电池续航时间 一.获取充电状态 在应用中执行某些操作 , 如软件云端备份 , 从服务器端获 ...

  9. 【RK3399Pro学习笔记】十四、ROS中tf坐标系广播与监听的编程实现

    目录 创建功能包 如何实现一个tf广播器 创建tf广播器代码(C++) 如何实现一个tf监听器 创建tf监听器代码(C++) 配置编译规则 编译并运行 python 编写程序 turtle_tf_br ...

最新文章

  1. ASP.NET2.0中的ClientScriptManager 类用法—如何添加客户端事件!
  2. “去哪儿网”2015春招前端面试题
  3. python——画一个笑脸
  4. Apache Dubbo 2.7.7 发布!升级 fastjson 等依赖!
  5. 375. Guess Number Higher or Lower II
  6. ios键盘横屏_iOS横竖屏旋转及其基本适配方法 转
  7. python学习turtle(龟图标状态)
  8. 太耿直了!自家总监评拯救者Y90的640GB超大存储:用来吹牛的
  9. poj2406 Power Strings 模式匹配算法KMP变形
  10. 杭电2086,数学归纳法
  11. 李刚的《疯狂Java讲义》
  12. 非法关机linux分辨率丢失,非法关机造成文件系统损坏,怎么办?请教:附图片...
  13. python在windows 比linux 慢,为什么python在Windows上这么慢?
  14. 西门子PLC S7-1200安装指南
  15. 直播预告 | 华南理工实验室专场二
  16. CPU、程序和设备三者的关系
  17. Android入门第9天-Android读本地JSON文件并显示
  18. Jenkins 用户角色权限管理
  19. 大学排行榜 : qs全球中国区仅大陆大学排行榜
  20. 十大编程语言之父你都知道有谁嘛?

热门文章

  1. python怎么进行分数运算_Python中的分数运算
  2. 我怀疑你在偷窥我的生活,考研狗的真实现状
  3. 【需求】Python利用selenium抓取京东的地址数据
  4. 腾讯AI Lab副主任俞栋:过去两年基于深度学习的声学模型进展
  5. Lucene倒排索引
  6. 社工计算机操作考试时间,2021社工证考试时间安排
  7. 《构建之法》作业:口算出题器
  8. Android Studio 无法识别MuMu模拟器、夜神模拟器的解决办法
  9. 大疆遥控控制M3508电机二(基于HAL库)
  10. WMI 查询服务导致服务器CPU非常高!