mysqlbinlog查看日志_一个分布式 MySQL Binlog 存储系统的架构设计
1. kingbus简介
1.1 kingbus是什么?
kingbus是一个基于raft强一致协议实现的分布式MySQL binlog 存储系统。它能够充当一个MySQL Slave从真正的Master上同步binlog,并存储在分布式集群中。同时又充当一个MySQL Master将集群中的binlog 同步给其他Slave。 kingbus具有如下特性:
- 兼容MySQL 复制协议,通过Gtid方式同步Master上的binlog,同时支持slave通过Gtid方式从kingbus拉取binlog。
- 跨地域数据复制,kingbus通过raft协议支持跨地域间的数据复制。写入到集群的binlog数据在多个节点间保证强一致,并保证binlog顺序与master上完全一致。
- 高可用,由于kingbus是构建在Raft强一致协议之上,能够实现集群中过半数节点存活的情况下,整个binlog拉取和推送服务高可用。
1.2 kingbus能解决什么问题?
- kingbus能降低Master的网络传输流量。在一主多从的复制拓扑中,Master需要发送binlog到各个slave,如果slave过多的话,网络流量很有可能达到Master的网卡上限。例如在Master执行delete大表或者online DDL等操作,都有可能造成瞬间生成大量的binlog event,如果master下面挂10台slave的话,master上的网卡流量就会放大10倍。如果master使用千兆网卡,产生了10MB/S以上的流量就有可能将其网卡跑满。通过kingbus连接master的方式,可以将slave分散到多台机器上,从而均衡传输流量。
- 简化Master Failover流程,只需将连接在kingbus上的一台Slave提升为Master,并将kingbus重新指向新的Master,其他slave依旧连接在kingbus上,复制拓扑保持不变。
- 节省Master存储binlog文件的空间。一般MySQL上都是较为昂贵的SSD,如果binlog文件占用空间较多,就使得MySQL存储的数据不得不降低。可以通过将binlog都存储到kingbus中,从而降低Master上binlog文件的存储数量
- 支持异构复制。通过阿里巴巴开源的canal连接到kingbus,kingbus源源不断推送binlog给canal,canal接收完binlog再推送给kafka消息队列,最终存入HBase里,业务部门通过Hive直接写SQL的方式来实现业务的实时分析。
2.kingbus总体架构
kingbus整体架构如下图所示:
- storage负责存储raft log entry和Metadata,在kingbus中,将raft log和mysql binlog融合在一起了,通过不同的头部信息区分,raft log的数据部分就是binlog event,这样就不需要分开存储两类log,节省存储空间。因为kingbus需要存储一些元信息,例如raft 节点投票信息、某些特殊binlog event的具体内容(FORMAT_DESCRIPTION_EVENT)。
- raft复制kingbus集群的Lead选举、日志复制等功能,使用的是etcd raft library。
- binlog syncer,只运行在Raft集群的Lead节点上,整个集群只有一个syncer。syncer伪装成一个slave,向Master建立主从复制连接,Master会根据syncer发送的executed_gtid_set过滤syncer已经接受的binlog event,只发送syncer没有接收过的binlog event,这套复制协议完全兼容MySQL 主从复制机制。syncer收到binlog event后,会根据binlog event类型做一些处理,然后将binlog event封装成一个消息提交到raft 集群中。通过raft算法,这个binlog event就可以在多个节点存储,并达到强一致的效果。
- binlog server,就是一个实现了复制协议的Master,真正的slave可以连接到binlog server监听的端口,binlog server会将binlog event发送给slave,整个发送binlog event的过程参照MySQL 复制协议实现。当没有binlog event发送给slave时,binlog server会定期发送heartbeat event给slave,保活复制连接。
- api server,负责整个kingbus集群的管理,包括以下内容:
- raft cluster membership操作,查看集群状态,添加一个节点、移除一个节点,更新节点信息等
- binlog syncer相关操作,启动一个binlog syncer,停止binlog syncer,查看binlog syncer状态。
- binlog server相关操作,启动一个binlog server,停止binlog server,查看binlog server状态。 server层的各种异常,都不会影响到raft层,server可以理解为一种插件,按需启动和停止。以后扩展kingbus时,只需要实现相关逻辑的server就行。例如实现一个kafka协议的server,那么就可以通过kafka client消费kingbus中的消息。
3.kingbus核心实现
3.1 storage的核心实现
storage中有两种日志形态,一种是raft日志(以下称为raft log),由raft算法产生和使用,另一种是用户形态的Log(也就是mysql binlog event)。Storage在设计中,将两种Log形态组合成一个Log Entry。只是通过不同的头部信息来区分。Storage由数据文件和索引文件组成,如下图所示:
- segment固定大小(1GB),只能追加写入,名字为first_raft_index-last_raft_index,表示该segment的raft index范围。
- 只有最后一个segment可写,其文件名为first_raft_index-inprogress,其他segment只读。
- 只读的segment和对应的index file都是通过mmap方式写入和读取。
- 最后一个segment的index 内容同时存储在磁盘和内存。读取索引是只需要在内存中读取。
3.2 etcd raft库的使用
Etcd raft library在处理已经Apply的日志、committed entries等内容时,是单线程处理的。具体函数参考链接,这个函数处理时间要确保尽可能短,如果处理时间超过raft 选举时间,会造成集群重新选举。这一点需要特别注意。
3.3 binlog syncer的核心实现
binlog syncer主要工作就是:
- 拉取binlog event
- 解析并处理binlog event
- 提交binlog event到raft 集群。 很明显可以通过pipeline机制来提个整个过程的处理速度,每个阶段kingbus都使用单独的goroutine来处理,通过管道来衔接不同阶段。 由于binlog syncer是按照binlog event一个一个接收的,syncer并不能保证事务完整性,有可能在syncer挂了后,需要重新连接Master,这时候最后一个事务有可能不完整,binlog syncer需要有发现事务完整性的能力,kingbus实现了事务完整性解析的功能,完全参考MySQL源码实现。
3.4 binlog server的核心实现
binlog server实现了一个master的功能,slave与binlog server建立复制连接时,slave会发送相关命令,binlog server需要响应这些命令。最终发送binlog event给slave。对于每个slave,binlog server会启动一个goroutine不断读取raft log,并去掉相关头部信息,就变成了binlog event,然后再发送给slave。
4. 总结
本文简要介绍了kingbus整体架构和核心组件及流程,通过这篇文章,希望读者对kingbus有个较为全面的认识。
mysqlbinlog查看日志_一个分布式 MySQL Binlog 存储系统的架构设计相关推荐
- 偏移出来的数据不准_独家解读!京东高可用分布式流数据存储的架构设计
作者 | 李玥 编辑 | Vincent AI 前线导读:每天,超过千亿交易相关的数据在京东数千个系统中高速流转,确保数据的高可靠.高可用.一致性对京东的消息中间件系统是一项艰巨的技术挑战.为高性能. ...
- 一个分布式***检测系统的研究与设计
一个分布式 ***检测 系统的研究与设计 安 娜,吴晓南,陈晓江,房鼎益 (西北大学 计算机科学系,陕西 西安 710069) 摘要:针对目前***检测系统不能适应异构 网络环境.缺乏协同响应的不 ...
- 独家解读!京东高可用分布式流数据存储的架构设计
作者 | 李玥 编辑 | Vincent 每天,超过千亿交易相关的数据在京东数千个系统中高速流转,确保数据的高可靠.高可用.一致性对京东的消息中间件系统是一项艰巨的技术挑战.为高性能.高可用.高可靠的 ...
- 阿里开源mysql日志_使用过mysql的binlog吗?看看如何用binlog排查阿里开源项目otter的问题...
MySQL的binlog相信大家都有所耳闻,但是可能没有真正日常使用过. 因此,本文结合一个otter小坑的排查案例,来分享下binlog的日常使用方式. 重点了解下:binlog的导出方式 binl ...
- 操作 mysql 不生成日志_详解MySQL的日志
MySQL日志 MySQL的日志记录了MySQL的日常操作和错误信息,通过这些日志我们可以知道MySQL内部发生的事情,可以为MySQL的优化和管理提供必要的信息. MySQL的日志主要有:二进制日志 ...
- mysql用help查看帮助_深入理解mysql帮助命令(help)
在安装.管理和使用mysql过程中,你是不是需要记忆很多的mysql命令.而且对于新手来说,很不多的命令不知道该如何应用,对于老手来说很多命令时间长了忘记具体的用法. 其实mysql的帮助信息,已经给 ...
- mysql insert 不需要日志_详解MySQL|你不知道的新特性-8.0错误日志增强
MySQL 8.0 重新定义了错误日志输出和过滤,改善了原来臃肿并且可读性很差的错误日志. 比如增加了 JSON 输出,在原来的日志后面以序号以及 JSON 后缀的方式展示. 比如我机器上的 MySQ ...
- 怎么抽象mysql数据库_一个用于mysql的数据库抽象层函数库
一个用于mysql的数据库抽象层函数库 更新时间:2006年10月09日 00:00:00 作者: // // SourceForge: Breaking Down the Barriers to ...
- MySQL开源数据传输中间件架构设计实践
本文根据洪斌10月27日在「3306π」技术 Meetup - 武汉站现场演讲内容整理而成. 主要内容: 本次分享将介绍目前数据迁移.数据同步.数据消费,多IDC架构中数据复制技术所面临问题及现有的产 ...
最新文章
- 转载 Xmlhttprequest对象池
- 好书推荐系列之:你在为谁工作
- OpenCL与Cuda
- ipv6计算_移动云多款产品通过工信部IPv6支持能力技术测评
- Pandas使用小技巧
- ❤️520要来啦,快去给心仪的她写表白代码趴!(python)❤️
- 中兴通讯与寒武纪合作 加速5G时代边缘智能
- spark视频-spark机器学习
- c语言编写个人收支管理系统,个人收支管理系统
- Matlab OpenEXR 打开exr格式图片
- 【树莓派】使用VNC远程桌面
- 子在川上曰:nginx的安装和配置、node服务器的配置、mongdb的安装、pm2进行项目动态管理
- java移位运算符(一个大于号,两个大于号,三个大于号)
- icepdf 将pdf转换为图片
- Windows系统的正版与盗版
- python实现excel追加饼图
- 招聘海报制作可以用什么软件,有什么免费模板?
- 失眠尽快入睡小妙招,这些助眠产品可以帮助睡眠
- iOS: Motion Event
- 项目管理的49个过程
热门文章
- 走近分形与混沌(part10)--用简单的规律来描述复杂的大自然
- 利用python爬虫(part13)--requests模块之requests.get的参数们
- numpy基础(part10)--通用函数
- SAP 电商云 Spartacus UI Proxy Facade 的一个实际例子
- 如何在SAP Spartacus里监控用户浏览了某产品明细页面的动作
- SAP Spartacus Org Unit User List页面的设计原理
- Angular NgModule providers字段维护了多个字段后的初始化实现
- 用SAP ALV Integrated Data Access展示CDS view数据的一些调试截图
- Angular单元测试的spyOn使用一例
- 在SAP WebClient UI里使用AJAX进行异步数据读取