数据库分库分表中间件架构解析

Processor(1) Processor(n) MySQL MySQL MySQL Cobar结构 Front-end Communication Application1 MySQL MySQL Protocol MySQL MySQL Monitor Configure MySQL MySQL SQL Executor SQL Router SQL Parser ResultMerger SQL Executor SQL Router SQL Parser ResultMerger ... Manager MySQL Protocol MySQL Protocol MySQL Protocol MySQL Protocol ManagementProtocol MySQL Protcol Adaptor (BIO) Data Nodes HA Pool 后台数据访问逻辑层次 HA Pool MySQL Protocol Adapter Data Node S M S M S M S M S M ip:port/offer ip:port/offer ip:port/ibank ip:port/ibank ip:port/ibank 数据库连接 基于协议数据包 与MySQL交互 基于MySQL协议 MySQL 新Cobar select * from offer select * from offer 基于MySQL协议 MySQL 新Cobar HEADER FIELD EOF ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW ROW EOF select * from offer Result 2GB select * from offer 后台数据访问逻辑层次 S M HA Pool MySQL Protocol Adapter Data Node 主备连接池 S M S M S M S M S M 后台数据访问逻辑层次 S M 心跳检测后端连接 S M S M S M S M S M HA Pool MySQL Protocol Adapter Data Node X 后台数据访问逻辑层次 S M 心跳检测后端连接 主库失效自动切换至备库 重置池中连接 S M S M S M S M S M HA Pool MySQL Protocol Adapter Data Node 分库2 分库3 分库4 分库5 分库6 分库1 后台数据访问逻辑层次 S M 水平拆分的分库 S M S M S M S M S M HA Pool MySQL Protocol Adapter Data Node 分库2 分库3 分库4 分库5 分库6 分库1 物理机 灵活的层间对应关系 S M S M S M S M S M S M 物理机 物理机 物理机 物理机 物理机 大纲 中间件引入 Cobar策略 系统实现 MySQL协议 通信 解析 后端连接 实施应用 Cobar 的部署 Cobar集群 Cobar集群 Cobar集群 Cobar集群 Cobar集群 Cobar集群 Cobar集群 ... 青岛 杭州 美国 中文站 国际站 offer/ibank/snapshot…… messagecenter hermes product ... ... CobarManager CobarManager CobarManager Cobar 的部署 Cobar集群 德胜机房Cobar集群 兴义机房Cobar集群 Cobar集群 ... 青岛 杭州 美国 ... ... CobarManager CobarManager CobarManager Cobar集群 MySQL Protocol MySQL Protocol MySQL Protocol MySQL Protocol MySQL Protocol MySQL Protocol HTTP 数据迁移 场景 MySQL数据库节点扩容 拆分规则更改 目标 迁移过程中应用保持可用 数据不能丢失、多余或者不一致 迁移步骤 数据的全量dump 变更数据的增量dump 路由规则切换 清理 分库1 分库2 分库1 分库2 分库3 数据分片数量变更 分库2 分库1 全量dump 分库3 分库1 分库2 分库3 分库2 分库1 全量dump 分库3 分库1 分库2 分库3 dump dump 此时仍使用两份分库的拆分规则 分库2 分库1 全量dump 分库3 invisible invisib