mysql 前端proxy_MySql-Proxy之多路结果集归并
MySql-Proxy之多路结果集归并
笔者觉得Cobar之类的分库分表最神奇的部分就是靠一条sql查询不同schema下(甚至不同实例下)的不同的表。例如
select * from t_test; // 映射为
|------select * from schema1.t_test
|------select * from schema2.t_test
ResultSet // 返回结果集为两者的归并
|--schema1.t_test.ResultSet
|--schema2.t_test.ResultSet
以笔者这种刨根到底的性格当然要把这个过程DIY出来。
由于Cobar对MySql的连接是BIO的。而笔者喜欢NIO,于是用NIO将Corbar的多节点查询全部重写(基于Netty)。NIO的难度更大,性能也更好,这个重写的过程就记录成博客,以飨读者。
多路归并原理
多节点发送select语句
当客户端发送给select * from test后,Lancelot会根据配置将语句将当前语句路由到多个不同的DB实例上,如上图所示。
FrontEnd:用来和client交互,一个FrontEnd可以对应多个Backend
BackEnd:用来和DB交互
多节点归并结果集
每条语句在一个DB实例上面执行后,都会返回一个ResultSet结果集,在此需要将多个结果集归并成一个统一的结果集,然后返回给client,这样client就感觉像查询一个DB实例一样。
如上图所示,归并过程在下面讲解。
归并ResultSet结果集
在讲如何归并前,我们需要重温一下MySql返回结果集的结构, 其详细描述见笔者博客:
https://my.oschina.net/alchemystar/blog/834150
其协议格式如下所示:
由上图可见,
其中的Row才是真正的数据内容。而其余的例如,field_count、fields 、eof以及last_eof则仅仅是携带数据格式的信息。
如果要多路归并成一路的话,field_count、fields、eof以及last_eof这些只需要返回给client一份即可。
去掉多余的结构描述信息
现在根据协议结构将Frontend归并结果集的代码阶段分为三个:
(1)fieldList阶段: 由于field_count、fields、eof这三个阶段是连续的,于是将其合并成一个状态。
(2)Row阶段:顾名思义,接收DB返回的数据阶段。
(3)LastEof阶段:最后的收尾阶段,每个结果集的last_eof表示此结果集的结束,只有所有的last_eof都收到之后才能表示结果的结束。
fieldList阶段的处理:
首先每个Backend都接收field_count,fields,eof。当其接收到eof之后,收到row之前,向Frontend提交这些信息。如下图所示:
当Frontend获取到Backend1的feilds信息之后,就开始接收Row,并丢弃其余Backend的fields信息。代码如下:
public void fieldListResponse(List fieldList) {
lock.lock();
try {
if(!isFailed.get()) {
// 如果还没有传过fieldList的话,则传递
if (!fieldEofReturned) {
writeFiledList(fieldList);
fieldEofReturned = true;
}
}
} finally {
lock.unlock();
}
}
Row阶段的处理
当Frontend进入Row阶段之后,处理比较简单,Backend发送的任何Row都向前段传输,如果是Backend的fields信息则丢弃。如下图所示:
LastEof阶段
每当一个Backend收到last_eof之后,表明当前Backend的结果集已经结束。Frontend需要等所有的Backend结果集结束之后,再发送一个last_eof告诉client,所有的结果已经完了,如下图所示:
代码如下所示:
// last eof response
public void lastEofResponse(BinaryPacket bin) {
lock.lock();
try {
logger.info("last eof ");
if (decrementCountBy()) {
if (!isFailed.get()) {
bin.packetId = ++packetId;
logger.info("write eof okay");
bin.write(session.getCtx());
// 如果是自动提交,则释放session
if(session.getSource().isAutocommit()){
session.release();
}
}else{
notifyFailure();
}
}
} finally {
lock.unlock();
}
}
例子
运行lancelot中的LanceLotServer的main命令,其就自动连接了我本机的MySql。 配置之类的在SystemConfig中进行修改(现在还没有做到配置文件化)。
我用mysqlclient连接到lancetlot,然后运行select * from test命令。结果如下图所示:
公众号
关注笔者公众号,获取更多干货文章:
GitHub链接
码云链接
原文链接
作者:无毁的湖光-Al
mysql 前端proxy_MySql-Proxy之多路结果集归并相关推荐
- mysql多实例访问代理_MySql-Proxy之多路结果集归并
MySql-Proxy之多路结果集归并 笔者觉得Cobar之类的分库分表最神奇的部分就是靠一条sql查询不同schema下(甚至不同实例下)的不同的表.例如 select * from t_test; ...
- MySql-Proxy之多路结果集归并
点击▲关注 "数据和云" 给公众号标星置顶 更多精彩 第一时间直达 笔者觉得Cobar之类的分库分表最神奇的部分就是靠一条sql查询不同schema下(甚至不同实例下)的不同的 ...
- MySQL主从架构、读写分离、集群相关面试问题
文章目录 一.MySQL主从同步原理 二.MySQL主从集群面试相关问题 1.全库同步与部分同步 2.GTID同步集群 3.集群扩容与MySQL数据迁移 4.理解半同步复制 5.主从集群与读写分离 6 ...
- mysql脑裂_如何防止HA集群的脑裂
luozhaode:博主这篇有关脑裂的文章是我看到过的理解的最透彻的.真是学习了,不过在实际工作中还是对脑裂存在着疑惑,恳请博主释疑一下.谢谢! 我们熟知的脑裂问题一般表现形式是: 在mysql主备上 ...
- 2017年8月前端开发者超实用干货大合集
2017年8月前端开发者超实用干货大合集 在过去的几年当中,网络上所流传的各种设计和开发资源,在素质上有明显的提升.其中有一些已经几乎成为了设计师和开发者必备的工具,但是其中绝大多数由于其应用范畴的局 ...
- mysql 前端proxy_【4.分布式存储】-mysql及proxy
概述 文章https://segmentfault.com/a/11... 中介绍了存储应该考虑的方向.本文详细介绍其中的mysq,主要是INNODB.整体架构,启动流程,一条语句的执行过程带你快速深 ...
- amoeba mysql proxy_mysql proxy amoeba安装配置
MySQL想要做读写分离,目前可以有三种解决方式: 1 程序修改mysql操作类优点:直接和数据库通信,简单快捷的读写分离和随机的方式实现的负载均衡,权限独立分配 缺点:自己维护更新,增减服务器在代 ...
- 原创 【ReactJs+springBoot项目——租房】第13章:MySQL主从复制+MyCat数据库中间件+HAProxy+PXC集群
分析目前系统架构中的数据库层存在的问题 分析MySQL数据库的集群方案 学习主从复制(读写分离)架构方案 掌握MyCat数据库中间件的使用 掌握HAProxy复制均衡的使用 掌握PXC集群的使用 多种 ...
- mysql 前端proxy_mysql-proxy中间件使用
下载安装mysql_proxy: 解压后,该目录包含已经编译好的二进制文件. 可以通过mysql-proxy --help查看帮助 1: 利用mysql_proxy实现负载均衡 执行mysql_pro ...
最新文章
- 只让输入数字的输入框(javascript)
- 外观模式(Facade)
- CSS技巧(含色卡)
- linux mysql清除缓存_案例:通过shell脚本实现mysql数据备份与清理
- 执行Hive的查询语句报错:java.lang.IllegalArgumentException: Does not contain a valid host:port authority: loca
- 基于SOA的图书商城系统分析
- DIV+CSS如何让文字垂直居中
- 为什么C#有委托,而Java没有?
- Springboot小区物业管理系统毕业设计源码051745
- 【应急响应】Linux入侵排查
- ContextCapture与Pix4D生成正射影像并进行拼接修图(附航测练习数据下载)
- mysql 数据库建模工具 mysqlworkbench
- UltraLAB台式图形工作站(图形+超算+私有云通吃~图灵超算工作站介绍)
- 重装系统开机蓝屏0x0000007E错误但是可以进入安全模式
- “注释”是程序员的自我修养
- linux蓝屏修复工具,Windows修复助手
- 【不读唐诗,不足以知盛世】杜甫《饮中八仙歌》
- 网络游戏专业术语中英文对照版
- AD7960FMC子卡设计资料第750篇:基于AD7960的 5Msps 18bit AD FMC子卡
- 华为静态NAT、动态NAT、NAPT、Easy NAT配置实例
热门文章
- Centos7下使用scp实现远程服务备份文件
- 物联产品设计:让设备活起来的物联卡
- I2C驱动框架分析(3):DW_I2C驱动分析
- 【Python 基础】网络编程 - Python写一个简单的HTTP服务端和客户端,实现Client/Server交互
- Git学习90~101(远程仓库)
- sysbench-0.5的安装和做性能测试
- 微信企业号通讯录异步更新(java)
- 2020.9.17 这周是我们开学以来的第二周了,我们的课也已经上了好几个课时了,因为电脑系统不支持老师推荐安装的软件的原因,我和谭金兰同学到现在都还没安好上课需要的软件,现在只能用机房里的电脑学习。
- 大数据新常态 读书笔记(一)
- 106短信群发,你的营销短信让接收者烦了吗?