mysql多实例访问代理_MySql-Proxy之多路结果集归并
MySql-Proxy之多路结果集归并
笔者觉得Cobar之类的分库分表最神奇的部分就是靠一条sql查询不同schema下(甚至不同实例下)的不同的表。例如
select * from t_test; // 映射为
|------select * from schema1.t_test
|------select * from schema2.t_test
ResultSet // 返回结果集为两者的归并
|--schema1.t_test.ResultSet
|--schema2.t_test.ResultSet
以笔者这种刨根到底的性格当然要把这个过程DIY出来。
由于Cobar对MySql的连接是BIO的。而笔者喜欢NIO,于是用NIO将Corbar的多节点查询全部重写(基于Netty)。NIO的难度更大,性能也更好,这个重写的过程就记录成博客,以飨读者。
多路归并原理
多节点发送select语句
当客户端发送给select * from test后,Lancelot会根据配置将语句将当前语句路由到多个不同的DB实例上,如上图所示。
FrontEnd:用来和client交互,一个FrontEnd可以对应多个Backend
BackEnd:用来和DB交互
多节点归并结果集
每条语句在一个DB实例上面执行后,都会返回一个ResultSet结果集,在此需要将多个结果集归并成一个统一的结果集,然后返回给client,这样client就感觉像查询一个DB实例一样。
如上图所示,归并过程在下面讲解。
归并ResultSet结果集
在讲如何归并前,我们需要重温一下MySql返回结果集的结构, 其详细描述见笔者博客:
https://my.oschina.net/alchemystar/blog/834150
其协议格式如下所示:
由上图可见,
其中的Row才是真正的数据内容。而其余的例如,field_count、fields 、eof以及last_eof则仅仅是携带数据格式的信息。
如果要多路归并成一路的话,field_count、fields、eof以及last_eof这些只需要返回给client一份即可。
去掉多余的结构描述信息
现在根据协议结构将Frontend归并结果集的代码阶段分为三个:
(1)fieldList阶段: 由于field_count、fields、eof这三个阶段是连续的,于是将其合并成一个状态。
(2)Row阶段:顾名思义,接收DB返回的数据阶段。
(3)LastEof阶段:最后的收尾阶段,每个结果集的last_eof表示此结果集的结束,只有所有的last_eof都收到之后才能表示结果的结束。
fieldList阶段的处理:
首先每个Backend都接收field_count,fields,eof。当其接收到eof之后,收到row之前,向Frontend提交这些信息。如下图所示:
当Frontend获取到Backend1的feilds信息之后,就开始接收Row,并丢弃其余Backend的fields信息。代码如下:
public void fieldListResponse(List fieldList) {
lock.lock();
try {
if(!isFailed.get()) {
// 如果还没有传过fieldList的话,则传递
if (!fieldEofReturned) {
writeFiledList(fieldList);
fieldEofReturned = true;
}
}
} finally {
lock.unlock();
}
}
Row阶段的处理
当Frontend进入Row阶段之后,处理比较简单,Backend发送的任何Row都向前段传输,如果是Backend的fields信息则丢弃。如下图所示:
LastEof阶段
每当一个Backend收到last_eof之后,表明当前Backend的结果集已经结束。Frontend需要等所有的Backend结果集结束之后,再发送一个last_eof告诉client,所有的结果已经完了,如下图所示:
代码如下所示:
// last eof response
public void lastEofResponse(BinaryPacket bin) {
lock.lock();
try {
logger.info("last eof ");
if (decrementCountBy()) {
if (!isFailed.get()) {
bin.packetId = ++packetId;
logger.info("write eof okay");
bin.write(session.getCtx());
// 如果是自动提交,则释放session
if(session.getSource().isAutocommit()){
session.release();
}
}else{
notifyFailure();
}
}
} finally {
lock.unlock();
}
}
例子
运行lancelot中的LanceLotServer的main命令,其就自动连接了我本机的MySql。 配置之类的在SystemConfig中进行修改(现在还没有做到配置文件化)。
我用mysqlclient连接到lancetlot,然后运行select * from test命令。结果如下图所示:
公众号
关注笔者公众号,获取更多干货文章:
GitHub链接
码云链接
原文链接
mysql多实例访问代理_MySql-Proxy之多路结果集归并相关推荐
- mysql多实例访问代理_一台MySQL数据库启动多个实例
一台数据库服务器为什么运行多个实例? 有一台MySQL数据库服务器硬件利用率往往在30%左右,那剩余的70%岂不是浪费了,这时就可以考虑运行多个MySQL服务,你可以做主从架构,读写分离,数据库隔离, ...
- linux mysql 实战_Linux平台MySQL多实例项目实施_MySQL数据库基础与项目实战06
Linux平台MySQL多实例项目实施_MySQL数据库基础与项目实战06 视频教程学习地址 Oracle/MySQL数据库学习专用QQ群:336282998.189070296 学完风哥本课程能熟悉 ...
- mysql 前端proxy_MySql-Proxy之多路结果集归并
MySql-Proxy之多路结果集归并 笔者觉得Cobar之类的分库分表最神奇的部分就是靠一条sql查询不同schema下(甚至不同实例下)的不同的表.例如 select * from t_test; ...
- mysql多实例安装配置_MySQL多实例安装配置
MySQL进行多实例配置再生产环境中非常常见,比如一些高配置数据库服务器,就会跑多个MySQL实例,借助多实例绑定的方式提高服务器的整体资源利用率.另外在MySQL5.7以上版本还不支持多源复制时,当 ...
- mysql多实例配置安装_MySQL多实例安装配置方案
一.基本概念 MySQL多实例就是,在一台机器上开启多个不同的服务端口(如:3306,3307,3308...),运行多个MySQL服务进程,这些服务进程通过不同的socket监听不同的端口提供服务. ...
- mysql 多实例 独立配置文件_mysql 5.7 配置多实例 — 独立配置文件方式
使用独立配置文件来实现 mysql 的单机多实例 一下教程皆以已在 /usr/local 下安装了 mysql 为说明 我们将在原 3306 实例的基础上新建 3307 和 3308 两个实例 1.创 ...
- mysql多实例配置安装_Mysql 多实例安装配置方法一
Mysql 多实例安装配置方法一 环境: 操作系统:ubutun 11.1 Mysql版本:mysql-5.5.19(二进制) 其他方法:mysqld_multi 以下步骤:在192.168.129. ...
- mysql通过局域网访问数据库_MySQL数据库之局域网内访问同一个mysql数据库
本文主要向大家介绍了MySQL数据库之局域网内访问同一个mysql数据库 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 局域网内访问同一个mysql数据库. 一.运行cmd,输 ...
- mysql多实例安装启动_MySQL多实例安装启动
Tips:之前我们的一个实例是mysql3306,我们现在再安装一个mysql3307 1.和之前一样,创建需要的目录文件夹 mkdir -p /data/mysql/mysql3307/{data, ...
最新文章
- 百余位中外学者探讨神经科技挑战:伦理担忧与监管难题并存
- 转发一个深度、实用的技术帖——实现ADM3251E与3.3V系统的RS-232接口隔离
- python cookbook 中文第四版_Python Cookbook (4)
- python操作excel-openpyxl(1)
- wxWidgets:wxScopedPtr类用法
- Traefik访问master节点不通的问题定位
- [ZJOI2008] 树的统计(树链剖分)
- 转载:tcpdump抓包和Wireshark解包
- CV《物体识别与检测1 - 单目标识别 特征点检测》
- webpack4.0各个击破(9)—— karma篇
- 车间调度建模系列6|扩展析取图之顺序不依赖准备时间
- 电子书 “已取消到该网页的导航”或“导航已取消”解决方法
- 计算机基础,Java介绍和环境搭建及Hello World
- 基于Python3的格雷厄姆 股票估值模型
- vivo分屏_Vivo手机怎么分屏,你知道吗?不会手机就白买了。
- 凤姐和她的传销币们-千氪
- gdpr通用数据保护条例_从信息安全角度看通用数据保护条例(GDPR)
- 电路实验——实验三 叠加原理
- 如何快速推广个人微信公众号?
- 成长的第一步是走出舒适区
热门文章
- wxWidgets:wxGauge类用法
- boost::type_index模块实现存储有关类型的信息
- boost::sort::block_indirect_sort相关的测试程序
- boost::process::env相关的测试程序
- boost::multiprecision模块logged_adaptor相关的测试程序
- boost::mpl模块实现eval_if相关的测试程序
- boost::log::sinks用法的测试程序
- boost::function用法的测试程序
- boost::hana::experimental::type_name用法的测试程序
- GDCM:gdcm::Parser的测试程序