美团数据库中间件DBProxy开源
随着数据量的不断增大,传统的直连数据库对数据进行访问的方式已经无法满足一般公司的需求。通过数据库中间件,可以对数据库进行水平扩展,由原来单台数据库扩展到多台数据库,数据库中间件通过路由规则将数据的访问请求路由到其中一台数据库上,从而大大降低了数据访问的瓶颈和单台数据库的压力。通过数据库中间件还可以将DBA和研发进行解耦,提升DBA运维效率。
奇虎360公司开源的Atlas是优秀的数据库中间件,美团DBA团队针对公司内部需求,在其上做了很多改进工作,形成了新的高可靠、高可用企业级数据库中间件DBProxy,已在公司内部生产环境广泛使用,较为成熟、稳定。相关工作的详细介绍可以参考之前的博客文章《美团的DBProxy实践》。
现在,我们非常高兴地将DBProxy开源,希望与业内有类似需求的团队,一起打造一款优秀的企业级数据库中间件产品。项目的Github地址是https://github.com/Meituan-Dianping/DBProxy。
- 支持多语言MySQL客户端
- 读写分离
- 负载均衡
- Slave故障感知与摘除(Master需要MHA等其他联动)
- 后端连接池
- 自定义SQL拦截与过滤
- 流量分组与控制
- 丰富的监控状态
- 支持分表(分库版本正在内测中)
- Client IP限制
- 新增功能点
- 从库流量配置
指定查询发送到某个从库 - 参数动态设置(完善show proxy status/variables)
支持save config,动态增加、删除分表 - 响应时间percentile统计
统计最近时间段DBProxy的响应时间 - kill session
支持DBProxy的admin接口kill session操作 - backend平滑上下线
支持平滑的backend上下线 - DBProxy非root用户启动
使用非root用户启动 - admin账号的安全限制
admin账号密码的动态修改及host限制 - 增加异步刷日志的功能
增加日志线程、异步刷日志,提高响应时间 - 支持DBProxy平滑重启功能
- normal:等待所有当前事务结束后退出
① KILL -SIGTERM `pid of mysql-proxy`; ② admin 命令: shutdown [normal],其中等待过程有超时机制 - immediate:不等待当前事务结束直接退出
① KILL -SIGINT `pid of mysql-proxy`; ② admin 命令: shutdown immediate - 配置参数shutdown_timeout: 在normal方式下,等待shutdown_timeout时间后退出,单位是s, 默认值是600
- normal:等待所有当前事务结束后退出
- 支持SQL过滤的黑名单功能
- 添加到黑名单中需要满足两个条件:SQL执行的时间和频率
- SQL执行的时间
由参数 query-filter-time-threshold 来指定,如果SQL执行时间超过此值,则满足条件 - SQL执行频率
由参数 query-filter-frequent-threshold 来指定,如果SQL执行频率超过此值,则满足条件 频率就是在时间窗口内执行的次数。时间窗口则是由频率阈值和最小执行次数来计算出来的,当时间窗口小于60s时,扩展到60s
参数 access-num-per-time-window 用来指定在时间窗口内的最小执行次数,添加此参数是考虑到执行时间长的SQL在计算频率时同时参考其执行的次数,只有执行一定次数时才去计算其频率。当执行时间与执行频率都满足时条件时,会自动将查询作为过滤项放到黑名单中,加入到黑名单中是否生效由参数 auto-filter-flag 来控制,OFF:不生效,ON:立即生效 - 黑名单的管理
- 提供了查看、修改、添加、删除黑名单的功能
- 黑名单管理提供了将黑名单保存到文件以及从文件中Load到内存中的功能
- 在手动添加黑名单时,只需要将用户的SQL语句输入,在内部自动转化成过滤条件,手动添加时是否生效由参数 manual-filter-flag 来控制,OFF:不生效,ON:立即生效
- 手动添加与自动添加两种情况下的过滤条件是否生效是分别由不同参数控制,这个要区分清楚。另外,也可以使用 admin 的命令来设置是否开启/关闭某个过滤条件
- 支持对于MySQL后台的thread running限制功能
该功能通过在DBProxy内限制每个后台MySQL的并发查询,来控制对应MySQL的thread running数 当发向某个MySQL后台的的并发查询超过某个阈值时,会进行超时等待,直到有可用的连接,其中阈值与超时等待的时间都已经参数化,可以动态配置- 新增参数
- backend-max-thread-running用于指定每个MySQL后台的最大thread running数
- thread-running-sleep-delay用于指定在thread running数超过backend-max-thread-running时,客户端连接等待的时间
- 新增参数
- set backend offline不再显示节点状态
- 支持set transaction isolation level
- 支持use db
- 支持set option语句
- 支持set session级系统变量
- 支持建立连接时指定连接属性
- 改进连接池的连接管理,增加超时释放机制。当连接池中的空闲连接闲置超过一定时间后,自动释放连接。由参数 db-connection-idle-timeout 控制
- 增加客户端连接的keepalive机制,避免网络异常后释放已断开的连接
- 完善管理日志,增加了管理命令日志、错误语句日志以及详细的错误日志
- 完善SQL日志信息,包含了详细的连接信息,并包含了DBProxy内部执行的隐式SQL语句。隐式SQL语句主要是连接重用时切换database、字符集的语句
- 增加SQL日志rotate机制,可设置日志文件最大大小和日志文件最大个数,自动清理早期的SQL日志。分别由参数sql-log-file-size和sql-log-file-num控制
- 增加后台MySQL版本号设置,主要影响MySQL连接协议中的server版本,客户端驱动可能依赖于server版本处理机制有所不同。由参数mysql-version控制
- 性能改进,将SQL词法分析从串行方式改进为并发方式;其次,在每次执行SQL前如果database相同时,不再需要执行COM_INIT_DB命令。根据测试结果,在特定环境下sysbench的QPS从7万提升至22万
- 增加监控统计信息,包括连接状态、QPS、响应时间、网络等统计
- sql log动态配置
- 改进autocommit为false时频繁连接主库的问题
- 从库流量配置
- Bugs修复
- DBProxy建立连向MySQL连接时,新建的socket添加keepalive和非阻塞的属性
- rpm安装时,创建conf目录并创建默认的配置文件的功能
- rpm安装时,需要手动修改mysql-proxyd文件中的proxy-dir, 现在直接在rpm安装后就修改好
- 解决了绑定后端连接断开时,客户端连接未及时断开的问题
- 屏蔽了KILL语句,避免在后端MySQL可能误KILL的问题
- 修改了事务内语句执行错误时,DBProxy未保留后台连接导致rollback发送到其它结点的问题
- 修复分表查询结果合并时列字符集错误的问题,该问题可能会导致结果乱码
- 解决在分表情况下,返回值有 NULL 的情况下,查询超时的问题
此问题是DBProxy在多个分表merge结果的过程中未处理 NULL 值,导致结果集返回不对,而JDBC接口会认为此种情况下是未收到结果,会处于一直等待状态,触发超时 - 解决在分表情况下, IN 子句中分表列只支持 int32,不支持int64 的问题
- 解决连接断开的内存泄露问题
在连接的结构体的释放接口中,lock 的成员变量未释放,导致在连接断开,回收连接对象时会泄漏24个字节 - 取消admin操作中不必要的日志
- 去掉了在连接 admin 时报”[admin] we only handle text-based queries (COM_QUERY)“的信息,此信息属于无用的信息
- 去掉了在set backend offline/online时的返回值信息,此信息是无用信息
- 解决用户权限不足、DBProxy用户名密码配置错误等导致使用错误用户的问题
- 解决SQL_CALC_FOUND_ROWS之后SQL语句发往主库的问题
- 解决SQL语句中有注释时语句分析不正确的问题
- 解决客户端发送空串导致DBProxy挂掉的问题
新功能和Bug修复描述,详见release notes。
和各位同行共同打造一款企业级高可用、高可靠的数据库中间件产品,希望大家能够积极参与。
欢迎大家将需求或发现的Bug在Github上提交issue,帮助DBProxy的壮大;也欢迎大家在DBProxy用户交流群(QQ: 367199679)相互交流,共同学习。
DBProxy的github地址
- DBProxy快速入门教程
- DBProxy用户使用手册
- DBProxy开发手册
- DBProxy架构和实践
- DBProxy release notes
- DBProxy 测试手册
- FAQ
- DBProxy开发规范
美团数据库中间件DBProxy开源相关推荐
- 美团数据库运维自动化系统构建之路
本文整理自美团点评技术沙龙第10期:数据库技术架构与实践. 美团点评技术沙龙由美团点评技术团队主办,每月一期.每期沙龙邀请美团点评及其它互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域. ...
- 分库分表数据库中间件对比
http://www.cnblogs.com/taoxinrui/p/6782791.html http://www.tuicool.com/articles/A77R3m http://blog.c ...
- 开源分布式数据库中间件
转自:https://www.csdn.net/article/2015-07-16/2825228 MyCat:开源分布式数据库中间件 为什么需要MyCat? 虽然云计算时代,传统数据库存在着先天性 ...
- (转载)MyCat:开源分布式数据库中间件
发现MyCat这个东西,觉得还是有很多应用场合,之前为了mysql读写分离.分布等伤透脑筋,没想到有现成的中间件工具,看来很多有经验的公司是受到过折磨,才整出好工具.方法和工具的发明,总是因为问题的存 ...
- 开源数据库中间件-MyCa初探与分片实践
如今随着互联网的发展,数据的量级也是撑指数的增长,从GB到TB到PB.对数据的各种操作也是愈加的困难,传统的关系性数据库已经无法满足快速查询与插入数据的需求.这个时候NoSQL的出现暂时解决了这一危机 ...
- Mycat - 数据库分库分表中间件,国内最活跃的、性能最好的开源数据库中间件
转载自 Mycat - 数据库分库分表中间件,国内最活跃的.性能最好的开源数据库中间件 Mycat是什么 Mycat - 数据库分库分表中间件,国内最活跃的.性能最好的开源数据库中间件! 一个彻底开源 ...
- 开源分布式数据库中间件MyCat架构简介(一)——基于MyCat的分库分表,读写分离,水平切分和垂直切分实现原理
目录 前言 开源分布式数据库中间件MyCat架构简介--MyCat源起 一.数据库切分概述:OLTP和OLAP 二.关系型数据库和NoSQL数据库 三.关系型数据库和NoSQL数据库的特点及优缺点 1 ...
- 小米开源数据库中间件gaea
简介 Gaea是小米商城/系统组研发的基于mysql协议的数据库中间件,目前在小米商城大陆和海外得到广泛使用,包括订单.社区.活动等多个业务.Gaea支持分库分表.sql路由.读写分离.连接池等基本特 ...
- 华为云分布式数据库中间件DDM和开源MyCAT对比
前言 华为云分布式数据库中间件(Distributed Database Middleware)是解决数据库容量.性能瓶颈和分布式扩展问题的中间件服务,提供分库分表.读写分离.弹性扩容等能力,应对海量 ...
最新文章
- Java学习从入门到精通的学习建议
- Eclipse设置背景色、字体大小
- 维基百科:主流移动设备的屏幕参数
- 中国已消失的九所世界级大学
- Python编程系列---使用字典实现路由静态路由
- eval函数linux,Python中的eval()、exec()及其相关函数
- android设置输入框输入字符限制,Android EditText限制输入字符的方法总结
- centos7远程桌面端口_CentOS7启用远程桌面连接
- [转]理解ThreadLocal
- JS 闭包 正则(1)
- Hyper-V应用指南之5-导出、导入虚拟机
- java11下载_Java11 64位下载_Java SE Development Kit 11(JDK11)下载 11.0.0 官方版_当载软件站...
- tftp拷贝linux文件夹,CentOS下使用TFTP向目标板传送文件
- Bolt界面引擎 HostWnd的生存周期以及相应的objtree的绑定问题
- 深度学习caffe教程
- linux 运行lammps,lammps linux运行
- 智能药盒 树莓派与Arduino实现药板自助取药
- uni-app调用android方法,uni-app 调用 jar 包
- P4在table中使用ternary匹配
- 微信支付 Verify the signature and get the Wechatpay certificate corresponding to serialnumber[X] is empt