美团的DBProxy实践
本文整理自美团技术沙龙第10期:数据库技术架构与实践。
美团技术沙龙由美团技术团队主办,每月一期,每期沙龙邀请美团及其它互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域。
本次沙龙主要围绕数据库相关的主题,内容包括美团数据库自动化运维系统构建、点评侧MySQL自动化服务平台RDS、美团数据库中间件、和小米高级DBA带来的Redis Cluster的大规模运维实践。
平仲,美团高级DBA,现负责美团数据库中间件DBProxy的开发;主要工作经历从事于数据库内核及中间件开发。
这次分享的主要内容包括6个部分:
- 第一是我的简单介绍一下美团DBProxy;
- 第二部分,会介绍一下美团DBProxy的整体架构;
- 第三个是美团DBProxy的主要模块,主要模块介绍我们美团在上面的主要工作;
- 第四个部分是上线的现状;
- 第五个部分是我们后续的一些安排,未来的计划;
- 最后是QA的部分。
首先介绍一下为什么要使用DBProxy:
- 使用DBProxy之后,应用程序只需要在连接串中设置DBProxy的地址,不需要关注整个数据库集群的结点;
- DBProxy内部实现负载均衡,读写分离;
- Slave上下线的操作由DBA在自动化运营系统上点一下鼠标就能够完成。
这样极大的减轻了DBA和应用开发人员的工作;而没有DBProxy的情况下,这些工作是由RD来实现的,引入DBProxy对于系统的可管理性和便利性都有非常大的帮助。
介绍DBProxy的软件模块。软件模块分三层:
- 第一层是一个访问控制,包括用户处理,IP过滤等等的功能;
- 中间层是一个SQL处理的过程,包括SQL解析,SQL重写,和SQL执行;
- 第三层就是一个主要和DBA连接相关的一个模块,像读写分离,负载均衡,连接池;
- 另外还有三个模块是贯穿整个三层的: 第一是连接的管理,负责管理收发数据的底层连接;第二是日志的管理,第三个是监控管理。
首先介绍一下连接的管理:根据我们链路比较长的特点,着重添加了对于连接异常的检测和处理,包括:
- DBProxy上游和MGW交互的连接检测;
- DBProxy下游和MySQL连接的检测;
- DBProxy所在机器的连接检测。
SQL处理模块中增加了SESSION参数的功能: 客户端分配一个DB连接的时候,如果二者SESSION级参数不一样时,首先做一个校正,校正之后才会真正执行查询。
连接池的管理中做了这样的修改:将链表改成Hash表,其中Hash键是用户名,Hash值是以用户身份建立的连接的一个链表。如下图把连接按用户来分,client分别会分到各自user建立的db连接,二者互不影响,既保证了查询的正确性,又保证了较高的性能。
下面讲一下访问控制模块,是在我们整个软件模型的第一层。
- 第一个是增加了一个SQL过滤的功能:
- 该功能由黑名单的方式实现,黑名单的形式是如下边两个语句;
- 黑名单可以根据执行的频率,执行的时间来自动的添加,其中频率时间,都是可以根据自己的需求动态修改的,另外我们也提供了一个手动添加黑名单的功能。
- 第二个个是根据后台db的thread running进行负载均衡,每当分配到一个后台的连接的时候,先检查后台的Thread running数,直到有一个thread running数在我阈值之内的时候才真正去分配。
- 第三个就是用户IP限制,我们限制了用户的host地址,相当于进行一个权限的控制。
- 最后一个就是从库流量配置,我可以指定某一个用户只能访问某几个从库,或者反过来说某几个从库只允许某几个用户访问,这样可能在一个更细的力度上对数据库的资源进行分配。
DBProxy的监控体系实现了一个从无到有的过程,目前主要监控一些DBProxy内部运行相关的一些参数:
对于sharding版本,做了如下的改进:
- 首先我们把分库变成分库分表,并且提供了5种分库分表的方式;
- 第二个是改进了Lemon基本上兼容MySQL语法;
- 第三个是有限支持单个库内部的JOIN,经过Lemon解析后,发现涉及的表都是在同一个库,那么表的JOIN是支持的;
- 同样的道理,单库的事务也是支持的。
- 最后一个就是增加错误处理:在一个库上面执行出错的时候,会相应有一些rollback的机制,来处理一些异常情况导致的执行失败。
Q:这方面能大概讲一下怎么去改进的? A:首先是一个语法的支持,我们就是把中间不支持语法的支持,这样的话有些复杂的查询,我们可以通过这个语法来进行一些,比如说where条件的分析,可以知道分布分表的情况,然后就是表的替换。
和大家分享一下上线的现状:从2015.5上线第一个版本后到现在已经有87%的服务组接入了DBProxy, DBProxy也已经经历了5个版本的迭代。
最后讲一下未来的计划:
- 第一个就是更强大的SQL处理:
- 增加一些SQL优化,Row cache的功能;
- 分库分表全面的SQL支持,如聚集,排序;
- 更全面的连接上下文信息;
- 第二:监控管理要结合自动故障处理,真正把监控的信息智能化;
- 第三:下一个是和我们美团自己的MHA融合,支持自动故障切换;
- 第四:支持分布式事务。
目前DBProxy已经开源,github地址: DBProxy
美团的DBProxy实践相关推荐
- Presto实现原理和美团的使用实践
Presto实现原理和美团的使用实践 Facebook的数据仓库存储在少量大型Hadoop/HDFS集群.Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具.在以前,Fac ...
- block在美团iOS的实践
说到block,相信大部分iOS开发者都会想到retain cycle或是__block修饰的变量. 但是本文将忽略这些老生常谈的讨论,而是将重点放在美团iOS在实践中对block的应用,希望能对同行 ...
- 【免费报名】技术沙龙第22期:美团点评AI实践
美团点评技术沙龙由美团点评技术团队主办,每期沙龙邀请美团点评及其他互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域. 最近来,随着硬件计算能力的增强,以及大数据的爆破式增长,深度学习技术 ...
- 【测试开发】自动化测试在美团外卖的实践与落地
文章目录 自动化测试在美团外卖的实践与落地 1.项目背景 2.项目目标 3.方案选型 4.实践和探索 4.1 问题和挑战 4.2 前置条件准备 4.3 用例录制与回放的数据一致性 4.4 用例录制与回 ...
- KDD Cup 2020 自动图学习比赛冠军技术方案及在美团广告的实践
ACM SIGKDD (国际数据挖掘与知识发现大会,简称 KDD)是数据挖掘领域的国际顶级会议. 美团到店广告平台搜索广告算法团队基于自身的业务场景,一直在不断进行前沿技术的深入优化与算法创新.团队的 ...
- 微前端在美团外卖的实践
来自:美团技术团队 微前端是微服务理念在前端的应用.之前美美给大家介绍过微前端在美团HR系统和美团闪购的实践文章. 今天的文章来自美团外卖广告团队,他们参考业界优秀方案,同时也深度结合了广告端实际业务 ...
- mysql snowflake_一篇文章彻底搞懂snowflake算法及百度美团的最佳实践
写在前面的话 一提到分布式ID自动生成方案,大家肯定都非常熟悉,并且立即能说出自家拿手的几种方案,确实,ID作为系统数据的重要标识,重要性不言而喻,而各种方案也是历经多代优化,请允许我用这个视角对分布 ...
- 短视频内容理解与生成技术在美团的创新实践
点击上方"LiveVideoStack"关注我们 美团围绕丰富的本地生活服务电商场景,积累了海量视频数据.如何通过计算机视觉技术用相关数据,为用户和商家提供更好的服务,是一项重要的 ...
- 美团点评DBProxy读写分离使用说明
目的 因为业务架构上需要实现读写分离,刚好前段时间美团点评开源了在360Atlas基础上开发的读写分离中间件DBProxy,关于其介绍在官方文档已经有很详细的说明了,其特性主要有:读写分离.负载均衡. ...
最新文章
- 《自然》《科学》相继发文批评质疑:俄罗斯注册新冠疫苗“让众人面临风险”...
- 如何周密规划决策制定过程
- CSP认证201509-1	数列分段[C++题解]:遍历
- mysql连接的时候里执行命令_在Bash里使用交互式命令连接MySQL数据库,并执行一次查询...
- 【CyberSecurityLearning 76】DC系列之DC-7渗透测试(Drupal)
- 【IDEA】IDEA 下 maven 一个诡异问题,一个正常项目 过了一夜 依赖很多 飘红
- iOS 关于TouchID指纹解锁的实现
- MySQL外键约束详解
- 电脑word在哪_永中PDF转WORD在线文档转换器——无需会员、没有限制
- docker容器部署的应用启动日志在哪里看_在SAP云平台上部署和运行Docker应用
- B05 - 008、什么是大数据
- flex实现自定义鼠标
- 什么是横向扩展和纵向扩展?
- 最近笔记本电脑开机启动正常,进入黑屏?
- 利用Python+opencv进行视频文件的读取和保存,打开笔记本摄像头拍照保存、图像在窗口显示等操作
- echarts 多组图例重叠问题
- 使用ISA Server 2004限制BT下载
- 关于在caddy环境下,使用https协议UC无法下载的解决方法。
- 牛腩新闻发布--过程或函数 'news_selectByCaId' 需要参数 '@caid',但未提供该参数(二)
- 做生鲜水果这行线上销售有什么好的平台推荐?