MySQL数据库之分库分表方案
数据库之互联网常用分库分表方案
原文: https://www.cnblogs.com/littlecharacter/p/9342129.html
- 一、数据库瓶颈
-
- 1、IO瓶颈
-
- 2、CPU瓶颈
- 二、分库分表
-
- 1、水平分库
-
- 2、水平分表
-
- 3、垂直分库
-
- 4、垂直分表
- 三、分库分表工具 四、分库分表步骤 五、分库分表问题
-
- 1、非partition key的查询问题(水平分库分表,拆分策略为常用的hash法)
-
- 2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法)
-
- 3、扩容问题(水平分库分表,拆分策略为常用的hash法)
- 六、分库分表总结 七、分库分表示例
一、数据库瓶颈 ↑
不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。接下来就可以想象了吧(并发量、吞吐量、崩溃)。
1、IO瓶颈
第一种:磁盘读IO瓶颈,热点数据太多,数据库缓存放不下,每次查询时会产生大量的IO,降低查询速度 -> 分库和垂直分表 。
第二种:网络IO瓶颈,请求的数据太多,网络带宽不够 -> 分库 。
2、CPU瓶颈
第一种:SQL问题,如SQL中包含join,group by,order by,非索引字段条件查询等,增加CPU运算的操作 -> SQL优化,建立合适的索引,在业务Service层进行业务计算。
第二种:单表数据量太大,查询时扫描的行太多,SQL效率低,CPU率先出现瓶颈 -> 水平分表 。
二、分库分表 ↑
1、水平分库
- 概念:以 字段 为依据 ,按照一定策略(hash、range等),将一个 库 中的数据拆分到多个 库 中。
- 结果:
- 每个 库 的 结构 都一样;
- 每个 库 的 数据 都不一样,没有交集;
- 所有 库 的 并集 是全量数据;
- 场景:系统绝对并发量上来了,分表难以根本上解决问题,并且还没有明显的业务归属来垂直分库。
- 分析:库多了,io和cpu的压力自然可以成倍缓解。
2、水平分表
- 概念:以 字段 为依据 ,按照一定策略(hash、range等),将一个 表 中的数据拆分到多个 表 中。
- 结果:
- 每个 表 的 结构 都一样;
- 每个 表 的 数据 都不一样,没有交集;
- 所有 表 的 并集 是全量数据;
- 场景:系统绝对并发量并没有上来,只是单表的数据量太多,影响了SQL效率,加重了CPU负担,以至于成为瓶颈。
- 分析:表的数据量少了,单次SQL执行效率高,自然减轻了CPU的负担。
3、垂直分库
- 概念:以 表 为依据,按照业务归属不同,将不同的 表 拆分到不同的 库 中 。
- 结果:
- 每个 库 的 结构 都不一样;
- 每个 库 的 数据 也不一样,没有交集;
- 所有 库 的 并集 是全量数据;
- 场景:系统绝对并发量上来了,并且可以抽象出单独的业务模块。
- 分析:到这一步,基本上就可以服务化了。例如,随着业务的发展一些公用的配置表、字典表等越来越多,这时可以将这些表拆到单独的库中,甚至可以服务化。再有,随着业务的发展孵化出了一套业务模式,这时可以将相关的表拆到单独的库中,甚至可以服务化。
4、垂直分表
- 概念:以 字段 为依据,按照字段的活跃性,将 表 中字段拆到不同的 表 (主表和扩展表)中。
- 结果:
- 每个 表 的 结构 都不一样;
- 每个 表 的 数据 也不一样,一般来说,每个表的 字段 至少有一列交集,一般是主键,用于关联数据;
- 所有 表 的 并集 是全量数据;
- 场景:系统绝对并发量并没有上来,表的记录并不多,但是字段多,并且热点数据和非热点数据在一起,单行数据所需的存储空间较大。以至于数据库缓存的数据行减少,查询时会去读磁盘数据产生大量的随机读IO,产生IO瓶颈。
- 分析:可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据(可能会冗余经常一起查询的数据)放在一起作为主表,非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来,进而减少了随机读IO。拆了之后,要想获得全部数据就需要关联两个表来取数据。但记住,千万别用join,因为join不仅会增加CPU负担并且会讲两个表耦合在一起(必须在一个数据库实例上)。关联数据,应该在业务Service层做文章,分别获取主表和扩展表数据然后用关联字段关联得到全部数据。
三、分库分表工具 ↑
- sharding-sphere:jar,前身是sharding-jdbc;
TDDL:jar,Taobao Distribute Data Layer;
- Mycat:中间件。
注:工具的利弊,请自行调研,官网和社区优先。
四、分库分表步骤 ↑
根据容量(当前容量和增长量)评估分库或分表个数 -> 选key(均匀)-> 分表规则(hash或range等)-> 执行(一般双写)-> 扩容问题(尽量减少数据的移动)。
五、分库分表问题 ↑
1、非partition key的查询问题(水平分库分表,拆分策略为常用的hash法)
- 端上 除了partition key只有一个非partition key作为条件查询
- 映射法
- 基因法
注:写入时,基因法生成user_id,如图。关于xbit基因,例如要分8张表,2 3 =8,故x取3,即3bit基因。根据user_id查询时可直接取模路由到对应的分库或分表。根据user_name查询时,先通过user_name_code生成函数生成user_name_code再对其取模路由到对应的分库或分表。id生成常用 snowflake算法 。
- 映射法
- 端上 除了partition key不止一个非partition key作为条件查询
- 映射法
- 冗余法
注:按照order_id或buyer_id查询时路由到db_o_buyer库中,按照seller_id查询时路由到db_o_seller库中。感觉有点本末倒置!有其他好的办法吗?改变技术栈呢?
- 映射法
- 后台 除了partition key还有各种非partition key组合条件查询
- NoSQL法
- 冗余法
- NoSQL法
2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法)
注:用 NoSQL法 解决(ES等)。
3、扩容问题(水平分库分表,拆分策略为常用的hash法)
- 水平扩容库(升级从库法)
注:扩容是成倍的。
- 水平扩容表(双写迁移法)
第一步:(同步双写)应用配置双写,部署;
第二步:(同步双写)将老库中的老数据复制到新库中;
第三步:(同步双写)以老库为准校对新库中的老数据;
第四步:(同步双写)应用去掉双写,部署;
注: 双写 是通用方案。
六、分库分表总结 ↑
- 分库分表,首先得知道瓶颈在哪里,然后才能合理地拆分(分库还是分表?水平还是垂直?分几个?)。且不可为了分库分表而拆分。
- 选key很重要,既要考虑到拆分均匀,也要考虑到非partition key的查询。
- 只要能满足需求,拆分规则越简单越好。
七、分库分表示例 ↑
示例GitHub地址: https://github.com/littlecharacter4s/study-sharding
作者: 尜尜人物
About Me
........................................................................................................................ ● 本文作者:小麦苗,部分内容整理自网络,若有侵权请联系小麦苗删除 ● 本文在itpub、博客园、CSDN和个人微 信公众号( xiaomaimiaolhr )上有同步更新 ● 本文itpub地址: http://blog.itpub.net/26736162 ● 本文博客园地址: http://www.cnblogs.com/lhrbest ● 本文CSDN地址: https://blog.csdn.net/lihuarongaini ● 本文pdf版、个人简介及小麦苗云盘地址: http://blog.itpub.net/26736162/viewspace-1624453/ ● 数据库笔试面试题库及解答: http://blog.itpub.net/26736162/viewspace-2134706/ ● DBA宝典今日头条号地址: http://www.toutiao.com/c/user/6401772890/#mid=1564638659405826 ........................................................................................................................ ● QQ群号: 230161599 (满) 、618766405 ● 微 信群:可加我微 信,我拉大家进群,非诚勿扰 ● 联系我请加QQ好友 ( 646634621 ) ,注明添加缘由 ● 于 2019-07-01 06:00 ~ 2019-07-31 24:00 在西安完成 ● 最新修改时间:2019-07-01 06:00 ~ 2019-07-31 24:00 ● 文章内容来源于小麦苗的学习笔记,部分整理自网络,若有侵权或不当之处还请谅解 ● 版权所有,欢迎分享本文,转载请保留出处 ........................................................................................................................ ● 小麦苗的微店 : https://weidian.com/s/793741433?wfr=c&ifr=shopdetail ● 小麦苗出版的数据库类丛书 : http://blog.itpub.net/26736162/viewspace-2142121/ ● 小麦苗OCP、OCM、高可用网络班 : http://blog.itpub.net/26736162/viewspace-2148098/ ● 小麦苗腾讯课堂主页 : https://lhr.ke.qq.com/ ........................................................................................................................ 使用 微 信客户端 扫描下面的二维码来关注小麦苗的微 信公众号( xiaomaimiaolhr )及QQ群(DBA宝典)、添加小麦苗微 信, 学习最实用的数据库技术。 ........................................................................................................................ |
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26736162/viewspace-2651606/,如需转载,请注明出处,否则将追究法律责任。
MySQL数据库之分库分表方案相关推荐
- MySQL数据库的分库分表方案
MySQL数据库的分库分表方案 一. 数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值.在业务Service来看就是,可用数 ...
- MySQL数据库(分库分表)中间件对比
分区:对业务透明,分区只不过把存放数据的文件分成了许多小块,例如mysql中的一张表对应三个文件.MYD,MYI,frm. 根据一定的规则把数据文件(MYD)和索引文件(MYI)进行了分割,分区后的表 ...
- mysql 数据库的分库分表详解
一 数据库分库分表 1.1 概述分库分表 垂直分片:是从业务的维度进行划分,扩展了数据库连接数,提升数据库IO性能. 2.水平分片:从数据维度切分,扩展单表的数量,提升数据库查询性能. 水平分片从理论 ...
- mysql主从shardingsphere分库分表
问题: 1. 公司的mysql主从复制方式怎么查看--这个命令在哪敲 2.公司扩容一个从的时候怎么做的?-- 3.公司主从架构模式是什么样的?几主几从 4.公司的业务场景有木有要求写后立马查出数据的 ...
- 如何最大限度的使用数据库性能,全网最细节讲解缓存方案丨读写分离|连接池|缓存方案|mysql|缓存同步|分库分表
如何最大限度的使用数据库性能,全网最细节讲解缓存方案 视频讲解如下,点击观看: 如何最大限度的使用数据库性能,全网最细节讲解缓存方案丨读写分离|连接池|缓存方案|mysql|缓存同步|分库分表|c/c ...
- MySQL主从(MySQL proxy Lua读写分离设置,一主多从同步配置,分库分表方案)
Mysql Proxy Lua读写分离设置 一.读写分离说明 读写分离(Read/Write Splitting),基本的原理是让主数据库处理事务性增.改.删操作(INSERT.UPDATE.DELE ...
- 数据库面试 - 如何设计可以动态扩容缩容的分库分表方案?
数据库面试 - 如何设计可以动态扩容缩容的分库分表方案? 面试题 如何设计可以动态扩容缩容的分库分表方案? 面试官心理分析 对于分库分表来说,主要是面对以下问题: 选择一个数据库中间件,调研.学习.测 ...
- mybatis+mysql分库分表_一种简单易懂的 MyBatis 分库分表方案
数据库分库分表除了使用中间件来代理请求分发之外,另外一种常见的方法就是在客户端层面来分库分表 -- 通过适当地包装客户端代码使得分库分表的数据库访问操作代码编写起来也很方便.本文的分库分表方案基于 M ...
- MySQL第六讲 MySQL分库分表方案
分库分表概念 分库分表就是业务系统将数据写请求分发到master节点,而读请求分发到slave 节点的一种方案,可以大大提高整个数据库集群的性能.但是要注意,分库分表的 一整套逻辑全部是 ...
- 最全的MySQL分库分表方案总结
" 面试中我们经常会碰到的关于分库分表的问题!今天就给大家介绍互联网公司常用 MySQL 分库分表方案!希望对大家的面试有所帮助! 数据库瓶颈 不管是 IO 瓶颈,还是 CPU 瓶颈,最终都 ...
最新文章
- 【React组件】写一个模仿蓝湖的图片查看器
- OpenGL立方体的纹理
- netty系列之:轻轻松松搭个支持中文的服务器
- KMP算法理解(转)
- 华为今年不发布Mate系列新机;一加宣布与OPPO合并:将成为OPPO旗下独立品牌;Gradle 7.1 发布|极客头条...
- ELK详解(六)——Logstash部署与简单应用
- Javascript 笔记与总结(2-8)对象2
- 手机编写java的软件_手机上可以用来学习编程的软件有哪些?
- java swing 颜色_Java Swing按钮颜色
- 苹果维修服务器gsx查询,手机苹果官网怎么查序列号(苹果gsx免费查询公众号)...
- 计算机工具都有什么,电脑上有哪些特别好用的小工具?盘点10大PC工具,个个都精品...
- 第127讲:Hadoop集群管理之安全模式解析及动手实战学习笔记
- [Swift]LeetCode120. 三角形最小路径和 | Triangle
- 使用Markdown语法写的笔记.2
- 高通语音专题---电话会议流程和日志分析
- [附源码]计算机毕业设计Python+uniapp基于Android的校园考勤APPo0400(程序+源码+LW+远程部署)
- 刁蛮公主-第二集(纳米盘)
- 同等学力申硕-经济学
- Java之真实项目中的章节排序实例
- MacOS Catalina 10.15.x ISO/CDR格式镜像 用于VMware等虚拟机