互联网公司MySQL常用分库分表方案总结
更多内容关注微信公众号:fullstack888
一、数据库瓶颈
1、IO瓶颈
2、CPU瓶颈
二、分库分表
1、水平分库
2、水平分表
3、垂直分库
4、垂直分表
三、分库分表工具
四、分库分表步骤
五、分库分表问题
1、非partition key的查询问题(水平分库分表,拆分策略为常用的hash法)
2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法)
3、扩容问题(水平分库分表,拆分策略为常用的hash法)
六、分库分表总结
七、分库分表示例
一、数据库瓶颈
不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。接下来就可以想象了吧(并发量、吞吐量、崩溃)。
1、IO瓶颈
第一种:磁盘读IO瓶颈,热点数据太多,数据库缓存放不下,每次查询时会产生大量的IO,降低查询速度 -> 分库和垂直分表。
第二种:网络IO瓶颈,请求的数据太多,网络带宽不够 -> 分库。
2、CPU瓶颈
第一种:SQL问题,如SQL中包含join,group by,order by,非索引字段条件查询等,增加CPU运算的操作 -> SQL优化,建立合适的索引,在业务Service层进行业务计算。
第二种:单表数据量太大,查询时扫描的行太多,SQL效率低,CPU率先出现瓶颈 -> 水平分表。
二、分库分表
1、水平分库
概念:以 字段为依据 ,按照一定策略(hash、range等),将一个 库中的数据拆分到多个 库中。
结果:
每个 库的 结构都一样;
每个 库的 数据都不一样,没有交集;
所有 库的 并集是全量数据;
场景:系统绝对并发量上来了,分表难以根本上解决问题,并且还没有明显的业务归属来垂直分库。
分析:库多了,io和cpu的压力自然可以成倍缓解。
2、水平分表
概念:以 字段为依据 ,按照一定策略(hash、range等),将一个 表中的数据拆分到多个 表中。
结果:
每个 表的 结构都一样;
每个 表的 数据都不一样,没有交集;
所有 表的 并集是全量数据;
场景:系统绝对并发量并没有上来,只是单表的数据量太多,影响了SQL效率,加重了CPU负担,以至于成为瓶颈。
分析:表的数据量少了,单次SQL执行效率高,自然减轻了CPU的负担。
3、垂直分库
概念:以 表为依据,按照业务归属不同,将不同的 表拆分到不同的 库中 。
结果:
每个 库的 结构都不一样;
每个 库的 数据也不一样,没有交集;
所有 库的 并集是全量数据;
场景:系统绝对并发量上来了,并且可以抽象出单独的业务模块。
分析:到这一步,基本上就可以服务化了。例如,随着业务的发展一些公用的配置表、字典表等越来越多,这时可以将这些表拆到单独的库中,甚至可以服务化。再有,随着业务的发展孵化出了一套业务模式,这时可以将相关的表拆到单独的库中,甚至可以服务化。
4、垂直分表
概念:以 字段为依据,按照字段的活跃性,将 表中字段拆到不同的 表(主表和扩展表)中。
结果:
每个 表的 结构都不一样;
每个 表的 数据也不一样,一般来说,每个表的 字段至少有一列交集,一般是主键,用于关联数据;
所有 表的 并集是全量数据;
场景:系统绝对并发量并没有上来,表的记录并不多,但是字段多,并且热点数据和非热点数据在一起,单行数据所需的存储空间较大。以至于数据库缓存的数据行减少,查询时会去读磁盘数据产生大量的随机读IO,产生IO瓶颈。
分析:可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据(可能会冗余经常一起查询的数据)放在一起作为主表,非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来,进而减少了随机读IO。拆了之后,要想获得全部数据就需要关联两个表来取数据。但记住,千万别用join,因为join不仅会增加CPU负担并且会将两个表耦合在一起(必须在一个数据库实例上)。关联数据,应该在业务Service层做文章,分别获取主表和扩展表数据然后用关联字段关联得到全部数据。
三、分库分表工具
sharding-sphere:jar,前身是sharding-jdbc;
TDDL:jar,Taobao Distribute Data Layer;
Mycat:中间件。
注:工具的利弊,请自行调研,官网和社区优先。
四、分库分表步骤
根据容量(当前容量和增长量)评估分库或分表个数 -> 选key(均匀)-> 分表规则(hash或range等)-> 执行(一般双写)-> 扩容问题(尽量减少数据的移动)。
五、分库分表问题
1、非partition key的查询问题(水平分库分表,拆分策略为常用的hash法)
端上除了partition key只有一个非partition key作为条件查询
映射法
基因法
注:写入时,基因法生成user_id,如图。关于xbit基因,例如要分8张表,2 3=8,故x取3,即3bit基因。根据user_id查询时可直接取模路由到对应的分库或分表。根据user_name查询时,先通过user_name_code生成函数生成user_name_code再对其取模路由到对应的分库或分表。id生成常用 snowflake算法。
端上除了partition key不止一个非partition key作为条件查询
映射法
冗余法
注:按照order_id或buyer_id查询时路由到db_o_buyer库中,按照seller_id查询时路由到db_o_seller库中。感觉有点本末倒置!有其他好的办法吗?改变技术栈呢?
后台除了partition key还有各种非partition key组合条件查询
NoSQL法
冗余法
2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法)
注:用 NoSQL法解决(ES等)。
3、扩容问题(水平分库分表,拆分策略为常用的hash法)
水平扩容库(升级从库法
注:扩容是成倍的。
水平扩容表(双写迁移法)
第一步:(同步双写)应用配置双写,部署;
第二步:(同步双写)将老库中的老数据复制到新库中;
第三步:(同步双写)以老库为准校对新库中的老数据;
第四步:(同步双写)应用去掉双写,部署;
注: 双写是通用方案。
总结
垂直分表:可以把一个宽表的字段按访问频次、是否是大字段的原则拆分为多个表,这样既能使业务清晰,还能提升部分性能。拆分后,尽量从业务角度避免联查,否则性能方面将得不偿失。
垂直分库:可以把多个表按业务耦合松紧归类,分别存放在不同的库,这些库可以分布在不同服务器,从而使访问压力被多服务器负载,大大提升性能,同时能提高整体架构的业务清晰度,不同的业务库可根据自身情况定制优化方案。但是它需要解决跨库带来的所有复杂问题。
水平分库:可以把一个表的数据(按数据行)分到多个不同的库,每个库只有这个表的部分数据,这些库可以分布在不同服务器,从而使访问压力被多服务器负载,大大提升性能。它不仅需要解决跨库带来的所有复杂问题,还要解决数据路由的问题(数据路由问题后边介绍)。
水平分表:可以把一个表的数据(按数据行)分到多个同一个数据库的多张表中,每个表只有这个表的部分数据,这样做能小幅提升性能,它仅仅作为水平分库的一个补充优化。
一般来说,在系统设计阶段就应该根据业务耦合松紧来确定垂直分库,垂直分表方案,在数据量及访问压力不是特别大的情况,首先考虑缓存、读写分离、索引技术等方案。若数据量极大,且持续增长,再考虑水平分库水平分表方案。
- END -
往期回顾
◆java Bean映射框架:Orika
◆代码重复:搞定代码重复的三个绝招
◆领域驱动设计(DDD)的几种典型架构介绍(图文详解)
◆程序员也可以懂一点期望值管理
◆分布式缓存,就该这样设计!
◆如何设计API返回码(错误码)?
◆一文了解微服务的前世今生
◆Linux运维超实用工具,赶紧收藏!
◆LSM树(Log-Structured Merge Tree)存储引擎介绍
◆设计模式和代码规范落地之路
技术交流,请加微信: jiagou6688 ,备注:Java,拉你进架构群
互联网公司MySQL常用分库分表方案总结相关推荐
- 最全的MySQL 常用分库分表方案,都在这里!
点击上方蓝色字体,选择"标星公众号" 优质文章,第一时间送达关注公众号后台回复pay或mall获取实战项目资料视频 点击此链接:一套的SpringCloud版聚合支付项目,资料文档 ...
- 互联网公司常用分库分表方案汇总
点击上方"朱小厮的博客",选择"设为星标" 后台回复"加群"获取公众号专属群聊入口 来源:rrd.me/g9zP3 一.数据库瓶颈 不管是I ...
- 常用分库分表方案汇总
来源:rrd.me/g9zP3 一.数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值.在业务Service来看就是,可用数据 ...
- MySQL:互联网公司常用分库分表方案汇总!
本文来源: cnblogs.com/littlecharacter/p/9342129.html 一.数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数 ...
- MySQL数据库之常用分库分表方案实例分析
一.数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值.在业务Service来看就是,可用数据库连接少甚至无连接可用.接下来就 ...
- 数据库之互联网常用分库分表方案
一.数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值.在业务Service来看就是,可用数据库连接少甚至无连接可用.接下来就 ...
- 不可多得的干货!互联网公司常用分库分表方案汇总!太完整了!
前言 前几天我上班路上,和小区门口开车的师傅闲聊,发现他们虽然学历不高,但挣钱的途径不少,比如固定接送多位客户,然后能通过朋友圈拓展新客户,而且通过客户口口相传,也能不断拉到生意,算下来每月也能挣1万 ...
- 互联网公司常用的分库分表方案【记录】
一.数据库分库分表思路: 1.数据库瓶颈: 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值.在业务Service来看就是,可用数据库连 ...
- 最全的MySQL分库分表方案总结
" 面试中我们经常会碰到的关于分库分表的问题!今天就给大家介绍互联网公司常用 MySQL 分库分表方案!希望对大家的面试有所帮助! 数据库瓶颈 不管是 IO 瓶颈,还是 CPU 瓶颈,最终都 ...
最新文章
- 力所能及的做些自己喜欢和有趣的事
- ValueError: invalid literal for int() with base 10
- Rust 1.30带来更多元编程支持,并改进了模块系统
- 除了 iOS 和 Android,世界第三大移动系统是什么?
- sqlite只能用于android系统,Android 数据库的使用 -- Sqlite
- angularjs启动项目报ERROR in AppModule is not an NgModule解决方法
- 信息学奥赛一本通(1281:最长上升子序列)
- Linux命令之查看文件内容
- chm帮助文档编辑_零成本轻松制作帮助文档方法分享
- jquery获取元素的索引_如何在jQuery中获取具有特定索引的元素
- python3 llvmlite源码_CentOS 7 64位环境下安装llvm以及python的llvmlite包
- 【Python:统一时间格式YYYY-MM-DD】时间数据、格式处理、并根据时间合并dataframe
- 推桌子nyoj 220hdu1050 (贪心算法系列)
- 视频教程-安全策略(CCNA魔鬼训练营系列)-思科认证
- iOS 适配iPhone XR/XS/XS MAX
- 淘宝/天猫/京东/拼多多618抢购软件,抢购助手支持淘金币任务,附上源码
- 深度学习入门,Keras Conv2D类参数详解
- 【ARM学习笔记】ARM Cortex -A7 EPIT定时器
- 刚挣钱的程序员同学该如何花钱?
- 01-尚融宝项目介绍
热门文章
- x3550m5 问题确定与维护指南_IBM System x 系列服务器用户手册(中文版)汇总(最新)...
- 云Hbase数据库在亿方云实践之路.pdf
- graphviz 学习
- 雅虎yql_如何删除您的Yahoo Mail帐户
- 轻松一刻:Go 1.18修复了一个经典bug
- 如何远程连接服务器mysql_如何实现远程连接服务器MySQL
- D 触发器 Multisim
- java rhino 运行 js_使用Rhino在Java中调用Javascript脚本
- 新的百亿 IoT 市场:2022年起,新车强制安装EDR!
- Xcode Revoke certificate