MySQL之 分库分表
目录
1 数据库的瓶颈
1.1 IO瓶颈
1.2 CPU瓶颈
2 分库分表
2.1 水平分库
2.2 水平分表
2.3 垂直分库
2.4 垂直分表
3 分库分表步骤
4 分库分表问题
5 扩容问题(水平分库分表,拆分策略为常用的hash法)
6 分库分表总结
1 数据库的瓶颈
数据库的瓶颈主要在IO和CPU领域,随着数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。
1.1 IO瓶颈
- 第一种:磁盘读IO瓶颈,热点数据太多,数据库缓存放不下,每次查询时会产生大量的IO,降低查询速度 ->分库和垂直分表。
- 第二种:网络IO瓶颈,请求的数据太多,网络带宽不够 -> 分库。
1.2 CPU瓶颈
- 第一种:SQL问题,如SQL中包含join,group by,order by,非索引字段条件查询等,增加CPU运算的操作 -> SQL优化,建立合适的索引,在业务Service层进行业务计算。
- 第二种:单表数据量太大,查询时扫描的行太多,SQL效率低,CPU率先出现瓶颈 -> 水平分表
2 分库分表
2.1 水平分库
- 概念:以字段为依据,按照一定策略(hash、range等),将一个库中的数据拆分到多个库中。
- 结果:
- 每个库的结构都一样;
- 每个库的数据都不一样,没有交集;
- 所有库的并集是全量数据;
3.场景:系统绝对并发量上来了,分表难以根本上解决问题,并且还没有明显的业务归属来垂直分库。
4.分析:库多了,io和cpu的压力自然可以成倍缓解。
2.2 水平分表
- 概念:以字段为依据,按照一定策略(hash、range等),将一个表中的数据拆分到多个表中。
- 结果:
- 每个表的结构都一样;
- 每个表的数据都不一样,没有交集;
- 所有表的并集是全量数据;
3.场景:系统绝对并发量并没有上来,只是单表的数据量太多,影响了SQL效率,加重了CPU负担,以至于成为瓶颈。
4.分析:表的数据量少了,单次SQL执行效率高,自然减轻了CPU的负担。
2.3 垂直分库
- 概念:以表为依据,按照业务归属不同,将不同的表拆分到不同的库中。
- 结果:
- 每个库的结构都不一样;
- 每个库的数据也不一样,没有交集;
- 所有库的并集是全量数据;
- 场景:系统绝对并发量上来了,并且可以抽象出单独的业务模块。
- 分析:到这一步,基本上就可以服务化了。例如,随着业务的发展一些公用的配置表、字典表等越来越多,这时可以将这些表拆到单独的库中,甚至可以服务化。再有,随着业务的发展孵化出了一套业务模式,这时可以将相关的表拆到单独的库中,甚至可以服务化。
2.4 垂直分表
- 概念:以字段为依据,按照字段的活跃性,将表中字段拆到不同的表(主表和扩展表)中。
- 结果:
- 每个表的结构都不一样;
- 每个表的数据也不一样,一般来说,每个表的字段至少有一列交集,一般是主键,用于关联数据;
- 所有表的并集是全量数据;
- 场景:系统绝对并发量并没有上来,表的记录并不多,但是字段多,并且热点数据和非热点数据在一起,单行数据所需的存储空间较大。以至于数据库缓存的数据行减少,查询时会去读磁盘数据产生大量的随机读IO,产生IO瓶颈。
- 分析:可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据(可能会冗余经常一起查询的数据)放在一起作为主表,非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来,进而减少了随机读IO。拆了之后,要想获得全部数据就需要关联两个表来取数据。但记住,千万别用join,因为join不仅会增加CPU负担并且会讲两个表耦合在一起(必须在一个数据库实例上)。关联数据,应该在业务Service层做文章,分别获取主表和扩展表数据然后用关联字段关联得到全部数据。
3 分库分表步骤
根据容量(当前容量和增长量)评估分库或分表个数 -> 选key(均匀)-> 分表规则(hash或range等)-> 执行(一般双写)-> 扩容问题(尽量减少数据的移动)。
4 分库分表问题
(1)非partition key的查询问题(水平分库分表,拆分策略为常用的hash法)
映射法:
基因法:
注:写入时,基因法生成user_id,如图。关于xbit基因,例如要分8张表,23=8,故x取3,即3bit基因。根据user_id查询时可直接取模路由到对应的分库或分表。根据user_name查询时,先通过user_name_code生成函数生成user_name_code再对其取模路由到对应的分库或分表。id生成常用snowflake算法。
(2) 端上除了partition key不止一个非partition key作为条件查询
映射法:
冗余法:
注:按照order_id或buyer_id查询时路由到db_o_buyer库中,按照seller_id查询时路由到db_o_seller库中。
5 扩容问题(水平分库分表,拆分策略为常用的hash法)
(1)水平扩容库(升级从库法)
(2)水平扩容表(双写迁移法)
第一步:(同步双写)应用配置双写,部署;
第二步:(同步双写)将老库中的老数据复制到新库中;
第三步:(同步双写)以老库为准校对新库中的老数据;
第四步:(同步双写)应用去掉双写,部署;
6 分库分表总结
(1)分库分表,首先得知道瓶颈在哪里,然后才能合理地拆分(分库还是分表?水平还是垂直?分几个?)。且不可为了分库分表而拆分。
(2)选key很重要,既要考虑到拆分均匀,也要考虑到非partition key的查询。
(3)只要能满足需求,拆分规则越简单越好。
MySQL之 分库分表相关推荐
- node.js+mysql实现分库分表存查数据:
node.js+mysql实现分库分表: 1.分库分表使用场景: 互联网项目中常用到的关系型数据库,如MySQL,随着用户和业务的增长,传统的单库单表模式难以满足大量的业务数据存储以及查询,单库单表中 ...
- MySQL之分库分表
文章目录 MySQL之分库分表 1.问题分析 2.分库分表介绍 3.分库分表拆分策略 4.垂直分库 4.1介绍 4.2特点 5.垂直分表 5.1介绍 5.2特点 6.水平分库 6.1介绍 6.2特点 ...
- mysql proxy 分库分表_OneProxy实现MySQL分库分表
简介 Part1:写在最前 随着网站的壮大,MySQL数据库架构一般会经历一个过程: 当我们数据量比较小的时候,一台单实例数据库足矣.等我们数据量增大的时候,我们会采用一主多从的数据库架构来降低我们的 ...
- 一文搞懂MySQL数据库分库分表
如果数据量过大,大家一般会分库分表.分库需要注意的内容比较少,但分表需要注意的内容就多了. 工作这几年没遇过数据量特别大的业务,那些过亿的数据,因为索引设置合理,单表性能没有影响,所以实战中一直没用过 ...
- mysql+join+分库分表_MySQL分库分表篇
传统项⽬结构 数据库性能瓶颈: 1.数据库连接数有限 MySQL数据库默认100个连接.单机最⼤1500连接. 2.表数据量 1)表数量多,成百上千 2)单表数据,千万级别 3)索引,命中率问题,索引 ...
- 利用Mycat中间件实现RDS MySQL的分库分表及读写分离功能
https://aws.amazon.com/cn/blogs/china/mycat-rds-mysql/ 随着移动互联网的兴起和大数据的蓬勃发展,系统的数据量正呈几何倍数增长,系统的压力也越来越大 ...
- Mysql的分库分表(基于shardingsphere)
一.名词解释 库:database:表:table:分库分表:sharding 二.数据库架构演变 刚开始我们只用单机数据库就够了,随后面对越来越多的请求,我们将数据库的写操作和读操作进行分离, 使用 ...
- mysql的分库分表
1 什么是分库分表 这里讨论的情况是一台机器上对应一个数据库. 分库的对象是表,分表的对象是行.分库是说把属于同一个模块的相关性很高的表放在同一个数据库中.分表是说把同一个表的的行分成多个子表,把各个 ...
- 面试官:说说Mysql数据库分库分表,并且会有哪些问题?
之前一篇文章已经谈到了数据库集群之主从集群也就是读写分离,也提到了读写分离其实只是分担了访问的压力,但是存储的压力没有解决. 存储的压力说白了就是随着系统的演化,需求的增加,可能表的数量会逐渐增多,比 ...
- 大厂二面:应对千亿级高并发场景,MySQL如何分库分表?
前几天参加了一个大数据领域的内部分享会,不少大佬回首自己的进阶历程,无一不提到需要玩转"MySQL"这门技术. 可能,你以为的面试题,只是这样的: MySQL为什么采用B+树索引结 ...
最新文章
- R语言数据包自带数据集之survival包的colon数据集字段解释、数据导入实战
- docker安装rocketmq_RabbitMQ 介绍amp;安装
- 正则截取指定字符串 php,php截取指定字符串除了正则还有什么方法
- 仿射加密简述和Win32版本实现
- CF A. DZY Loves Hash
- SAP WebIDE编辑器的主题设置
- Sublime Text 3插件安装方法
- [Mechine Learning Algorithm] 集成学习方法——Bagging和 Boosting
- Vijos P1911 珠心算测验【序列处理】
- 参考文献空格怎么空_参考文献中的标点符号后要不要加空格
- 如何解决存在的1px问题?
- 微信文章编辑的html在哪里,微信公众号的文章编辑界面在哪里?怎么编辑排版? | 微信公众号指南...
- 解决k8s中的长连接负载均衡问题
- 解决linux系统网络时常断开的问题
- Dask核心功能介绍及与Spark的比较
- 那些年我们受到的网络攻击
- youtobe和youtobeGo在不同国家码下的预置
- 磁卡ID卡IC卡的区别【转】
- 外汇短线交易操作方法简介
- win7开机黑屏,但能看到鼠标
热门文章
- MIT App Inventor使用与入门教程
- Qt Quick编程(1)——QML的核心部分ECMAScript
- Windows Terminal 窗口/控制台切换快捷键总结
- 【数据结构笔记14】微软面试经典 - 逆转链表问题(Reversing Linked List)
- 修改telnet提示并非_iPhone修改微信提示音,iOS12可用,无需越狱详细教程
- shell处理curl返回数据_linux shell中curl 发送post请求json格式问题的处理方法
- SQL Server 数据类型陷阱
- 关于Servlet报错:405 HTTP method GET is not supported by this URL问题解决方法
- SQL SERVER 系列(2)数据库的创建、修改和删除
- apk ionic 破损_ionic3-android打包完美解决