这篇文章不错,怕找不到了,就转载留着。

作者:老王  http://hi.baidu.com/thinkinginlamp/blog/item/2fbd54e79fc3a125b938200b.html

三国演义开篇一语道破:合久必分!MySQL的使用亦是如此,面对应用中越来越庞大的数据量,最时髦的解决方案是Shard,不过它的复杂性并不是每个程序员都能驾驭的,如果把架构的演变比作生命的进化,那么Shard可以看做是哺乳动物,很多架构最后之所以失败,就是因为它们步子迈得太大,想从原始生命直接进化成哺乳动物,殊不知这中间还有爬行动物等必经阶段。

在MySQL没有支持Partition之前,如果想把数据分而治之,可以使用MySQL提供的Merge的引擎,例子:

先建立两个结构一样的MyISAM表:

CREATE TABLE foo_1 (
id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
created DATETIME
) ENGINE=MyISAM;

CREATE TABLE foo_2 (
id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
created DATETIME
) ENGINE=MyISAM;

再建立MERGE表:

CREATE TABLE foo (
id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
created DATETIME
) ENGINE=MERGE UNION=(foo_1, foo_2) INSERT_METHOD=LAST;

对调用者而言,MERGE表就像一个UNION语句一样,这样确实很方便,不过它有很多弱点:

首先,它不是完全透明的,需要有若干基础表(foo_1,foo_2)的存在,而且基础表必须是MyISAM表类型,另外,对于MERGE来说,不支持约束,比如上面的foo表定义中,虽然把id定义为主键,但是如果我们在foo_1和foo_2分别插入一个相同id的话,foo表也不会报错。

言归正传!MySQL从5.1.3开始支持Partition,你可以使用如下命令来确认你的版本是否支持Partition:

mysql> SHOW VARIABLES LIKE '%partition%';
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| have_partitioning | YES   |
+-------------------+-------+

MySQL支持RANGE,LIST,HASH,KEY分区类型,其中以RANGE最为常用:

CREATE TABLE foo (
id INT NOT NULL AUTO_INCREMENT,
created DATETIME,
PRIMARY KEY(id, created)
) ENGINE=INNODB PARTITION BY RANGE (TO_DAYS(created)) (
PARTITION foo_1 VALUES LESS THAN (TO_DAYS('2009-01-01')),
PARTITION foo_2 VALUES LESS THAN (TO_DAYS('2010-01-01'))
)

即便创建完分区,也可以在后期管理,比如说添加一个新的分区:

ALTER TABLE foo ADD PARTITION (
PARTITION foo_3 VALUES LESS THAN (TO_DAYS('2011-01-01'))
)

或者删除一个分区:

ALTER TABLE FOO DROP PARTITION foo_3;

通过检索information_schema数据库,能看到我们刚刚创建的分区信息:

SELECT * FROM PARTITIONS WHERE PARTITION_NAME IS NOT NULL

此时,打开MySQL的数据目录(SHOW VARIABLES LIKE 'datadir'):

如果MySQL配置设置了innodb file per table为ON的话,由于上面定义的是INNODB,则会发现:

foo#p#foo_1.ibd
foo#p#foo_2.ibd

如果创建的是MyISAM表类型的话,则会发现:

foo#P#foo_1.MYD
foo#P#foo_1.MYI
foo#P#foo_2.MYD
foo#P#foo_2.MYI

由此可知通过分区,MySQL会把数据保存到不同的数据文件里,同时索引也是分区的,相对未分区的表来说,分区后单独的数据文件和索引文件的大小都明显降低,效率则明显提升。为了验证这一点,我们做如下实验:

INSERT INTO `foo` (`id`, `created`) VALUES
(1, '2008-01-02 00:00:00'),
(2, '2009-01-02 00:00:00');

然后执行SQL:

EXPLAIN PARTITIONS SELECT * FROM foo WHERE created = '2008-01-02';

会看到MySQL仅仅在foo_1分区执行这条查询。理论上效率肯定会快一些,至于具体多少,就看数据量了。实际应用分区的时候,我们还可以通过DATA DIRECTORY和INDEX DIRECTORY选项把不同的分区分散到不同的磁盘上,从而进步一提高系统的IO吞吐量。

重要提示:使用分区功能之后,相关查询最好都用EXPLAIN PARTITIONS过一遍,确认分区是否生效。

到底应该采用哪种分区类型呢?通常来说使用range类型是个不错的选择,不过也不尽然,比如说在主从结构中,主服务器由于很少使用SELECT查询,所以在主服务器上使用range类型的分区通常并没有太大意义,此时使用hash类型的分区相对更好一些,假设使用PARTITION BY HASH(id) PARTITIONS 10,那么当插入新数据时,会根据id把数据平均分散到各个分区上,由于文件小,所以效率高,更新操作会变得更快。

到底应该按哪个字段来分区呢?通常来说按时间字段分区是个不错的选择,不过还是应该按需求而定,通常有很多种划分应用的方式,比如说按时间,或者按用户,哪种用的多,就选哪种来分区。如果使用主从结构的话,还可能用的更灵活些,有的从服务器使用时间分区,有的从服务器使用用户分区,不过如此一来,当执行查询时,程序里应该负责选择正确的从服务器去查询,写个MySQL Proxy脚本应该可以透明实现。

分区虽然很爽,但目前的实现还有很多限制:

主键或者唯一索引必须包含分区字段:如PRIMARY KEY(id, created),不过对INNODB来说,大主键不爽。
很多时候,使用了分区就不要再使用主键,否则可能影响性能。
只能通过int类型的字段或者返回int类型的表达式来分区:通常使用YEAR或TO_DAYS等函数。
每个表最多1024个分区:不可能无限制的扩展分区,而且过度使用分区往往会消耗大量系统内存。
采用分区的表不支持外键:相关的约束逻辑必须通过程序来实现。

希望看了上面的简单介绍,大家可以明白应该如何使用分区功能了,不要仅仅把眼光放在Shard等流行技术之上,而忽视了原本使用更简单的Partition,恐龙虽然仅仅是爬行动物,却统治了地球长达千万年,比作为哺乳动物的人类统治地球的时间长得多。

MySQL5.5优化了分区功能,具体信息参考:A deep look at MySQL 5.5 partitioning enhancements。

补充链接:Why you don’t want to shard.

转载于:https://blog.51cto.com/5iwww/388909

MySQL Partition扫盲相关推荐

  1. mysql partition 语法_MySQL partition分区小结

    MySQL partition分区 分区概念 分区针对不同的数据库,具有不同的特性.在这里专门针对MySQL数据库而言.在MySQL数据库里,分区这个概念是从mysql 5.1才开始提供的.不过目前只 ...

  2. Mysql PARTITION 数据表分区技术日期

    参考:http://www.sunzhenghua.com/mysql-myisam-innodb-partition-range-list-hash 在这一章节里, 我们来了解下 Mysql 中的分 ...

  3. mysql Partition(分区)初探

    表数据量大的时候一般都考虑水平拆分,即所谓的sharding.不过mysql本身具有分区功能,可以实现一定程度 的水平切分. mysql是具有MERGE这种引擎的,就是把一些结构相同的MyIASM表作 ...

  4. mysql partition 性能_通过分区(Partition)提升MySQL性能

    几年前,俺写过一篇题为"The Foundation of Excellent Performance"的文章(现在仍然可以在http://www.tdan.com/i016fe0 ...

  5. from mysql partition select_通过分区(Partition)提升MySQL性能[原创翻译]

    通过分区(Partition)提升MySQL性能 --MySQL5.1新特性翻译系列 几年前,俺写过一篇题为"The Foundation of Excellent Performance& ...

  6. mysql partition 语法,MySQL与瀚高数据库的范围分区的语法及实例(APP)

    目录 环境 文档用途 详细信息 环境 系统平台:Microsoft Windows (64-bit) 10 版本:5.6.4 文档用途 当表中的数据量不断增大,查询数据的速度就会变慢,应用程序的性能就 ...

  7. MySQL Partition 相关使用总结

    目录 一.Range分区 二.List分区 三.Hash分区 四.Key分区 五.子分区 六.分区常用操作 概述 概念:分区可以根据规则在文件系统中分散存储各个表的部分.实际上,表的不同部分作为单独的 ...

  8. mysql partition 实战

    一般情况下我们创建的表对应一组存储文件,使用MyISAM存储引擎时是一个.MYI和.MYD文件,使用Innodb存储引擎时是一个.ibd和.frm(表结构)文件.当数据量较大时(一般千万条记录级别以上 ...

  9. from mysql partition select_玩转select条件查询,避免踩坑

    条件查询 语法: select 列名 from 表名 where 列 运算符 值 说明: 注意关键字where,where后面跟上一个或者多个条件,条件是对前面数据的过滤,只有满足where后面条件的 ...

  10. from mysql partition select_爬虫(九十九)mysql详解二

    **mysql中字段的常见类型: ** 二进制位 bit(长度) tinyint[(长度)] [有无符号unsigned] [位数低于长度时候是否填充零zerofill] 有符号表示范围-128 ~ ...

最新文章

  1. Java Lock接口分析之ReentantReadWriteLock
  2. Docker系列5--一些问题及解决
  3. WebView无法自动播放h5的video视频标签解决办法
  4. python dropna失败_使用Python部署机器学习模型的10个实践经验
  5. nginx指定配置文件启动_【第1717期】Nginx入门指南
  6. php r很卡,Laravel 在高并发下很卡?求大神解答
  7. QT将绝对路径转成相对路径
  8. Java实现蛇形矩阵
  9. chap6_1 Sphere Environmental mapping in OGRE
  10. C++11nullptr
  11. Github发现优秀的开源项目
  12. 【时空智友】“采购入库单” 增加导入Excel模板的方式
  13. python cv2 绘制不规则形状的最小外接矩形、最大内接矩形、最大内接圆、最小外接圆、拟合椭圆
  14. 组队学习-数据采集-八爪鱼实操&使用感想
  15. java一个字符几个字节_Java 语言中一个字符占几个字节?
  16. 关于检索关键字的常用四种方法
  17. 计算机内存条能装几个,怎么查看电脑可以插多少内存条
  18. 深扎实战技术 带你走进 MDCC 2016 移动开发者大会
  19. 百分比收益率和对数收益率
  20. 用sourecttree从Teambition上clone项目到本地

热门文章

  1. linux 负载进程,Linux 中 D 状态的进程与平均负载
  2. oracle表update在等待,Oracle中如何更新一张大表记录
  3. python用链接表实现栈_python 用链表实现栈(计算器1)
  4. python斜率转换为航向0-360_机器学习模型之LinearRegression(Python学习笔记)
  5. 力扣-590. N 叉树的后序遍历
  6. python多版本共存失败记录
  7. Tclientdate的排序
  8. 简易版的strutsdemo
  9. 4.16-4.22课题(拼团系统)进度汇报
  10. Java 初学记录之一 快速输入