MySQL Fabric 实践
MySQL Fabric能提供MySQL的HA和Sharding方案.
自从2014年5月28日Oracle发布了Fabric，用于MySQL的HA配置管理。这是原生的官方产品，可以放心使用，Fabric增强了HA效率。它让一切都变得简单了。
介绍
MySQL Fabric是一套数据库服务器场(Database Server Farm)的架构管理系统。
- MySQL Fabric是什么？
MySQL Fabric能“组织”多个MySQL数据库，是应用系统将大于几TB的表分散到多个数据库，即数据分片(Data Shard)。在同一个分片内又可以含有多个数据库，并且由Fabric自动挑选一个适合的作为主数据库，其他的数据库配置成从数据库，来做主从复制。在主数据库挂掉时，从各个从数据库中挑选一个提升为主数据库。之后，其他的从数据库转向新的主数据库复制新的数据。注意：这里说的“自动”是指由MySQL Fabric在后台完成，而不需要用户手动更改配置。最重要的是，MySQL Fabric是GPL的开源软件，也就是在符合GPL的规范下，你可以自由的使用和修改这个软件。
MySQL Fabric要解决的问题
为什么做数据分片？当你的应用需要处理的表大于1TB的数据时，Data Shard常常是必须的。这么大的表，无论在查询、更新的效率上，或者是备份、更改结构所需要的时间上，都会造成很大的问题。然而当你将这么大的表分散到多个数据库服务器上，又会使每一台数据库服务器都有可能是单个故障点。只要有一台挂掉就会使整个系统的操作发生问题。另一方面，应用端的程序也会因为每个查询都要依其查询条件(where子句的内容)分别指向不同的数据库而变得更加复杂。再者，当数据分片的结构改变时(例如增加一个数据库)，会使应用端的所有程序都必须修改，从而导致维护变得极为复杂。
为了解决应用程序复杂度增加的问题，有人在应用程序和数据库服务器之间增加一个代理(proxy)或者成为switch，应用程序所有对数据库的指令先送到proxy，再由proxy判断要转到哪个数据库。下图就是这个方案的示意图。这也许可以解决应用程序难以维护的问题，但是当应用端的数量增加，数据库分片增加，或者系统压力增加时，这个switch会成为容量及性能的瓶颈和单点故障(当它宕掉时，应用端找不到数据库)，而且所有的数据库指令均需要传两次(先到switch再到数据库)。每个查询都会造成额外的负荷。
MySQL Fabric由三个部分构成：
1.MySQL Fabric管理节点：
是一个python脚本，是整个架构的核心。MySQL Fabric管理节点主要的功能是管理整个数据库服务器场(Database Server Farm),它启动时会找/etc/mysql/fabric.cnf这个配置文件，由它指定fabric背后当成存放Server Farm架构和配置之repository的MySQL数据库位置、端口和连接账号等信息。Fabric在初始化时(执行mysqlfabric manage setup命令)，会在MySQL数据库上开一个schema(通常是名称为fabric的database)，存放Server Farm的配置相关信息，如哪些服务器组由哪些数据库构成，各服务器组中的主从服务器分别是哪些，等等。MySQL Fabric节点在设置配置时，会对Server Farm中各数据库下达建立主从复制的命令(上图的红色线条)。在正常运行时定期ping各组的主服务器 ，当发现主数据库没有正常运行时，它会启动故障转移程序，在该server farm的从数据库中找一个合适的提升为主服务器。其他的从数据库则转向新的主数据库继续复制数据。
数据库服务器场(database server farm)
这是整个架构中的工作引擎，在传统的数据库应用中这是单一的MySQL数据库，MySQL Fabric则是以多个数据库支持大数据量表(TB级以上)和高可用性数据库的需求。这些数据库分成几个高可用组(HA Group)，每个组包含一个以上的数据库服务器，上图中最下面的几个灰色和浅蓝色的方块代表高可用组。如果高可用组中有多个数据库，MySQL Fabric会挑选(使用命令mysqlfabric group promote命令)一个提升为主数据库(Master)，其他数据库则成为从数据库(Slave)，从数据库复制主数据库的变化，完成设定同一高可用组内的主从复制。以后，Fabric会定期件事这个主数据库。当主数据宕掉之后，Fabric会从高可用组内挑选一个提升为主数据库，其他的数据库会转向这个新的主数据库继续复制。
另一方面，MySQL Fabric也会只是应用端的conector对这些主从数据库做读写分离，当应用程序对数据库做读写兼有的操作时，connector会将该指令提交给主数据库。如果应用程序只会对数据库进行读操作，且连线的read_only参数设置为“ON”，则所有的查询均轮流传送到这几个数据库。借助读写分离，应用系统的资料处理能力得以增加。此外，如前面所述，MySQL Fabric还能处理需要拆分到多个数据库服务器的表(sharding tables)，每一个高可用组都可能存放shard table的部分数据。应用端的connector会将对shard table的指令依MySQL Fabric的管理节点的设定送到不同的高可用组，这样可使数据库的容量随着高可用组的数量增加而增长。同时，对非拆分的表所下的指令和所有的DDL会由connector送到全局高可用组(global group)，全局高可用组的主数据库被MySQL Fabric设置为其他高可用组的主数据库。所有存拆分表的高可用组的主数据库复制global group的变化，这么一来其他高可用组都有一份非拆分表的资料。从而使得SQL中拆分表对非拆分表的JOIN操作变得更简单。Connector
应用系统在运行时，每个SQL指令都会经由connector发送到数据库。MySQL Fabric所搭配的connector和一般使用单机的MySQL数据库一样，只是在较新版的connector是fabric aware connector多了一些能处理数据库服务器场(database server farm)的功能。使他们能在建立数据库连接时，以XML-RPC协议检查MySQL Fabric的管理节点中server farm的配置，然后通过该连接下的查询可依fabric的指示送到适合的数据库。如此一来，常见的database shard方案中可能造成性能瓶颈的proxy放到connector中，从而解决了这个问题。目前MySQL Fabric支持的技术有java、python、PHP，即Connector/J、Connector/Python和Connector/PHP都是Fabric-aware。以java为例，JDBC driver必须是Connector/J 5.1.30以后的版本，Fabric的Java程序和一般对单机MySQL的查询的Java程序差不多，只是在建立database connection object时database connection URL不是指向数据库，改为指向MySQL Fabric管理节点(服务器的IP和端口通常是32274)。当查询的表时全局表(不做table shard)或DDL(例如建表或改表结构)时，建立connection object的要加上”fabricServerGroup=”参数，之后通过这个connection object所下的SQL指令会送到Global Group的主数据库，再由数据库复制到其他的高可用组(shard)中。如果SQL命令所要操作的表时分区表(shard table)，则建立connection object时要在参数加上”fabricShardTable=”参数，之后通过这个connection object所下的SQL命令会根据MySQL Fabric所设定的分表(shard)原则送到各分区(shard)的高可用组。这样一来，应用程序对这些shard table下的SQL指令时，不需要在SQL中判断要送到哪个数据库，完全由connector在建立数据库连接时向MySQL Fabric所查到的server farm的配置信息(哪个数据库属于哪个shard group，各shard table的拆分原则等)所决定。而且这个配置在建立主连接后就缓存在Connector所在的应用端。这样，在每次下SQL指令时就不需要重复查询MySQL Fabric管理节点，而依存于应用端的分表配置直接送到正确的数据库。而应用程序的效率不会因为做了表的拆分而有任何降低。
===========
操作：
Fabric目前被打包到了MySQL Utilities中，下载MySQL Utilities就可以了，目前版本是：1.5.6，各个平台都有对应的版本，mac、Linux及windows。
我们在同一个机器上布置MySQL的各个服务，如下：
function IP PORT
backing store 3316
MySQL master 3326
MySQL slave 3336
Fabric 管理进程 32274
安装
安装了mysql fabric后，可以使用的对应命令为mysqlfabric.
在console中执行mysqlfabric，可以看到命令输出，则安装成功。– 注意： mysqlfabric需要使用connector。需要先安装Connector/Python。
shell> mysqlfabric help
Usage: mysqlfabric [--param, --config] <grp> <cmd> [arg, ...].
MySQL Fabric 1.6.2 - MySQL server farm management framework
Options:--version-h, --help--param=CONFIG_PARAMS--config=FILE
show program's version number and exit
show this help message and exit
Override a configuration parameter.
Read configuration from FILE.
Basic commands:help <grp> <cmd> Show help for commandhelp commands List all commandshelp groups List all groups- 建立Backing Store帐号
Backing Store用于存储整个HA集群的服务器等相关配置，它需要一个MySQL实例来存储这些信息，这个实例的版本需要跟其它在HA中的MySQL实例版本保持一致，而且必须是5.6.10及更高的版本，我们在本例中选择3316实例来使用。
首先，你需要一个帐号来连接Backing Store的MySQL实例，这个帐号需要有对fabric数据库的管理员级权限，我们在3316端口的实例上建帐号，具体如下：
CREATE USER ‘fabric’@’10.165.17.175’ IDENTIFIED BY ‘secret’;
GRANT ALL ON fabric.* TO ‘fabric’@’10.165.17.175’;
- Fabric配置文件
Fabric配置文件默认位置是：/etc/mysql/fabric.cfg
修改其中的[storage]部分，具体如下：
[storage]
auth_plugin = mysql_native_password
database = fabric
user = fabric
address = 10.165.17.175:3316
connection_delay = 1
connection_timeout = 6
password = secret
connection_attempts = 6其中address = 10.165.17.175:3316是Backing Store的MySQL实例，password = secret是上一步中建立连接fabric数据库的用户密码。
修改其中的[servers]部分，具体如下：
[servers]
password = secret
user = fabric其中是password = secret 是HA环境中各实例的连接密码。
- 填充Backing Store信息
我们通过Fabric来填充3306端口实例中的fabric数据库，具体如下：
mysqlfabric manage setup
[INFO] 1408115689.486792 - MainThread - Initializing persister: user (fabric), server (10.165.17.175:3306), database (fabric).
Finishing initial setup
=======================
Password for admin user is not yet set.
Password for admin/xmlrpc:
Repeat Password:
Password set.操作期间会提示Fabric的管理员帐户admin没有设置密码，按提示将密码设置成admin就可以了。
我们再查看3316端口的实例里面发生了什么变化，具体如下：
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| 51linux.net |
| fabric |
| mysql |
| performance_schema |
+--------------------+
5 rows in set (0.00 sec)mysql>可以看到多了一个fabric数据库，它里面存储的就是Fabric的一些配置信息。
- 配置HA中主从MySQL节点帐号
本例中3691和3692实例是需要做成HA的，它们也要建个管理员权限的帐号，注意，帐号名也要跟3306实例保持一致，也需要是fabric，具体如下：
CREATE USER 'fabric'@'10.165.17.175' IDENTIFIED BY 'secret';
GRANT ALL ON *.* TO 'fabric'@'10.165.17.175';同时，由于fabric是基于GTID主从复制，所以这些实例中必须要启用GTID，它们的配置文件要有这些参数：
log-bin
gtid-mode=ON
enforce-gtid-consistency
log_slave_updates- 启动fabric
我们用下面的命令来启动fabric：
mysqlfabric manage start
[INFO] 1408116209.229260 - MainThread - Initializing persister: user (fabric), server (10.165.17.175:3306), database (fabric).
[INFO] 1408116209.233982 - MainThread - Loading Services.
[INFO] 1408116209.253620 - MainThread - Fabric node starting.
[INFO] 1408116209.261853 - MainThread - Starting Executor.
[INFO] 1408116209.262001 - MainThread - Setting 5 executor(s).
[INFO] 1408116209.262691 - Executor-0 - Started.
[INFO] 1408116209.264825 - Executor-1 - Started.
[INFO] 1408116209.266648 - Executor-2 - Started.
[INFO] 1408116209.268395 - Executor-3 - Started.
[INFO] 1408116209.269961 - MainThread - Executor started.
[INFO] 1408116209.273374 - MainThread - Starting failure detector.
[INFO] 1408116209.274144 - Executor-4 - Started.
[INFO] 1408116209.275816 - XML-RPC-Server - XML-RPC protocol server ('127.0.0.1', 32274) started.
[INFO] 1408116209.276112 - XML-RPC-Server - Setting 5 XML-RPC session(s).
[INFO] 1408116209.276654 - XML-RPC-Session-0 - Started XML-RPC-Session.
[INFO] 1408116209.278426 - XML-RPC-Session-1 - Started XML-RPC-Session.
[INFO] 1408116209.280368 - XML-RPC-Session-2 - Started XML-RPC-Session.
[INFO] 1408116209.281599 - XML-RPC-Session-3 - Started XML-RPC-Session.
[INFO] 1408116209.282699 - XML-RPC-Session-4 - Started XML-RPC-Session.- 建立HA服务器组
这个HA服务器组，用于把参与HA的所有MySQL实例都填加进来：
mysqlfabric group create my_group
Password for admin:
Procedure :
{ uuid = 292621fd-cddc-4cbb-8c0d-d8a264156679,finished = True,success = True,return = True,activities =
}这样我们就创建了一个组名为my_group的HA服务器组。
- 填加HA组的成员
我们首先填加3691，具体如下：
mysqlfabric group add my_group 10.165.17.175:3691
Password for admin:
Procedure :
{ uuid = 8d1c11f8-adc4-4321-8307-6296caeb07c1,finished = True,success = True,return = True,activities =
}接下来填3692，具体如下：
mysqlfabric group add my_group 10.165.17.175:3692
Password for admin:
Procedure :
{ uuid = b1fa3cb9-b86f-4b1a-88cb-e84babb2ab02,finished = True,success = True,return = True,activities =
}如果屏幕回显示无error，那么说明成功填加了成员。我们也可以查看一下my_group里面的成员信息，具体如下：
mysqlfabric group lookup_servers my_group
Password for admin:
Command :
{ success = Truereturn = [{'status': 'SECONDARY', 'server_uuid': '6914a176-2370-11e4-af48-00163e004141', 'mode': 'READ_ONLY', 'weight': 1.0, 'address': '10.165.17.175:3691'}, {'status': 'SECONDARY', 'server_uuid': 'a8a69428-2366-11e4-af09-00163e004141', 'mode': 'READ_ONLY', 'weight': 1.0, 'address': '10.165.17.175:3692'}]activities =
}大家可以看到，这2个实例都不是PRIMARY，说明刚刚搭建完的环境，系统是不会选举出PRIMARY的。
- 选举一个主库
选举的方法也非常简单，具体如下：
mysqlfabric group promote my_group
Password for admin:
Procedure :
{ uuid = 529380b9-10ef-409f-a1a9-9430ab9845a3,finished = True,success = True,return = True,activities =
}可见执行成功了，并没有返回error。
接下来我们再次验证一下HA集群中各服务器情况。
mysqlfabric group lookup_servers my_group
Password for admin:
Command :
{ success = Truereturn = [{'status': 'SECONDARY', 'server_uuid': '6914a176-2370-11e4-af48-00163e004141', 'mode': 'READ_ONLY', 'weight': 1.0, 'address': '10.165.17.175:3691, {'status': 'PRIMARY', 'server_uuid': 'a8a69428-2366-11e4-af09-00163e004141', 'mode': 'READ_WRITE', 'weight': 1.0, 'address': '10.165.17.175:3692}]activities =
}可见Fabric已经随机选举了一个Master角色。
- 激活故障自动切换
即使Fabric选出了Master角色，但当这个Master宕机时，Fabric并不会自动将Secondary角色切换成Master角色，所以我们需要将HA配置成可以自动切换角色的样子，具体如下：
mysqlfabric group activate my_group
Password for admin:
Procedure :
{ uuid = 518b7dad-06a4-45a8-bfd5-241396706b88,finished = True,success = True,return = True,activities =
}当然，我们也可以依据具体需求取消Fabric故障自动切换。
- 测试HA
在这个实验中，我们将3691实例停止，再看看Fabric的状态：
mysqlfabric group lookup_servers my_group
Password for admin:
Command :
{ success = Truereturn = [{'status': 'PRIMARY', 'server_uuid': '6914a176-2370-11e4-af48-00163e004141', 'mode': 'READ_WRITE', 'weight': 1.0, 'address': '10.165.17.175:3691}, {'status': 'FAULTY', 'server_uuid': 'a8a69428-2366-11e4-af09-00163e004141', 'mode': 'READ_WRITE', 'weight': 1.0, 'address': '10.165.17.175:3692}]activities =
}其中3692实例的状态已经变成了“FAULTY”，可以看出Fabric自动检测到了这个故障，并且选举了slave重新当了primary角色。我不得不说就是这个功能，是它吸引我的原因之一。
- 其他
Fabric也提供了phtyon和Java的API，可以供软件开发人员直接使用，以后的软件开发人员，不是再直接连接到MySQL实例，而是连接到Fabric，由Fabric来统一分发请求，这有些象MySQL Proxy，但它的应用前景要比MySQL Proxy更宽更广。
MySQL Fabric 实践相关推荐
- mysql fabric c .net_MySQL Fabric [01] 简介
文章目录 Fabric 简介MySQL Fabric 是一个用于管理 MySQL 服务器群的可扩展框架.该框架实现了两个特性高可用性 (high availablity)使用数据分片的横向扩展(sha ...
- 分享：Python fabric实践操作
Python fabric实践操作 http://my.oschina.net/guol/blog/97607
- MySQL Fabric 套件，提供自动故障检测和故障转移
整理:mysqlpub.com 为了满足当下对Web及云应用需求,甲骨文宣布推出MySQL Fabric.包含于MySQL Utilities中. MySQL Fabric是一款可简化管理MySQL数 ...
- mysql fabric安装使用测试
为什么80%的码农都做不了架构师?>>> MySQL Fabric 是一个用于管理 MySQL 服务器群的可扩展框架.该框架实现了两个特性 - 高可用性 (HA) 以及使用数据 ...
- 淘宝商品库MySQL优化实践的学习
淘宝商品库MySQL优化实践的学习 淘宝商品库是淘宝网最核心的数据库之一,采用MySQL主备集群的架构,特点是数据量大且增长速度快,读多写少,对安全性要求高,并发请求高.由于MySQL最初的设计不是用 ...
- mysql主从复制实践之单数据库多实例
1.主从复制数据库实战环境准备 MySQL主从复制实践对环境的要求比较简单,可以是单机单数据库多实例的环境,也可以是两台服务器之间,每台服务器都部署一个独立的数据库的环境.本文以单机数据库多实例的环境 ...
- 甲骨文推出MySQL Fabric，简化MySQL的高可用性与可扩展性
北京,2014年5月28日--为了满足当下对Web及云应用需求,甲骨文宣布推出MySQL Fabric.MySQL Fabric是一款可简化管理MySQL数据库群的整合式系统.该产品通过故障检测和故障 ...
- MySQL Fabric集群功能整理---择录官网
2019独角兽企业重金招聘Python工程师标准>>> MySQL Fabric特点: 1:高可用性 (HA) . 2:使用数据分片的横向扩展.(自动数据分片) 这两个特性既可以单独 ...
- 【译】适合dba和开发者的mysql最佳实践
[文章作者:孙立 链接:http://www.cnblogs.com/sunli/ 更新时间:2010-09-19] 这是今天开始在南非秘鲁利马开始举行OTN LAD Tour的上,我要进行的一个my ...
最新文章
- 我们是在搞学术，还是被学术搞？
- SpringBoot 搭建
- R 语言聚类关联规则
- 【UOJ 51】最接近神的人
- 疫情中该如何保证高效远程办公（1）-员工到底是在家办公，还是在家躺着？？
- python_10 迭代器和生成器
- iPhone手机更换自定义铃声
- android开发常用的组件,Android开发常用控件与属性
- 精益企业中架构师的角色
- 如何安装JAVASE平台
- mysql安装方法及使用
- 虚拟钢琴键盘音源合集 Toontrack EZkeys Complete 1.2.5 WiN-MAC
- matlab学习技巧之semilogx和semilogy函数
- hadoop3新特性
- KEIL经常出现 Encountered an improper argument 弹窗
- WPS（word）批量给所有表格添加题注（标题）
- 【随机算法梗概】遗传算法通俗的讲解案例~~
- druid数据源下 sqlserver 出现 对象名 'xxx' 无效
- FER 人脸表情识别
- HanLp的应用 - 转自GitHub开源代码介绍