一、读写分离架构

其中一个是主库，负责写入数据，称之为：写库；
其它都是从库，负责读取数据，称之为：读库；

读库和写库的数据一致；
写数据必须写到写库；
读数据必须到读库；

上面的架构，可以看出，应用程序会连接到多个节点，使得应用程序的复杂度会提升，可以通过中间件方式解决

二、中间件

应用程序只需要连接到中间件即可，无需连接多个数据库节点应用程序无需区分读写操作，对中间件直接进行读写操作即可
在中间件中进行区分读写操作，读发送到从节点，写发送到主节点该架构也存在问题，中间件的性能成为了系统的瓶颈，那么架构可以改造成这样：
这样的话，中间件的可靠性得到了保证，但是也带来了新的问题，应用系统依然是需要连接到2个中间件，又为应用系统带来了复杂度。

2.1、负载均衡

为了解决以上问题，继续优化架构，在应用程序和中间件之间增加proxy代理，由代理来完成负载均衡的功能，应用程序只需要对接到proxy即可。

2.2、PXC集群架构

前面的架构中，都是基于MySQL主从的架构，那么在主从架构中，弱一致性问题依然没有解决，如果在需要强一致性的需求中，显然这种架构是不能应对的，比如：交易数据。
PXC提供了读写强一致性的功能，可以保证数据在任何一个节点写入的同时可以同步到其它节点，也就意味着可以存其它的任何节点进行读取操作，无延迟。

2.3、混合架构

PXC架构中，虽然可以实现了事务的强一致性，但是它是通过牺牲了性能换来的一致性，如果在某些业务场景下，如果没有强一致性的需求，那么使用PXC就不合适了。所以，在我们的系统架构中，需要将这两种方式综合起来，这样才是一个较为完善的架构。

三、搭建主从复制架构

使用的MySQL percona版本，并且通过docker进行搭建服务。

3.1、主从复制原理

mysql主(称master)从(称slave)复制的原理： master将数据改变记录到二进制日志(binary log)中,也即是配置文件log-bin指定的文件(这些记录叫做二进制日志事件，binary log events)
slave将master的binary log events拷贝到它的中继日志(relay log)
slave重做中继日志中的事件,将改变反映它自己的数据(相当于执行一遍更新的sql语句)
主从配置需要注意的地方
主DB server和从DB server数据库的版本一致主DB server和从DB server数据库数据一致
主DB server开启二进制日志,主DB server和从DB server的server_id都必须唯一。

3.2、搭建主库

创建目录
mkdir /root/data/mysql/master01

切换目录
cd /root/data/mysql/master01

创建文件夹
mkdir conf data

给文件夹授权
chmod 777 * -R

创建配置文件
cd /root/data/mysql/master01/conf
vim my.cnf

输入如下内容
[mysqld]
log-bin=mysql-bin #开启二进制日志
server-id=1 #服务id，不可重复

创建容器
docker create --name master01 -v /root/data/mysql/master01/data:/var/lib/mysql -v /root/data/mysql/master01/conf:/etc/my.cnf.d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=root percona

启动
docker start master01 && docker logs -f master01

创建同步账户以及授权

create user 'huan'@'%' identified by 'huan';
grant replication slave on *.* to 'huan'@'%';
flush privileges;

#查看master状态
show master status;
#查看二进制日志相关的配置项
show global variables like 'binlog%';
#查看server相关的配置项
show global variables like 'server%';

3.3、搭建从库

创建目录
mkdir /root/data/mysql/slave01
cd /root/data/mysql/slave01
mkdir conf data
chmod 777 * -R

创建配置文件
cd /root/data/mysql/slave01/conf
vim my.cnf

输入如下内容
[mysqld]
server-id=2 #服务id，不可重复

#创建容器
docker create --name slave01 -v /root/data/mysql/slave01/data:/var/lib/mysql -v /root/data/mysql/slave01/conf:/etc/my.cnf.d -p 3307:3306 -e MYSQL_ROOT_PASSWORD=root percona

启动
docker start slave01 && docker logs -f slave01

设置master相关信息
CHANGE MASTER TO
master_host='123.60.31.104',
master_user='huan',
master_password='huan',
master_port=3306,
master_log_file='mysql-bin.000003',
master_log_pos=739;

启动同步
start slave;

查看master状态
show slave status;

当看到两个大Yes就成功啦

3.4、主从复制模式

在查看二进制日志相关参数内容中，会发现默认的模式为ROW，其实在MySQL中提供了有3种模式，基于SQL语句的复制(statement-based replication, SBR)，基于行的复制(row-based replication,RBR)，混合模式复制(mixedbased replication,MBR)。

对应的，binlog的格式也有三种：STATEMENT，ROW，MIXED。
STATEMENT模式（SBR）
每一条会修改数据的sql语句会记录到binlog中。
a. 优点是并不需要记录每一条sql语句和每一行的数据变化，减少了binlog日志量，节约IO，提高性能。
b. 缺点是在某些情况下会导致master-slave中的数据不一致(如sleep()函数，
last_insert_id()，以及user-defined functions(udf)等会出现问题)
ROW模式（RBR）
不记录每条sql语句的上下文信息，仅需记录哪条数据被修改了，修改成什么样了。而且不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。缺点是会产生大量的日志，尤其是altertable的时候会让日志暴涨。
MIXED模式（MBR）
以上两种模式的混合使用，一般的复制使用STATEMENT模式保存binlog对于STATEMENT模式无法复制的操作使用ROW模式保存binlog，MySQL会根据执行的SQL语句选择日志保存方式。建议使用MIXED模式。

#修改主库的配置
binlog_format=MIXED#重启
docker restart master01 && docker logs -f master01#查看二进制日志相关的配置项
show global variables like 'binlog%';

四、MyCat中间件

一个彻底开源的，面向企业应用开发的大数据库集群支持事务、ACID、可以替代MySQL的加强版数据库

一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群

一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品

支持SQL92标准

支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法

遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。

基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。

支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster

基于Nio实现，有效管理线程，解决高并发问题。

支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。

支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。

支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。

支持多租户方案。

支持分布式事务（弱xa）。

支持XA分布式事务（1.6.5）。

支持全局序列号，解决分布式下的主键生成问题。

分片规则丰富，插件化开发，易于扩展。

强大的web，命令行监控。

支持前端作为MySQL通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。

支持密码加密

支持服务降级

支持IP白名单

支持SQL黑名单、sql注入攻击拦截

支持prepare预编译指令（1.6）

支持非堆内存(Direct Memory)聚合计算（1.6）

支持PostgreSQL的native协议（1.6）

支持mysql和oracle存储过程，out参数、多结果集返回（1.6）

支持zookeeper协调主从切换、zk序列、配置zk化（1.6）

支持库内分表（1.6）

集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。

4.1、docker安装Mycat

新建目录
mkdir /root/data/mycat

切换目录
cd /root/data/mycat

下载mycat release1.6.7.6到当前目录
wget http://dl.mycat.org.cn/1.6.7.6/20201126013625/Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz

改名
mv Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz mycat1.6.7.6.tar.gz

解压conf目录到当前目录，因为使用docker直接挂载conf目录会报错，mycat启动时需要依赖conf目录中的文件。
tar -zxvf mycat1.6.7.6.tar.gz -C /root/data/mycat/conf

修改conf配置文件
server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/"><system><property name="nonePasswordLogin">0</property><property name="useHandshakeV10">1</property><property name="useSqlStat">0</property><property name="useGlobleTableCheck">0</property><property name="sequnceHandlerType">2</property><property name="subqueryRelationshipCheck">false</property><property name="processorBufferPoolType">0</property><property name="handleDistributedTransactions">0</property><property name="useOffHeapForMerge">1</property><property name="memoryPageSize">64k</property><property name="spillsFileBufferSize">1k</property><property name="useStreamOutput">0</property><property name="systemReserveMemorySize">384m</property><property name="useZKSwitch">false</property></system><!--这里是设置的huan用户和虚拟逻辑库--><user name="huan" defaultAccount="true"><property name="password">huan</property><!--虚拟逻辑库的数据库名--><property name="schemas">huan</property></user>
</mycat:server>

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/"><!--配置数据表--><schema name="huan" checkSQLschema="false" sqlMaxLimit="100"><table name="t_blog" dataNode="dn1" rule="mod-long" /></schema><!--配置分片关系--><dataNode name="dn1" dataHost="cluster1" database="huan" /><!--配置连接信息--><dataHost name="cluster1" maxCon="1000" minCon="10" balance="3"writeType="1" dbType="mysql" dbDriver="native" switchType="1"slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="W1" url="123.60.31.104:3306" user="root" password="root"><readHost host="W1R1" url="123.60.31.104:3307" user="root" password="root" /></writeHost></dataHost>
</mycat:schema>

balance属性说明：
负载均衡类型，目前的取值有3 种：

balance=“0”, 不开启读写分离机制，所有读操作都发送到当前可用的writeHost 上。

balance=“1”，全部的readHost 与stand by writeHost 参与select 语句的负载均衡，简单的说，当双主
双从模式(M1->S1，M2->S2，并且M1 与M2 互为主备)，正常情况下，M2,S1,S2 都参与select 语句的负
载均衡。

balance=“2”，所有读操作都随机的在writeHost、readhost 上分发。

balance=“3”，所有读请求随机的分发到wiriterHost 对应的readhost 执行，writerHost 不负担读压力，
注意balance=3 只在1.4 及其以后版本有，1.3 没有。

创建Dockerfile文件，输入以下内容

FROM openjdk:8-jdk-stretchADD http://dl.mycat.org.cn/1.6.7.6/20201126013625/Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz /usr/local
RUN cd /usr/local && tar -zxvf Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz && ls -lnaENV MYCAT_HOME=/usr/local/mycat
WORKDIR /usr/local/mycatENV TZ Asia/ShanghaiEXPOSE 8066 9066CMD ["/usr/local/mycat/bin/mycat", "console","&"]

rule.xml

<function name="mod-long" class="io.mycat.route.function.PartitionByMod"><!-- how many data nodes --><property name="count">1</property>
</function>

创建镜像文件
docker build -t mycat:1.6.7.6 .
运行容器并挂载配置文件目录与日志目录
docker run --privileged=true -p 8066:8066 -p 9066:9066 --name mycat -v /root/data/mycat/conf:/usr/local/mycat/conf -v /root/data/mycat/logs:/usr/local/mycat/logs -d mycat:1.6.7.6

#-v /root/data/mycat/conf:/usr/local/mycat/conf 挂载配置文件目录
#-v /root/data/mycat/logs:/usr/local/mycat/logs 挂载日志目录# --network=adnc_net --ip 172.20.0.16 adnc_net是自建的bridge网络，如果使用docker默认网络，不需要这段

4.2、mycat集群

五、haprozy负载均衡

5.1、docker部署haproxy

拉取镜像
docker pull haproxy:1.9.3

创建目录，用于存放配置文件
mkdir /root/data/haproxy

创建容器
docker create --name haproxy --net host -v /root/data/haproxy:/usr/local/etc/haproxy haproxy:1.9.3

编写配置文件
vim /root/data/haproxy/haproxy.cfg

globallog             127.0.0.1 local2maxconn         4000daemon
defaultsmode                    httplog                     globaloption                  httplogoption                  dontlognulloption http-server-closeoption forwardfor       except 127.0.0.0/8option                  redispatchretries                 3timeout http-request    10stimeout queue           1mtimeout connect         10stimeout client          1mtimeout server          1mtimeout http-keep-alive 10stimeout check           10smaxconn                 3000listen  admin_statsbind    0.0.0.0:4001mode    httpstats   uri     /dbsstats   realm   Global\ statisticsstats   auth    admin:admin123listen  proxy-mysqlbind    0.0.0.0:4002mode    tcpbalance roundrobinoption  tcplogserver  mycat_1 123.60.12.197:8066 check port 8066 maxconn 2000server  mycat_2 123.60.31.104:8066 check port 8066 maxconn 2000

启动容器
docker restart haproxy && docker logs -f haproxy

浏览器访问 http://123.60.31.104:4001/dbs

docker搭建MySQL集群相关推荐

用Docker搭建Elasticsearch集群
用Docker搭建Elasticsearch集群对于用Docker搭建分布式Elasticsearhc集群的一个介绍,以及一些实施中遇到问题的总结搜索服务简述结合业务的场景,在目前的商品体系需要 ...
docker搭建pxc集群
前言随着mysql存储的数据量越来越大,mysql查询单表时的响应速度也会随之变慢,尤其是当单节点承载的数据量超出一定的范围后,比如单表超过2000万之后,查询响应速度会下降的很快,因此,一方面可以 ...
docker安装mysql集群
目录一.前言二.主从集群搭建 2.1.master 主服务器的搭建 2.2 slave服务器准备一.前言主从复制的流程: 1. 主服务器上面的任何修改都会通过自己的 I/O tread(I/O ...
Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager
Kafka 搭建: 建立Zookeeper容器: 这里我们用最简单的方式创建一个独立的Zookeeper节点,如果要考虑zookeeper的高可用,可以将其做成一个集群,最好是能有多台机器. $ do ...
Docker搭建hadoop集群
参考https://github.com/kiwenlau/hadoop-cluster-docker/blob/master/start-container.sh 因为之前在VMware上操作Had ...
docker 添加端口映射_苟且偷生的程序猿没法摸鱼了，从docker搭建elasticsearch集群开始学习...
最近刚换了公司,然后公司刚好使用的docker.而本人作为一个石锤的搬砖员,之前只知道搬砖们,对于这些东西确实没学过.今天在本地使用docker搭建elasticsearch集群,记录下过程,而且el ...
kubernetes怎么读_Kubernetes之有状态应用实践-搭建MySQL集群
零.前情纪要上一遍文章Kubernetes集群搭建已经带大家成功搭建了Kubernetes集群,可能有不少人在搭建过程中对很多概念性的东西还是很模糊,接下来这篇文章将通过带领大家一起搭建一个高可用的 ...
Docker学习七：使用docker搭建Hadoop集群
本博客简单分享了如何在Docker上搭建Hadoop集群,我的电脑是Ubuntu20,听同学说wsl2有些命令不对,所以建议在虚拟机里按照Ubuntu或者直接安装双系统吧 Docker学习一:Dock ...
基于docker搭建zookeeper集群、kafka集群（多台真机之间的集群）
基于docker搭建zookeeper集群.kafka集群---二(多台真机之间的集群) https://blog.csdn.net/diebiao6526/article/details/10143 ...
利用docker搭建服务器集群并部署大数据生态软件
1.集群搭建与配置本来想使用centos镜像搭建服务器集群,但最小化安装版的镜像也需要1G左右,如果后面再部署一些大数据软件,单是多台服务器环境部署就会占用大量空间,加上此版本镜像在不同电脑环境的安 ...

docker搭建MySQL集群