22-09-04 西安 谷粒商城(01)MySQL主从复制、MyCat读写分离、MyCat分库分表
人人尽说江南好,游人只合江南老。春水碧于天,画船听雨眠。
MySQL主从复制
1、主从复制原理
mysql主从复制:分摊读写压力(cpu计算压力)
写交给主库,读由主从分摊处理(原因是写操作较少,读操作较多),以满足在安全性与高可用性上的需求
主从复制的目的就是:读写分离
主从复制原理
核心:两个日志,三个线程
两个日志:二进制日志、中继日志
三个线程:I/O、dump、sql
中继日志通常会位于OS缓存中,所以中继日志的开销很小。复制过程有一个很重要的限制,即复制在slave上是串行化的,也就是说Master上的并行更新操作不能在slave上并行操作。
主要原理:
- 主MySQL服务器做的增删改操作,都会写入自己的二进制日志(Binary log)
- 然后从MySQL从服务器打开自己的I/O线程连接主服务器,进行读取主服务器的二进制日志
- I/O去监听二进制日志,一旦有新的数据,会发起请求连接
- 这时候会触发dump线程,dump thread响应请求,传送数据给I/O(dump线程要么处于等待,要么处于睡眠)
- I/O接收到数据之后存放在中继日志
- SQL thread线程会读取中继日志里的数据,存放到自己的服务器中
主从同步四种方式对比
同步方式 | 概念 |
异步复制(Async Replication) |
主库将更新写入Binlog日志文件后,不需要等待数据更新是否已经复制到从库中,就可以继续处理更多的请求。Master将事件写入binlog, 但并不知道Slave是否或何时已经接收且已处理。在异步复制的机制的情况下,如果Master宕机,事务在Master上已提交,但很可能这些事务没有传到任何的Slave上。 假设有Master->Salve故障转移的机制,此时Slave也可能会丢失事务。MySQL复制默认是异步复制,异步复制提供了最佳性能。 |
同步复制(sync Replication) |
主库将更新写入Binlog日志文件后,需要等待数据更新已经复制到从库中,并且已经在从库执行成功,然后才能返回继续处理其它的请求。 同步复制提供了最佳安全性,保证数据安全,数据不会丢失,但对性能有一定的影响。 |
半同步复制(Async Replication) |
主库提交更新写入二进制日志文件后,等待数据更新写入了从服务器中继日志中,然后才能再继续处理其它请求。 该功能确保至少有1个从库接收完主库传递过来的binlog内容已经写入到自己的relay log里面了,才会通知主库上面的等待线程,该操作完毕。 半同步复制,是最佳安全性与最佳性能之间的一个折中。 MySQL 5.5版本之后引入了半同步复制功能,主从服务器必须安装半同步复制插件,才能开启该复制功能。 如果等待超时,超过rpl_semi_sync_master_timeout参数设置时间(默认值为10000,表示10秒),则关闭半同步复制,并自动转换为异步复制模式。 当master dump线程发送完一个事务的所有事件之后,如果在rpl_semi_sync_master_timeout内,收到了从库的响应,则主从又重新恢复为增强半同步复制。 ACK (Acknowledge character)即是确认字符。 |
增强半同步复制(lossless Semi-Sync Replication)、无损复制 |
增强半同步是在MySQL 5.7引入,其实半同步可以看成是一个过渡功能,因为默认的配置就是增强半同步,所以,大家一般说的半同步复制其实就是增强的半同步复制,也就是无损复制。 增强半同步和半同步不同的是,等待ACK时间不同 rpl_semi_sync_master_wait_point = AFTER_SYNC(默认) 半同步的问题是因为等待ACK的点是Commit之后,此时Master已经完成数据变更,用户已经可以看到最新数据,当Binlog还未同步到Slave时,发生主从切换,那么此时从库是没有这个最新数据的, 用户看到的是老数据。 增强半同步将等待ACK的点放在提交Commit之前,此时数据还未被提交,外界看不到数据变更,此时如果发送主从切换,新库依然还是老数据,不存在数据不一致的问题。 |
2、搭建主库mysql_master
1.主库准备工作
1.拉取mysql5.7镜像
docker pull mysql:5.7
2.准备主库配置
# 创建主需要的配置目录 mkdir -p /etc/mysql/master mkdir -p /etc/mysql/master/conf mkdir -p /etc/mysql/master/data# 给文件夹设置所有权限!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! chmod -R 777 /etc/mysql
# 创建主需要的配置文件my.cnf vim /etc/mysql/master/conf/my.cnf
my.cnf内容如下:
[mysqld] # 集群环境该节点的唯一的id值 server-id=1 # 主从复制:主有写操作时 主会记录写日志到该日志文件中 log-bin=master-bin # 设置不要复制的数据库 binlog-ignore-db=mysql binlog-ignore-db=mydb # 设置需要复制的数据库 主会将该库的写操作记录到log-bin日志文件中 binlog-do-db=guli_oms # 字符编码 character_set_server=utf8 datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid default-time_zone='+8:00' # logbin日志文件的格式:statement->记录写sql(批量操作主从效率高,@@hostname之类系统变量获取主从执行时不一致) ,row->记录写后的数据(和前面相反) binlog_format=STATEMENT
3.创建mysql_master容器
docker run -d -p 3316:3306 \ --name mysql_master \ --privileged=true \ --restart=always \ -v /etc/mysql/master/data:/var/lib/mysql:rw \ -v /etc/mysql/master/conf/my.cnf:/etc/mysql/my.cnf:rw \ -e MYSQL_ROOT_PASSWORD=123456 \ mysql:5.7
4.远程连接主机
使用sqlyog分别连接docker启动的mysql主库:注意修改端口号,Master对外映射的端口号是3316
2.binlog日志三种格式
1.statement
statement->记录写sql(批量操作主从效率高,@@hostname之类系统变量获取主从执行时不一致)
2.row
row->记录写后的数据
3.mixed
可以根据有没有函数自动切换前俩种格式,但是它也识别不了系统变量,主机名字不一样就会造成主从不一致
-- "@@"首先标记会话系统变量,如果会话变量不存在,则标记全局系统变量 SELECT @@hostname;
系统变量 规范:以“@@”开头
启动MySQL服务,生成MySQL实例期间,MySQL将为MySQL服务器内存中的系统变量赋值。 这些系统变量定义了当前MySQL服务实例的属性、特征。
3.查看主mysql的状态
这个时候,要是你也能出的来效果就最好了,出不来也没事。。因为我们很多人都出不来,拷别人虚拟机的。。。
-- 查看主mysql的状态 SHOW MASTER STATUS
接入点:从机从接入点开始复制。之前主机发生的任何事情跟我从机无关,我只从接入这个点开始复制
3、搭建从库mysql_slave
搭建从库准备工作
1.准备从库配置
# 创建从需要的配置目录 mkdir -p /etc/mysql/slave/conf mkdir -p /etc/mysql/slave/data# 给文件夹设置所有权限!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! chmod -R 777 /etc/mysql
这里要再重写设置权限,不然sqlyog登录不上去。
# 创建从需要的配置文件my.cnf vim /etc/mysql/slave/conf/my.cnf
my.cnf内容如下:
[mysqld] server-id=2 relay-log=relay-bin character_set_server=utf8 datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid default-time_zone='+8:00'
2.创建mysql_slave容器
docker run -d -p 3326:3306 \ --name mysql_slave \ --restart=always \ -v /etc/mysql/slave/data:/var/lib/mysql:rw \ -v /etc/mysql/slave/conf/my.cnf:/etc/mysql/my.cnf:rw \ -e MYSQL_ROOT_PASSWORD=123456 \ mysql:5.7
3.远程连接主机
Slave对外映射的端口号是3326
4、建立主从关系
mysql用户可以分为普通用户和root用户,root用户是超级管理员,拥有所有权限。包括创建用户、删除用户、修改用户密码等管理权限;普通用户只拥有被授予的各种权限
1.主库创建slave账户
# 创建slave用户 CREATE USER 'slave01'@'%'; # 设置密码 ALTER USER 'slave01'@'%' IDENTIFIED BY '123456'; # 授权 GRANT REPLICATION SLAVE ON *.* TO 'slave01'@'%'; flush privileges;
在user表中
----------------------------------------------
2.从库配置主从关系
如果从机中搭建过主从,要重新设置主从
stop slave;
reset master
从库中执行sql
CHANGE MASTER TO MASTER_HOST = '192.168.2.108',MASTER_PORT = 3316,MASTER_USER = 'slave01',MASTER_PASSWORD = '123456',MASTER_LOG_FILE = 'master-bin.000004',MASTER_LOG_POS = 13988;
master_port:主库的ip地址
master_port:主库的端口
master_user:用户名
master_password:密码
master_log_file:主库查询的file项对应的值
master_log_pos:主库查询的的值
-- 查看主mysql的状态 SHOW MASTER STATUS
---------------------
3.开启主从复制
#启动slave同步
START SLAVE;
#查看同步状态
SHOW SLAVE STATUS;
主从搭建成功,如下:
------------------
4.测试主从
主库中创建guli_oms,从库也会自动的跟着创建该数据库。创建别的库,从库不会跟的,因为主库的my.conf配置过。。SHOW MASTER STATUS也看到过
在主库中的guli_oms中创建表,从库也会跟着。达到主从复制的目的
MyCat读写分离
通过MyCat和MySQL的主从复制配合搭建数据库的读写分离,实现MySQL的高可用性。
java项目连接数据库连接mycat,sql交给mycat接收,由它根据配置好的参数,判断读写应该交给哪个数据库来处理。
大体就是下面这个样子,后面会详细说
<writeHost host="hostM1" url="jdbc:mysql://192.168.1.171:3316" user="root"password="123456"><readHost host="hostS1" url="jdbc:mysql://192.168.1.171:3326" user="root" password="123456" /> </writeHost>
1、安装MyCat
把压缩包ftp上传到/opt目录下并解压(压缩包我也是老师的资料中给的。。。)
tar -zxvf /opt/Mycat-server-1.6.7.6-release-20220524173810-linux.tar.gz
解压后的mycat/conf目录下存放的是它的配置文件:
其中核心的配置有3个:
server.xml:配置MyCat作为虚拟数据库的信息(地址、数据库名、用户名、密码等信息)mycat启动时初始化的配置
schemal.xml:mycat代理的真实数据库的信息,实现读写分离
mycat通过逻辑库 将真实数据库表加载到该逻辑库中 展示给连接mycat的用户
rule.xml:分库分表规则配置
2、MyCat是什么
重要:mycat本身不存储数据,只是在中间做一些业务逻辑
1、mycat是我们的程序与mysql数据库之间的桥梁,我们的请求不再直接到达数据库,而是到达mycat(解耦)
2、mycat中需要配置好主库从库关系,mycat根据配置决定读和写的去向。我们的Jdbc连接是连接mycat,程序代码没有任何变化。
3、mycat基本原理就是拦截转发
它拦截用户发送过来的SQL语句,对SQL做了一些特定的分析后,将此SQL发送到真实的数据库。
3、MyCat常用命令
进入 mycat/bin目录:cd /opt/mycat/bin
启动: ./mycat start
控制台启动: ./mycat console
停止: ./mycat stop
重启: ./mycat restart
状态: ./mycat status
日志文件:mycat/logs/wrapper.log
4、schema.xml 配置读写分离
<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1"><table name="oms_order,oms_order_item,oms_order_operate_history,oms_order_return_apply,oms_order_return_reason,oms_order_setting,oms_refund_info" dataNode="dn1" />
</schema>
<dataNode name="dn1" dataHost="localhost1" database="guli_oms" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="2"writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="hostM1" url="jdbc:mysql://192.168.2.108:3316" user="root"password="123456"><readHost host="hostS1" url="jdbc:mysql://192.168.2.108:3326" user="root" password="123456" /></writeHost>
</dataHost>
writeHost和readHost分别指定写和读,balance=0的话 代表不使用读写分离
启动mycat
启动失败的话,查看
tail -30 /opt/mycat/logs/wrapper.log
测试mycat读写分离
1.sqlyog连接mycat
2.插入SQL,再读取
INSERT INTO oms_order_operate_history VALUES('2' , '10011' , '9528' , NOW() ,0 , @@hostname);SELECT * FROM oms_order_operate_history;
balance=2的情况下,很不幸我他喵的都是从主库中读的
修改一下schema.xml 中balance=4。重启mycat
很遗憾,还是没有读写分离。。。
分库分表
ali开发手册:什么时候才需要分库分表
1、分库分表准备工作
1.在mysql_mycat库中删除上面的测试数据。
DELETE FROM oms_order_operate_history;
2.创建新的容器mysql_master2
# 创建主2需要的配置目录 mkdir /etc/mysql/master2 mkdir /etc/mysql/master2/conf mkdir /etc/mysql/master2/data# 设置权限 chmod -R 777 /etc/mysql/# 创建主需要的配置文件my.cnf vim /etc/mysql/master2/conf/my.cnf
my.cnf内容如下:
[mysqld] server-id=3 log-bin=master-bin # 设置不要复制的数据库 binlog-ignore-db=mysql # 设置需要复制的数据库 binlog-do-db=guli_oms character_set_server=utf8 datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid default-time_zone='+8:00' binlog_format=STATEMENT
创建容器mysql_master2启动:
docker run -d -p 3336:3306 \ --name mysql_master2 \ --privileged=true \ --restart=always \ -v /etc/mysql/master2/data:/var/lib/mysql:rw \ -v /etc/mysql/master2/conf/my.cnf:/etc/mysql/my.cnf:rw \ -e MYSQL_ROOT_PASSWORD=123456 \ mysql:5.7
sqlyog连接
在该数据库中导入guli_oms整个库
注意:3316/3326/3336 三个mysql的guli_oms库中的表都必须是空的
2、数据分片
数据分片是指通过某种特定的条件,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)上面,以达到分散单台设备负载的效果。
数据的切分(Sharding)根据其切分规则的类型,可以分为两种切分模式:
1.垂直(纵向)切分:是按照不同的表来切分到不同的数据库(主机)之上。
将原本一个库中的多张表存到多个不同的数据库(主机),将一个库的读写压力分摊到多个库中
分布式每个微服务只连接自己的数据库,已经实现。
2.水平(横向)切分:是根据表中的数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库(主机)的多张表中,这些多张表结构一样,多张表数据组合起来代表所有的数据。
分表可以减少单表数据量,查询时提高速度
逻辑库:在mycat中的数据库,但是真实物理不存在。
将多个库中的表合并到逻辑库中,项目中只要连接mycat就可以操作所有表
逻辑表:逻辑库中包含多个逻辑表,逻辑表可以映射mysql真实存在的物理表,逻辑表和物理表可 以一多一,也可以一对多(数据分片)
将拆分的多张表数据合并到一张逻辑表中,增删改查(指定条件查询)时,mycat可以根据rule规则快速判断到哪张表中操作数据
3、mycat配置分表
1.在rule.xml中配置分表规则
<tableRule name="oms_order_rule"><rule><columns>user_id</columns><algorithm>mod-long</algorithm></rule>
</tableRule><function name="mod-long" class="io.mycat.route.function.PartitionByMod"><!-- how many data nodes --><property name="count">2</property>
</function>
2.在schema.xml中新增配置
<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1"><!--splitTableNames 启用<table name 属性使用逗号分割配置多个表,即多个表使用这个配置--><!--fetchStoreNodeByJdbc 启用ER表使用JDBC方式获取DataNode--><table name="oms_order_return_reason,oms_order_setting,oms_refund_info" dataNode="dn1" /> <table name="oms_order" dataNode="dn1,dn2" fetchStoreNodeByJdbc="true" rule="oms_order_rule" ></table>
</schema><dataNode name="dn2" dataHost="localhost2" database="guli_oms" /><dataHost name="localhost2" maxCon="1000" minCon="10" balance="1"writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100"><heartbeat>select user()</heartbeat><!-- can have multi write hosts --> <writeHost host="hostM2" url="jdbc:mysql://192.168.1.171:3336" user="root"password="123456"></writeHost><!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
</dataHost>
重启mycat,测试分库分表
INSERT INTO oms_order(id,user_id,order_sn,create_time,username)
VALUES('1' , '1001' ,'1' , NOW() , 'zhangsan');
INSERT INTO oms_order(id,user_id,order_sn,create_time,username)
VALUES('2' , '1002' ,'2' , NOW() , 'zhaosi');
INSERT INTO oms_order(id,user_id,order_sn,create_time,username)
VALUES('3' , '1003' ,'3' , NOW() , 'wangwu');
INSERT INTO oms_order(id,user_id,order_sn,create_time,username)
VALUES('4' , '1004' ,'4' , NOW() , 'qianliu');INSERT INTO oms_order_item(id,order_id,spu_name)
VALUES('1' ,'2' , '小米手机1');
INSERT INTO oms_order_item(id,order_id,spu_name)
VALUES('2' ,'4' , '小米手机2');
INSERT INTO oms_order_item(id,order_id,spu_name)
VALUES('3' ,'1' , '小米手机3');
INSERT INTO oms_order_item(id,order_id,spu_name)
VALUES('4' ,'3' , '小米手机4');
测试联查
SELECT * FROM oms_order t1 LEFT JOIN oms_order_item t2 ON t1.id = t2.order_id;
4、跨库join问题
两个数据库在同一台主机上可以做关联查询;两张表在不同的主机上是不能做join关联查询的
解决思路:子表的记录与所关联的父表记录存放在同一个数据分片上
在schema.xml这里解决的,设置了ER表,ER表的分片字段就是那个外键“order_id”
<table name="oms_order" dataNode="dn1,dn2" fetchStoreNodeByJdbc="true" rule="oms_order_rule" ><!--name: 定义子表的表名;primaryKey:子表的主键;joinKey:与父表建立关联关系的列名;parentKey>:父表的主键名--><childTable name="oms_order_item" primaryKey="id" joinKey="order_id" parentKey="id" /><childTable name="oms_order_return_apply" primaryKey="id" joinKey="order_id" parentKey="id" /><childTable name="oms_order_operate_history" primaryKey="id" joinKey="order_id" parentKey="id" /></table>
ER表:指父子表中的子表,该表依赖于别的另外一张表。比如订单详情表(子表)和订单表 (父表)
22-09-04 西安 谷粒商城(01)MySQL主从复制、MyCat读写分离、MyCat分库分表相关推荐
- 高性能高可用MySQL(主从同步,读写分离,分库分表,去中心化,虚拟IP,心跳机制)
高性能高可用MySQL(主从同步,读写分离,分库分表,去中心化,虚拟IP,心跳机制) 视频地址:https://www.bilibili.com/video/BV1ry4y1v7Tr?p=8& ...
- MySQL数据库知识学习(五)读写分离与分库分表策略
通过数据库锁及存储引擎的学习,我们知道数据库在数据操作过程中为了保证数据的一致性是会给表或行加锁的,在网站发展的初期,由于没有太多访问量,一般来讲只需要一台服务器就够了,这的操作也不会有什么问题.但随 ...
- 【数据库七】搭建MySQL主从复制和读写分离详解
详解搭建搭建MySQL主从复制和读写分离 1.案例实施:搭建MySQL主从复制 1.1 主节点数据库(CentOS 7-5) 1.2 从节点数据库(CentOS 7-6) 1.3 从节点数据库(Cen ...
- mysql主从复制、读写分离到数据库水平拆分及库表散列
文章转载自http://blog.csdn.net/sd4422739/article/details/49514981 web项目最原始的情况是一台服务器只能连接一个mysql服务器(c3p0只能配 ...
- MySQL主从复制与读写分离配置及实操
MySQL主从复制与读写分离 一.MySQL主从复制 1.复制类型 2.工作过程 二.MySQL读写分离 1.定义 2.存在意义 3.作用时间 4.原理 5.类型 基于程序代码内部实现 基于中间代理层 ...
- Linux+MySQL+MyCat实现分库分表,通过MyCat数据库中间件实现分库分表配置实战
目录 前言 Linux+MySQL+MyCat实现读写分离,主从同步的解决方案 一.Linux下MySQL数据库服务的安装与部署 二.下载Linux MyCat 三.上传Linux服务器,并解压 四. ...
- 【MySQL】Spring Boot项目基于Sharding-JDBC和MySQL主从复制实现读写分离(8千字详细教程)
目录 前言 一. 介绍 二. 主从复制 1. 原理 2. 克隆从机 3. 克隆从机大坑 4. 远程登陆 5. 主机配置 6. 从机配置 7. 主机:建立账户并授权 8. 从机:配置需要复制的主机 9. ...
- 如何进行MySQL主从复制与读写分离的配置
MySQL主从复制与读写分离 什么是读写分离? 为什么要读写分离呢? 什么时候要读写分离? 主从复制与读写分离 mysq支持的复制类型 主从复制的工作过程 MySQL主从复制延迟 MySQL主从复制实 ...
- mysql pdo 插入没效果_MySQL分库分表后用PHP如何来完美操作
当单表达到几千万时,查询一次要很久,如果有联合查询,有可能会死在那 分库分表主要就是解决这个问题,减小数据库的负担,缩短查询时间分库 1)按功能分 用户类库.商品类库.订单类库.日志类.统计类库... ...
- mysql主从读写Windows_Windows操作系统下的MySQL主从复制及读写分离
一.主服务器(master)配置 1.修改MySQL配置文件my.ini [mysqld] log-bin=mysql-bin log-bin-index=mysql-bin.index server ...
最新文章
- 【硬件】运放的那些事儿
- OpenCV实现图像颜色特征提取
- STM32F4 HAL库开发 -- 再识
- 5.4广义表的定义5.5广义表的存储结构
- 【测试】模拟一个全表扫描的sql,对其进行优化走索引,并且将执行计划稳定到baseLine。...
- Luogu P4774 / LOJ2721 【[NOI2018]屠龙勇士】
- linux系统无法读取硬盘,安装CentOS时读取硬盘错误解决办法
- [常微分方程]Lecture 2: 欧拉数值方法及推广
- word计算机排版怎么选,Word选择题选项对齐排版方法 查找替换工具搞定
- C语言 二维数组(指针)动态分配和释放(转)
- IT6613,是一款BT1120 TO HDMI 单转芯片
- 《无线电》杂志1955年到2000年高清扫描版,果断下载一份保存!
- NPDP产品经理小知识:商业模式画布的9个构成要素
- matlab中sum函数的使用
- 以“数”防疫,快速实施,两周落地,天翎疫情管理系统
- bayaim_今晚打老虎
- 手动实现简易版小区快递柜管理系统 Version 0.1.1
- jupyter notebook 代码自动补全 加 显示变量功能 以及让3d图片可以旋转
- 【ps】使用shotoshop按比例缩小图片
- 卓有成效的管理:你逃不过的功课你要完成它
热门文章
- FL studio 20简易入门教程 -- 第六篇 -- 调音台和自动化包络线
- transcad安装教程_TransCAD免安装版
- 修改文件 火车票买下铺_12306修改代码买下铺?12306码农太弱了吧 (转载)
- cad查看_微信接收图纸dwg怎么打开?如何手机查看CAD图纸,三步免费教你
- CAD导入MAXWELL
- Uiautomator 2.0之UiObject2类学习小记
- 普元EOS7.5生成RestFul接口服务
- SWMM模型代码LID(Low Impact Development)模块分析
- 浏览器Cookie详解
- 小红书用户画像分析_小红书报告