动力节点老杜mysql文件_mysql主从复制+mysql主从复制延迟解决方案
### 1. 为什么需要mysql主从复制
1. 数据热备
- 在复杂的业务场景中, 可能因为某一条sql造成了锁表, 这样就会影响正常的业务运行。在复杂的业务场景中, 我们可以使用mysql主从复制, 主库负责写, 从库负责读这样即使主库出现了锁表的场景通过从库读的业务也可以保证正常运行。
- 架构扩展。 业务访问量越来越大, io访问频率过高, 单机无法满足需求, 此时做多库存储降低单机的磁盘io访问频率,从而提高单机io的性能。
2. 什么是主从复制
主从复制是指数据从一个
mysql
主节点复制到一个或者多个从节点。mysql
默认是异步复制的方式, 从节点可以复制主节点中的所有数据或者指定的库或者表.
3. 主从复制原理
- 主库开启
binlog
, 将数据和表结构的改变记录在二进制文件binlog
中 - slave 会在一定的时间间隔内对master的二进制文件进行探测是否改变, 如果改变则开启一个
io Thread
请求master的 binlog - 同时master会为每一
io thread
开一个dump Thread
, 用于向其传输二进制文件(binlog), 并保存到slave的中继日志(relay log)中. - slave 启动
sql Thread
从中继日志(relay log)中读取二进制数据 在本地进行重放, 使得slave 和 master数据保持一致. 最后 slave 的io Thread
和sql Thread
进入睡眠状态等待再次被唤醒.
即: 1. master 的dump Thread
根据slave的请求, 将本地的binlog
以events
的方式发送给 IO Thread
2. slave IO Thread
接收到binlog events
后保存到中继日志(relay log)中, 传过来的信息会记录在master.info
文件中. 3. slave sql Thread
获取中继日志中的内容进行重发, 并把应用过的记录到relay-log.info
中, 默认情况下已经应用过的relay会自动被清理
注意: 1. master 将操作语句记录在bin log
中, 授权slave远程访问的权限. 2. master和slave节点的时间需要同步
4. mysql主从复制的具体操作步骤
- 准备两台mysql, 可以在同一台机上也可以在不同的机上.
- 开启主节点的
binlog
, 在/etc/my.cnf
文件的mysqld
下添加如下内容
# 开启 BinLog日志
log-bin=mysql-bin
# 服务器的唯一id, 默认是 1, 一般去ip最后一段
server-id=13
- 修改从节点的
/etc/my.cnf
文件
# 开启 BinLog日志, 从节点可以开启binlog日志 也可以不开启, 我这里是开启了.
log-bin=mysql-bin
# 服务器的唯一id, 默认是 1, 一般去ip最后一段
server-id=14
- 重启master和slave
- 登录master执行
show master status
命令查看binlog
日志文件和偏移量.
![](/assets/blank.gif)
- 登录从库通过
change master to
语句连接master.
CHANGE MASTER TO MASTER_HOST = 'ip或者域名', MASTER_USER = '用户名',MASTER_PASSWORD = '密码', MASTER_PORT = 端口, MASTER_LOG_FILE='binlog文件名', MASTER_LOG_POS=偏移量;
- 启动slave, 执行如下命令
start slave
- 执行
show slave status G;
得到如下结果便是启动成功
![](/assets/blank.gif)
5. Mysql主从同步延迟分析
Mysql 主从同步都是单线程的, master所有的
DDL
和DML
都会写入binlog
中, 由于binlog
是顺序读写, 所以效率很高, slave的sql Thread
将master的DDL
和DML
操作事件都在slave中重发.DDL
和DML
的IO操作是随机的, 不是顺序的, 所以成本要高很多, 另一方面由于SQL Thread
也是单线程, 当master并发高的时候,产生的DML
数量超出了slaveSQL Thread
的处理速度, 或者当slave有大型的query语句产生了锁, 那么延迟就产生了.
解决方案: 1. 业务的持久化层的实现采用分库架构, mysql服务器可以平行扩展, 分散压力 2. 单个主库, 多个从库, 主写从读 3. 服务的基础架构在业务层和持久化层间加入memcache
或者redis
构成的cache层. 降低mysql的读写压力
4.不同的业务的mysql放在不同的物理机上,分散压力. 5. 使用更加好的硬件设备 6. mysql5.7 之后使用MTS
并发复制技术, 永久解决复制延迟问题
动力节点老杜mysql文件_mysql主从复制+mysql主从复制延迟解决方案相关推荐
- (B站动力节点老杜MySQL教程)MySQL课堂笔记-day01.txt
文章目录 文件来源/资料下载: MySQL课堂笔记-day01.txt 1.sql.DB.DBMS分别是什么,他们之间的关系? 2.什么是表? 3.学习MySQL主要还是学习通用的SQL语句,那么SQ ...
- (B站动力节点老杜MySQL教程)MySQL课堂笔记-day03.txt
文章目录 文件来源/资料下载: MySQL课堂笔记-day03.txt 1.约束 1.1.唯一性约束(unique) 1.2.主键约束 1.3.外键约束 2.存储引擎?(整个内容属于了解内容) 2.1 ...
- (B站动力节点老杜MySQL教程)MySQL课堂笔记-day02.txt
文章目录 文件来源/资料下载: MySQL课堂笔记-day02.txt 1.关于查询结果集的去重? 2.连接查询 2.1.什么是连接查询? 2.2.连接查询的分类? 2.3.在表的连接查询方面有一种现 ...
- [记录学习]自学动力节点老杜Spring6笔记_02
首先感谢动力节点和杜老师的教学分享!Respect! 学习来源:B站 https://www.bilibili.com/video/BV1Ft4y1g7Fb/?spm_id_from=333.337. ...
- [记录学习]自学动力节点老杜Spring6笔记_01
首先感谢动力节点和杜老师的教学分享!Respect! 学习来源:B站 https://www.bilibili.com/video/BV1Ft4y1g7Fb/?spm_id_from=333.337. ...
- mysql基础入门 day2 动力节点[老杜]课堂笔记
day_2 本文原作者为动力节点教学总监杜老师老杜在其课老杜带你学_mysql 入门基础(mysql 基础视频+数据库实战)所写讲课笔记 该文档和其涉及资料见文档末链接 本人将其讲课笔记 txt 下载 ...
- 动力节点老杜javaweb笔记丰富总结
文章目录 Servlet 关于系统架构 B/S结构的系统通信原理(没有涉及到Java小程序) 关于WEB服务器软件 实现一个最基本的web应用(这个web应用中没有java小程序) 对于一个动态的we ...
- jdbc(B站动力节点老杜)学习笔记复习使用
jdbc概述 什么是jdbc? java语言连接数据库的一套接口,jdbc是SUN公司定制的一套接口 为什么要SUN公司要制定一套接口? 每个数据库的底层实现原理不同,程序员要想使用java连接某一个 ...
- Spring动力节点老杜课程学习笔记
没有Spring的时候我们如何进行开发的? 没有Spring为我们服务的,写代码一定是这样的 调用层: public static void main(String[] args) {//创建视图层对 ...
- 数据库笔记2(转载动力节点老杜)
MySQL day02 1.关于查询结果集的去重? mysql> select distinct job from emp; // distinct关键字去除重复记录. +----------- ...
最新文章
- Spring Web MVC 支持最新的API
- spring boot(二):web综合开发
- [译]多线程网络服务模型
- 高度平衡的二叉搜索树基础概念与经典题目(Leetcode题解-Python语言)
- leetcode1233. 删除子文件夹
- android音乐播放器文章,Android复习09【内容提供者、音乐播放器】
- HBase到MR再到HBase
- OpenCV学习笔记】二十七、轮廓特征属性及应用(四)——正外接矩形
- ​使用 QuickBI 搭建酷炫可视化分析
- Java JSON转Excel工具类
- 技术团队管理:技术分享
- Java工程师和软件工程师的关系-蛙课网
- JAVA-日期类(Date、SimpleDateFormat)
- 关于computer vision的会议及vision guys-机器学习与视觉大牛族谱深度挖掘
- EPICS -- synApps -- Autosave
- Ubuntu下编译VeraCrypt
- DANet(双重注意力融合网络)与CBAM
- ChatGPT 账号被封?推荐 5 款国外网站,完美替代!
- 英语背单词有用吗_别闹了,你以为英语不好背单词就有用吗
- 西安电子科技大学833真题_21西安电子科技大学计算机/软工考研经验分享
热门文章
- BeyondCompare4.1.9解决过期问题
- html5掉落效果,HTML5 菜单掉落动效
- using namespace cv_闪耀暖暖万圣节非凡魔女南瓜套公开 消耗钻石获取 大喵无CV
- java虚拟机起不来的原因,JVM理解其实并不难!
- 国内HuggingFace,预训练模型镜像使用
- Pool多进程的加速
- springboot连接容器内mysql_docker部署springboot项目,连接mysql容器
- 2020年联通软件研究院校招笔试第三题
- Java的Runtime类介绍
- 前端数据可视化可绘制地图等插件:Highcharts、Echarts和D3