2019独角兽企业重金招聘Python工程师标准>>>

在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。有点类似于前面我们学习过的rsync,但是不同的是rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据、语句做备份。

如图所示:

一、 案例前置知识点

1、 mysq支持的复制类型

1) 基于语句的复制。在服务器上执行sql语句,在从服务器上执行同样的语句,mysql默认采用基于语句的复制,执行效率高。

2) 基于行的复制。把改变的内容复制过去,而不是把命令在从服务器上执行一遍。

3) 混合类型的复制。默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制。

2、 复制的工作过程

1) 在每个事务更新数据完成之前,master在二进制日志记录这些改变。写入二进制日志完成后,master通知存储引擎提交事务。

2) Slave将master的binary log复制到其中继日志。首先slave开始一个工作线程(I/O),I/O线程在master上打开一个普通的连接,然后开始binlog dump  process。binlog  dump  process从master的二进制日志中读取事件,如果已经跟上master,它会睡眠并等待master产生新的事件,I/O线程将这些事件写入中继日志。

3) Sql  slave  thread(sql从线程)处理该过程的最后一步,sql线程从中继日志读取事件,并重放其中的事件而更新slave数据,使其与master中的数据一致,只要该线程与I/O线程保持一致,中继日志通常会位于os缓存中,所以中继日志的开销很小。

如图所示:

3、 mysql读写分离原理

读写分离就是在主服务器上修改,数据会同步到从服务器,从服务器只能提供读取数据,不能写入,实现备份的同时也实现了数据库性能的优化,以及提升了服务器安全。

前较为常见的Mysql读写分离分为以下两种:

1)基于程序代码内部实现

在代码中根据select 、insert进行路由分类,这类方法也是目前生产环境下应用最广泛的。优点是性能较好,因为程序在代码中实现,不需要增加额外的硬件开支,缺点是需要开发人员来实现,运维人员无从下手。

2) 基于中间代理层实现

代理一般介于应用服务器和数据库服务器之间,代理数据库服务器接收到应用服务器的请求后根据判断后转发到,后端数据库,有以下代表性的程序。

(1)mysql_proxy。mysql_proxy是Mysql的一个开源项目,通过其自带的lua脚本进行sql判断。

(2)Atlas。是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程。

(3)Amoeba。由阿里巴巴集团在职员工陈思儒使用序java语言进行开发,阿里巴巴集团将其用户生产环境下,但是他并不支持事物以及存数过程。

经过上述简单的比较,不是所有的应用都能够在基于程序代码中实现读写分离,像一些大型的java应用,如果在程序代码中实现读写分离对代码的改动就较大,所以,像这种应用一般会考虑使用代理层来实现,那么今天就使用Amoeba为例,完成主从复制和读写分离。

MySQLProxy介绍

下面使用MySQL官方提供的数据库代理层产品MySQLProxy搭建读写分离。
MySQLProxy实际上是在客户端请求与MySQLServer之间建立了一个连接池。所有客户端请求都是发向MySQLProxy,然后经由MySQLProxy进行相应的分析,判断出是读操作还是写操作,分发至对应的MySQLServer上。对于多节点Slave集群,也可以起做到负载均衡的效果。

实验图:

转载于:https://my.oschina.net/hfframework/blog/1814041

mysql主从以及读写分离(科普)相关推荐

  1. docker mysql主从_使用docker 实现MySQL主从同步/读写分离

    1. 利用 docker 实现 mysql 主从同步 / 读写分离 为了保证数据的完整和安全,mysql 设计了主从同步,一个挂掉还可以用另个.最近重构论坛,想来改成主从吧.担心失误,就先拿 dock ...

  2. mysql主从配置读写分离笔记

    第二次回头看了,第一次学完后感觉都会了,回头再看才发现什么都想不起来了.还得查资料再学习,虽然很简单.还是做个笔记吧!笔记有点糙 就是自己看的 因为主要是测试主从和读写分离 所以直接 yum inst ...

  3. mysql 主从同步-读写分离

    主从同步与读写分离测试 一.  实验环境(主从同步) Master                   centos 7.3              192.168.138.13 Slave     ...

  4. mysql主从及读写分离

    主从同步 1 主配置 把237配置为主数据库服务器 授权用户从42数据库服务器连接自己的时候有拷贝数据的权限 grant   replication    slave  on  *.*    to   ...

  5. mysql-proxy代理加mysql主从实现读写分离

    实验环境搭建: mysql-proxy   192.168.1.163 mysql-master  192.168.1.164 (主) mysql-slave   192.168.1.162 (从) ...

  6. mysql主从同步读写分离

    https://pan.baidu.com/s/1tm_FQ4C8heQqzx01URr85A //软件连接百度网盘 三台mysql数据库:主数据库服务器:192.168.80.100从数据库服务器1 ...

  7. mysql主从与读写分离_MySQL主从复制与读写分离

    MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践 Mysql作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过.但在实际的生产环境中, ...

  8. windows mysql 主从_mysql读写分离实战二-windows 上mysql主从数据库搭建及问题总结

    根据前篇web项目的搭建后,需要搭建主从数据库,这里在windows服务器上搭建了主从结构的mysql,这里在记录下在本机模拟搭建过程 在windows上安装和linux还是有些不同,不注意就会耽误不 ...

  9. mysql慢sql增加读写分离_MySQL主从同步+读写分离

    MySQL主从同步+读写分离 实验拓扑: 三台mysql数据库: 192.168.80.101 主服务器 mysql 192.168.80.102 从1服务器 mysql 192.168.80.103 ...

最新文章

  1. 手动部署OpenStack环境(二:CentOS6.6虚拟机的安装及配置)
  2. python切片语法-Python切片符号(:)用法及示例
  3. java 空语句_Java空语句怎么写才正确?这样的Java基础知识才是你需要的
  4. 从投票应用说起,功能才不是轻社交App的核心呢!
  5. 规范化流程化提交自己代码到远程gitlab服务器
  6. Linux内核中的GPIO系统
  7. discuz仿文明争霸游戏官网模版
  8. 基于Centos搭建Maven 安装与使用
  9. 微信小程序+java后台
  10. .net reactor 学习系列(五)---.net reactor针对De4Dot脱壳工具的应对
  11. PCB绘图不小心把绘图界面缩小到看不见了,如何操作?
  12. python邮箱格式验证_学会使用正则表达式——验证邮箱地址格式
  13. TCP的快速重传机制
  14. 组建linux虚拟团队,虚拟团队建设与管理
  15. 不考研,编程能力不强的大二同学,选择哪个专业方向?
  16. 外贸公司一般用什么邮箱,电子邮件如何群发?
  17. 【RGB和RGBA之间的转换】也许对你有用
  18. mw320r虚拟服务器,水星MW320R路由器桥接设置教程 | 192路由网
  19. 最新最全面的Spring详解(四)——面向切面编程
  20. 全新UI游戏帐号交易平台系统源码+支持游戏币

热门文章

  1. SAP PM 初级系列12 – 为维修工单关联Task List
  2. SAP Table Relationship of Material Classification
  3. 别把引擎当汽车:AutoML不值得……
  4. 「SAP技术」SAP MM 批次管理的物料创建DN时无存储地点就不能输入批次值?
  5. SAP 预制发票报错 -Material 20000000 D119223073 in valuation area VNSM has inconsistant ML data- 之对策
  6. 两步设置:visual studio code(vscode)如何设置文本自动换行
  7. Nature:初步探索限制饮食如何影响肿瘤生长
  8. 边缘计算有哪些关键技术?
  9. 科技部5个6G重点项目
  10. 剑桥大学发布2019年度AI发展报告,预测未来12个月AI产业6件大事