MySQL主从复制能完美解决数据库单点问题吗?
一、单个数据库服务器的缺点
数据库服务器存在单点问题;
数据库服务器资源无法满足增长的读写请求;
高峰时数据库连接数经常超过上限。
二、如何解决单点问题
增加额外的数据库服务器,组建数据库集群;
同一集群中的数据库服务器需要具有相同的数据;
集群中的任一服务器宕机后,其它服务器可以取代宕机服务器。
三、MySQL主从复制架构
1、主库将变更写入到主库的binlog中
一些MySQL版本并不会开启二进制日志,所以一定要检查是否开启;
如果刚开始没有开启,后面再进行开启的话,需要重启数据库才能生效,而且数据库的重启往往会对业务造成很大的影响;
尽管二进制日志对性能有稍许的影响,所以还是建议大家无论是否使用复制功能,都要开启MySQL二进制日志,因为增量备份也需要二进制日志。
2、从库的IO线程在指定位置读取主库binlog内容存储到本地的中继日志(Relay Log)中
要完成二进制日志的传输过程,MySQL会在从服务器上启动一个工作线程,称为IO线程
这个IO线程会跟主数据库建立一个普通的客户端连接,然后在主服务器上启动一个特殊的二进制转储线程称为binlogdown线程。
从库上的IO线程通过这个二进制转储线程来读取主库上的二进制事件,如果该事件追赶上主库,则会进入sleep状态,直到主库发起信号通知有新事件产生时,才会被唤醒,relay log的格式和binlog格式是完全相同的,
可以使用mysqlbinlog来读取relay log中的内容。
3、从库的SQL线程读取Relay Log日志中的内容,并在从库中重放
SQL线程所执行的事件,我们可以通过配置选项来决定是否要写入到从服务器的二进制日志中。
目前MySQL支持两种复制类型:
基于二进制日志点的复制
基于GTID的复制(MySQL>=5.7推荐使用)
四、MySQL主从配置步骤
1、配置主从数据库服务器参数
有些参数配置后需要数据库重启才能生效,为了不影响数据库的正常使用,我们最好在服务器上线的同时就把参数都配置好。
特别是master服务器的参数,更应该作为服务器初始参数来进行配置。
master服务器:
log_bin = /data/mysql/sql_log/mysql-bin # 指定mysql的binlog的存放路径 /data/mysql/sql_log,以及日志文件名前缀mysql-bin ,# 如果只是为了启用binlog,可以不指定存放路径,默认会存放到mysql的data目录下,也就是会把日志和数据文件存放在一起# 之所以指定路径分开存放,是为了提高IO性能,所以还是建议日志文件和数据文件分开存放
server_id = 100 # mysql的复制集群中通过server_id的值区分不同的服务器,建议使用服务器ip的后一段或后两段的值进行配置,比如192.168.3.100,就设置为100或2100
slave 服务器:
log_bin = /data/mysql/sql_log/mysql-bin
server_id = 101relay_log = /data/mysql/sql_log/relay-bin # 指定relay_log日志的存放路径和文件前缀 ,不指定的话默认以主机名作为前缀read_only = on # 使所有没有server权限的用户,在从服务器上不能执行写操作,不论这个用户是否拥有写权限 (mysql5.7 可以使用 super_read_only = on ,限制super用户也不能在从服务器上执行写操作)skip_slave_start = on # 在slave服务器重启时,不会自动启动复制链路。默认情况下slave服务器重启后,mysql会自动启动复制链路,如果这个时候存在问题,则主从链路会中断,所以正常情况下,我们应该在服务器重启后检查是否存在问题,然后再手动启动复制链路# 下面两个参数是把主从复制信息存储到innodb表中,默认情况下主从复制信息是存储到文件系统中的,如果从服务器宕机,很容易出现文件记录和实际同步信息不同的情况,存储到表中则可以通过innodb的崩溃恢复机制来保证数据记录的一致性
master_info_repository = TABLE
relay_log_info_repository = TABLE
2、在master服务器上创建用于复制的数据库账号
用于IO线程连接master服务器获取binlog日志,需要* REPLICATION SLAVE** 权限:
create user 'repl'@'ip段' identified by 'password';
grant replication slave on *.* to 'repl'@'ip段';
3、备份master服务器上的数据并初始化slave服务器数据
建议主从数据库服务器采用相同的MySQL版本;
建议使用全库备份的方式初始化slave数据。
采用相同版本的好处:
我们可以使用全备的方式来初始化slave数据,还可以避免不同版本之间的差异造成数据库同步失败的问题。
如果我们使用的主从复制的服务器MySQL版本不同,则一定要注意master上的版本一定要低于slave服务器,不然同步的时候就可能出现错误。
由于我们演示过程中的MySQL服务器都是使用的MySQL5.7,所以我们可以使用全备的方式进行:
mysqldump --master-data=2 -uroot -p -A --single-transaction -R --triggers
4、启动基于日志点的复制链路
在slave服务器上运行,MySQL命令:
CHANGE MASTER TO
MASTER_HOST= 'master_host_ip',
MASTER_USER= 'repl',
MASTER_PASSWORD = 'password',
MASTER_LOG_FILE='mysql_log_file_name',
MASTER_LOG_POS=xxxxxx;
5、启动基于GTID的复制链路
GTID:全局事务ID,GTID可以保证每一个在主上提交的事务,在复制集群中可以生成一个唯一的ID值,要使用基于GTID的复制,我们要在主从复制的配置文件中同时加入以下配置项。
MySQL配置:
gtid_mode=on # 是否启动gtid模式,启动了此模式会在二进制日志中会额外记录每个事务的GTID标识符
enforce-gtid-consistency # 强制gtid一致性,用于保证启动gtid后事务的安全
log-slave-updates = on # mysql5.6一定要启用参数,5.7可以不启用
MySQL命令:
CHANGE MASTER TO
MASTER_HOST= 'master_host_ip',
MASTER_USER= 'repl',
MASTER_PASSWORD = 'password',
MASTER_AUTO_POSITION=1;
GTID复制的限制:
无法再使用create table ... select语句建立表,只能先create表,再insert数据;
无法在事务中使用create temporary table建立临时表;
无法使用关联更新同时更新事务表和非事务表。
4和5中选一个执行即可。
五. MySQL主从复制演示
1. 先对主服务器进行配置
[client]
port = 3306 # 客户端端口号为3306
socket = /home/mysql/data/mysql.sock[mysqld]# skip #
skip_name_resolve = 1
skip-external-locking =1# GENERAL #
user = mysql # MySQL启动用户
default_storage_engine = InnoDB # 新数据表的默认数据表类型
character-set-server = utf8 # #服务端默认编码(数据库级别)
socket = /home/mysql/data/mysql.sock
pid_file = /home/mysql/data/mysqld.pid
basedir = /home/mysql #使用该目录作为根目录(Mysql安装目录);port = 3306
bind-address = 0.0.0.0
log_error_verbosity = 3
explicit_defaults_for_timestamp = off
#sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
#sql_mode = NO_ENGINE_SUBSTITUTION# undo log
# innodb_undo_directory = /home.mysql/undo
# innodb_undo_tablespaces = 32# MyISAM #
key_buffer_size =32M# SAFETY #
max_allowed_packet = 100M
max_connect_errors = 1000000
sysdate_is_now =1
#innodb = FORCE
#innodb_strict_mode = 1 # Replice #
server-id = 100
relay_log = /home/mysql/sql_log/mysqld-relay-bin #plugin-load = semisync_master.so
log_slave_updates = on
master_info_repository = TABLE
relay_log_info_repository =TABLE
# gtid_mode = on
# enforce_gtid_consistency =on
# skip-slave-start =1
#rpl_semi_sync_master_enabled = 1
#rpl_semi_sync_master_timeout=200 # 0.2 second
master_info_respository = TABLE
# gtid_mode= on
# enforce_gtid_consistency = on
# skip-slave-start = 1# DATA STORAGE #datadir = /home/mysql/data #mysql 数据文件存放的目录
tmpdir = /tmp # MySQL存放临时文件的目录# BINARY LOGGING #log_bin = /home/mysql/sql_log/mysql-bin
max_binlog_size = 1000M
binlog_format = row
expire_log_days = 7
sync_binlog = 1# CACHES AND LIMITS #tmp_table_size = 32M
max_heap_table_size = 32M
query_cache_type = 0
由于主服务器一直在运行着,在生产环境中主服务器是很少会重启的,如果主服务器重启,会造成正常的业务访问的中断,所以在服务器启动之前就启动了二进制日志。
这里不需要重启主服务器了,由于主服务器的默认server_id=1,我们虽然在配置文件中更改了它的值 ,但实际运行环境中并没有改变。
我们可以查看一下当前server_id:
mysql> show variables like '%server_id%';
可以通过以下命令动态的进行修改:
mysql> set global server_id = 100;
2. 再对从服务器进行配置
[client] port = 3306 # 客户端端口号为3306 socket = /home/mysql/data/mysql.sock[mysqld]# skip # skip_name_resolve = 1 skip-external-locking =1# GENERAL # user = mysql # MySQL启动用户 default_storage_engine = InnoDB # 新数据表的默认数据表类型 character-set-server = utf8 # #服务端默认编码(数据库级别) socket = /home/mysql/data/mysql.sock pid_file = /home/mysql/data/mysqld.pid basedir = /home/mysql #使用该目录作为根目录(Mysql安装目录);port = 3306 bind-address = 0.0.0.0 log_error_verbosity = 3 explicit_defaults_for_timestamp = off #sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES #sql_mode = NO_ENGINE_SUBSTITUTION read_only = on# undo log # innodb_undo_directory = /home.mysql/undo # innodb_undo_tablespaces = 32# MyISAM # key_buffer_size =32M# SAFETY # max_allowed_packet = 100M max_connect_errors = 1000000 sysdate_is_now =1 #innodb = FORCE #innodb_strict_mode = 1 # Replice # server-id = 101 relay_log = /home/mysql/sql_log/mysqld-relay-bin #plugin-load = semisync_master.so log_slave_updates = on master_info_repository = TABLE relay_log_info_repository =TABLE
# gtid_mode = on # enforce_gtid_consistency =on # skip-slave-start =1 #rpl_semi_sync_master_enabled = 1 #rpl_semi_sync_master_timeout=200 # 0.2 second master_info_respository = TABLE # gtid_mode= on # enforce_gtid_consistency = on # skip-slave-start = 1# DATA STORAGE #datadir = /home/mysql/data #mysql 数据文件存放的目录 tmpdir = /tmp # MySQL存放临时文件的目录# BINARY LOGGING #log_bin = /home/mysql/sql_log/mysql-bin max_binlog_size = 1000M binlog_format = row expire_log_days = 7 sync_binlog = 1# CACHES AND LIMITS #tmp_table_size = 32M max_heap_table_size = 32M query_cache_type = 0
修改完从服务器配置后,重启MySQL服务器。如果使用的是MySQL5.7版本的需要注意:
MySQL5.7增加了server-uuid值,默认情况下载auto.cnf文件中
如果是使用的镜像的方式安装,可能大家的uuid一样 ,所以需要把auto.cnf文件删除掉。
MySQL重启后会自动重新生成uuid的值,这样就可以保证不同服务器上的MySQL实例的uuid的值是不一样的;
如果server-uuid的值相同,主从复制会出现问题。
以上我们就完成了主从复制的配置,接下来我们要在主服务器上建立复制账号。
3. 在MySQL主服务器上建立MySQL复制账号
mysql> create user 'dba_repl'@'192.168.3.%' identified by '123456';
mysql> grant replication slave on *.* to 'dba_repl'@'192.168.3.%';
4. 建立好复制账号以后,通过mysql主服务器上的全备初始化从服务器上数据
进行全备:
[root@localhost data]# cd /data/db_backup/
[root@localhost db_backup]# mysqldump -uroot -p --master-data=1 --single-transaction --routines --triggers --events --all-databases > all.sql
Enter password:
将其拷贝到从服务器上:
[root@localhost db_backup]# scp all.sql root@192.168.3.101:/root
在从服务器上恢复备份进行初始化:
[root@Node2 ~]# mysql -uroot -p < all.sql
初始化完成后,准备。
5. 从服务器进行基于日志点的复制链路的配置
mysql> change master to master_host='192.168.3.100',
-> master_user='dba_repl',
-> master_password='123456',
->MASTER_LOG_FILE='mysql-bin.000017',MASTER_LOG_POS=663;
MASTER_LOG_FILE和MASTER_LOG_POS的值从全备文件中的CHANGE MASTER中获取
以上复制链路的配置完成。
启动slave:
mysql> start slave;
检查是否启动成功状态:
mysql> show slave status \G
显示:
Relay_Master_Log_File: mysql-bin.000017
Slave_IO_Running:Yes
Slave_SQL_Running: Yes
说明启动成功了,可以在主服务器上插入数据,在从服务上查看数据是否同步过来了。
六. 主从复制的一些缺点
虽然主从复制增加了一个数据库副本,但从数据库和主数据库的数据最终会是一致的。
之所以说是最终一致,因为MySQL复制是异步的,正常情况下主从复制数据之间会有一个微小的延迟。
通过这个数据库副本看似解决了数据库单点问题,但并不完美:
因为这种架构下,如果主服务器宕机,需要手动切换从服务器,业务中断不能忍受,不能满足应用高可用的要求。
End
作者:听风
来源:
https://www.cnblogs.com/huchong/p/10253522.html
本文版权归作者所有
MySQL主从复制能完美解决数据库单点问题吗?相关推荐
- MySQL主从复制虽好,能完美解决数据库单点问题吗?
点击上方"朱小厮的博客",选择"设为星标" 回复"1024"获取独家整理的学习资料 一.单个数据库服务器的缺点 数据库服务器存在单点问题: ...
- mysql主从 单点_MySQL主从复制虽好,能完美解决数据库单点问题吗?
一.单个数据库 服务器 的缺点 数据库服务器存在单点问题: 数据库服务器资源无法满足增长的读写请求: 高峰时数据库连接数经常超过上限. 二.如何解决单点问题 增加额外的数据库服务器,组建数据库集群: ...
- 1主5从mysql数据库_MySQL主从复制虽好,能完美解决数据库单点问题吗?
一.单个数据库服务器的缺点 数据库服务器存在单点问题: 数据库服务器资源无法满足增长的读写请求: 高峰时数据库连接数经常超过上限. 二.如何解决单点问题 增加额外的数据库服务器,组建数据库集群: 同一 ...
- mysql 自动停止_MySQL数据库之mysql自动停止的完美解决方法
本文主要向大家介绍了MySQL数据库之mysql自动停止的完美解决方法 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 这两天新买的服务器mysql总是自动停止,查了日志 9:1 ...
- phpstudy mysql端口_完美解决phpstudy安装后mysql无法启动(无需删除原数据库,无需更改任何配置,无需更改端口)直接共存...
今天学习php,当然是要先安装好运行环境了,phpstyudy是一个运行php的集成环境, 一键安装对新手很友好,与时作为一个新手,便跟着教程安装了phpstudy集成环境. 很快安装好了,嗯.对新手 ...
- mysql 硬负载_为啥单机MySQL又遭遇瓶颈?MySQL主从复制替你解决单机问题
成长是一棵树,总是在你不知不觉的情况下快乐长大:成长是一株草,总是在你不知不觉的情况下长满大地:成长是一朵花,总是在你不知不觉的情况下开满山头. 这不,随着时间的迁移.项目网站的用户量.数据量持续上升 ...
- nacos连接mysql失败_完美解决MySQL通过localhost无法连接数据库的问题
问题:一台服务器的PHP程序通过localhost地址无法连接数据库,但是如果设置为127.0.0.1则可以正常连接,连接其他数据库服务器也正常.MySQL的权限设置正确,且通过mysql命令行客户端 ...
- mysql主从复制实践之单数据库多实例
1.主从复制数据库实战环境准备 MySQL主从复制实践对环境的要求比较简单,可以是单机单数据库多实例的环境,也可以是两台服务器之间,每台服务器都部署一个独立的数据库的环境.本文以单机数据库多实例的环境 ...
- mysql主从复制之异常解决--- Slave_IO_Running: NO
关于 Slave_IO_Running: NO 的错误其实有很多原因, 文章目录 1. 解决问题的思路 2. 异常信息 3. 问题定位:由于uuid相同,而导致触发此异常 4. 解决方案 5. 服务器 ...
最新文章
- php表单的输出,php – Joomla输入表单字段输出
- 博客园外挂之一Web搜索引擎命中统计
- 一次CMS GC问题排查过程(理解原理+读懂GC日志)
- linux netfilter 过滤数据包,Netfilter-iptabes报文过滤框架(一)
- 彻底解决zend studio 下 assignment in condition警告
- LEADTOOLS Multimedia SDK更新:改进RTSP和H.265/H.264的硬件加速
- Python 必备要点总结及环境搭建(上)
- Java合并两个有序数组
- 光伏并网系统的谐波分析
- c语言et1tr1怎么用,TMOD=0x11;ET0=1;TR0=0;ET1=1;TR1=0;EA=1;这是什么意思啊??谢谢啦
- afg低功耗状态黑苹果_拔草1L小主机 Dell9020m + 黑苹果折腾记录
- 如何彻底卸载3dmax2020_3DMAX 2020安装失败,怎么把3DMAX 2020彻底卸载删除干净重新安装?...
- 全志linux视频硬解码,全志V316超清4K视频编解码芯片处理器介绍
- SSL2812 2017年10月30日提高组T2 凤凰院凶真(dp,LCIS)
- 操作系统的几种基本类型
- 网页头部的声明怎么写?
- 何为企业?何以“大而能用,大而有当”?|一点财经
- SVN commit的时候报错conflicted state
- 两个免费的文献翻译网站,支持多种专业翻译,多种语言!
- python键盘键值表_Python怎么记录键盘鼠标敲击次数|Python统计鼠标点击次数 - PS下...
热门文章
- 2021HDU多校6 - 7029 Median(思维)
- CodeForces - 1370F2 The Hidden Pair (Hard Version)(交互题+二分)
- CodeForces - 1353F Decreasing Heights(dp)
- CodeForces - 125C Hobbits' Party(思维+构造)
- POJ - 2942 Knights of the Round Table(点双缩点+二分图判定)
- 牛客 - 「土」巨石滚滚(贪心)
- python读数据库的通信协议是,Python操作SQLite数据库过程解析
- kafka 丢弃数据_kafka 生产者和幂等
- TensorRT安装教程
- TensorFlow2-卷积神经网络