项目性能优化(MySQL读写分离、MySQL主从同步、Django实现MySQL读写分离)
当项目中数据库表越来越多，数据量也逐渐增多时，需要做数据库的安全和性能的优化。对于数据库的优化，可以选择使用MySQL读写分离实现。
1、MySQL主从同步
1.主从同步机制
1.1.主从同步介绍和优点
- 在多台数据服务器中，分为主服务器和从服务器。一台主服务器对应多台从服务器。
- 主服务器只负责写入数据，从服务器只负责同步主服务器的数据，并让外部程序读取数据。
- 主服务器写入数据后，即刻将写入数据的命令发送给从服务器，从而使得主从数据同步。
- 应用程序可以随机读取某一台从服务器的数据，这样就可以分摊读取数据的压力。
- 当从服务器不能工作时，整个系统将不受影响；当主服务器不能工作时，可以方便地从从服务器选举一台来当主服务器
- 使用主从同步的优点：
- 提高读写性能
- 因为主从同步之后，数据写入和读取是在不同的服务器上进行的，而且可以通过增加从服务器来提高数据库的读取性能。
- 提高数据安全
- 因为数据已复制到从服务器，可以在从服务器上备份而不破坏主服务器相应数据。
- 提高读写性能
1.2.主从同步机制
MySQL服务器之间的主从同步是基于二进制日志机制，主服务器使用二进制日志来记录数据库的变动情况，从服务器通过读取和执行该日志文件来保持和主服务器的数据一致。
2. Docker安装运行MySQL从机
提示：
- 搭建
一主一从的主从同步。 - 主服务器：ubuntu操作系统中的MySQL。
- 从服务器：Docker容器中的MySQL。
2.1.获取MySQL镜像
- 主从同步尽量保证多台MySQL的版本相同或相近。
sudo docker image pull mysql:5.7.22
或
sudo docker load -i 文件路径/mysql_docker_5722.tar
2.2.指定MySQL从机配置文件
- 在使用Docker安装运行MySQL从机之前，需要准备好从机的配置文件。
- 为了快速准备从机的配置文件，直接把主机的配置文件拷贝到从机中。
$ cd ~
$ mkdir mysql_slave
$ cd mysql_slave
$ mkdir data
$ cp -r /etc/mysql/mysql.conf.d ./
2.3.修改MySQL从机配置文件
- 编辑
~/mysql_slave/mysql.conf.d/mysqld.cnf文件。 - 由于主从机都在同一个电脑中，所以选择使用不同的端口号区分主从机，从机端口号是8306。
# 从机端口号
port = 8306
# 关闭日志
general_log = 0
# 从机唯一编号
server-id = 2
2.4.Docker安装运行MySQL从机
MYSQL_ROOT_PASSWORD：创建 root 用户的密码为 mysql。
sudo docker run --name mysql-slave -e MYSQL_ROOT_PASSWORD=mysql -d --network=host -v /home/python/mysql_slave/data:/var/lib/mysql -v /home/python/mysql_slave/mysql.conf.d:/etc/mysql/mysql.conf.d mysql:5.7.22
【这儿可能会有一个错误，可能是数据库中的最后一行写错】
2.5.测试从机是否创建成功
mysql -uroot -pmysql -h 127.0.0.1 --port=8306
【上面命令的端口号必须指定，此时从机中还是没有数据的，show databases;所以项目在上线之前要进行一次主从同步】
3. 主从同步实现
3.1.配置主机（ubuntu中MySQL）
- 配置文件如有修改，需要重启主机。
sudo service mysql restart
# 开启日志
general_log_file = /var/log/mysql/mysql.log
general_log = 1
# 主机唯一编号
server-id = 1
# 二进制日志文件
log_bin = /var/log/mysql/mysql-bin.log
3.2.从机备份主机原有数据
- 在做主从同步时，如果从机需要主机上原有数据，就要先复制一份到从机。
# 1. 收集主机原有数据
mysqldump -uroot -pmysql --all-databases --lock-all-tables > ~/master_db.sql# 2. 从机复制主机原有数据
mysql -uroot -pmysql -h127.0.0.1 --port=8306 < ~/master_db.sql
3.3.主从同步实现
- 1.创建用于从服务器同步数据的帐号
# 登录到主机
$ mysql –uroot –pmysql
# 创建从机账号 下面这行命令在主机上执行
$ GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' identified by 'slave';
# 刷新权限
$ FLUSH PRIVILEGES;
- 2.展示ubuntu中MySQL主机的二进制日志信息
$ SHOW MASTER STATUS;
- 3.Docker中MySQL从机连接ubuntu中MySQL主机
# 登录到从机
$ mysql -uroot -pmysql -h 127.0.0.1 --port=8306
# 从机连接到主机
$ change master to master_host='127.0.0.1', master_user='slave', master_password='slave',master_log_file='mysql-bin.000250', master_log_pos=990250;
# 开启从机服务
$ start slave;
# 展示从机服务状态 \G是不想用表格形式，想用key:values形式
$ show slave status \G
测试：
在主机中新建一个数据库后，直接在从机查看是否存在。
2、Django实现MySQL读写分离
1. 增加slave数据库的配置
DATABASES = {'default': { # 写（主机）'ENGINE': 'django.db.backends.mysql', # 数据库引擎'HOST': '192.168.103.158', # 数据库主机'PORT': 3306, # 数据库端口'USER': 'itcast', # 数据库用户名'PASSWORD': '123456', # 数据库用户密码'NAME': 'meiduo_mall' # 数据库名字},'slave': { # 读（从机）'ENGINE': 'django.db.backends.mysql','HOST': '192.168.103.158','PORT': 8306,'USER': 'root','PASSWORD': 'mysql','NAME': 'meiduo_mall'}
}
2. 创建和配置数据库读写路由
2.1.创建数据库读写路由
- 在
meiduo_mall.utils.db_router.py中实现读写路由 【新建该文件】
class MasterSlaveDBRouter(object):"""数据库读写路由"""def db_for_read(self, model, **hints):"""读"""return "slave"def db_for_write(self, model, **hints):"""写"""return "default"def allow_relation(self, obj1, obj2, **hints):"""是否运行关联操作"""return True
2.2.配置数据库读写路由 【在settings中进行配置】
DATABASE_ROUTERS = ['meiduo_mall.utils.db_router.MasterSlaveDBRouter']项目性能优化(MySQL读写分离、MySQL主从同步、Django实现MySQL读写分离)相关推荐
- mysql慢sql增加读写分离_MySQL主从同步+读写分离
MySQL主从同步+读写分离 实验拓扑: 三台mysql数据库: 192.168.80.101 主服务器 mysql 192.168.80.102 从1服务器 mysql 192.168.80.103 ...
- Linux下MySQL 5.7 主从复制(主从同步)
首先要准备两台服务器,一台主服务器(Master),另一台从服务器(Slave),然后要保证Master与Slave的版本要相同且Master不能高于Slave的版本,一般稳健的做法都是使其版本相同, ...
- 数据库读写分离，主从同步实现方法
前言 众所周知,随着用户量的增多,数据库操作往往会成为一个系统的瓶颈所在,而且一般的系统"读"的压力远远大于"写",因此我们可以通过实现数据库的读写分离来提高系 ...
- mysql并行复制降低主从同步延时的思路与启示
mysql并行复制降低主从同步延时的思路与启示 一.缘起 mysql主从复制,读写分离是互联网用的非常多的mysql架构,主从复制最令人诟病的地方就是,在数据量较大并发量较大的场景下,主从延时会比较严 ...
- mysql relaylog 慢_MySQL 主从同步延迟的原因及解决办法
mysql 用主从同步的方法进行读写分离,减轻主服务器的压力的做法现在在业内做的非常普遍. 主从同步基本上能做到实时同步.我从别的网站借用了主从同步的原理图. 在配置好了, 主从同步以后, 主服务器会 ...
- 项目性能优化之性能问题分析和压力测试
项目性能优化之性能问题分析和压力测试 性能问题分析 为什么要性能优化 影响性能的关键要素 性能优化出发点 性能压力测试 什么是压力测试 压力测试的指标 常用压测工具 性能问题分析 为什么要性能优化 应 ...
- 欢乐互娱庞池海：《龙之谷》项目性能优化经验分享
欢乐互娱庞池海:<龙之谷>项目性能优化经验分享 在5月12日,UNITY 2017案例分享专场上,欢乐互娱技术引擎开发工程师娱庞池海分享了<龙之谷>项目性能优化经验.以下为分享 ...
- 接手同事vue项目两个月的血和泪，关于vue项目性能优化，缩短首屏加载时间
最近接手了别人做的vue项目,项目跑起来后,有些页面很卡,首屏加载也慢,打包速度也慢.于是,研究了很久vue的项目性能优化,下面我将从两个部分来详解vue项目的性能优化: 代码优化 webpack打包 ...
- MySQL数据库备份之主从同步配置
点击上方 好好学java ,选择 星标 公众号 重磅资讯.干货,第一时间送达 今日推荐:用好Java中的枚举,真的没有那么简单!个人原创+1博客:点击前往,查看更多 出处:https://www.cn ...
最新文章
- 隐马尔科夫模型HMM（一）HMM模型
- class括号里的object_Python入门 类class 基础篇
- 温州大学《深度学习》课程课件（八、深度卷积神经网络）
- java flex xml_FLEX与JAVA的交互问题 -DOM4J-xml
- 罗永浩宣布年后回归科技界！下一代平台上见 网友：暗示年后“真还传”要完结...
- VB 二进制数据读写实例
- CentOS 7 搭建 Ceph 集群（nautilus 版本）
- 优化数据库方法 php,PHP优化MYSQL数据库的方法有哪些
- 38张史上最全的IT架构师技能图谱（高清版下载）
- hightopo实现电力拓扑着色功能
- 利用HttpWebRequest自动抓取51la统计数据
- 2016年农民工监测调查报告（zz）
- 关于日记账导入-外币
- 【QA单】柿饼派及柿饼M3模块相关QA(持续更新....)
- 高级远程办公解决方案 ETX ，用于桌面虚拟化和远程访问图形要求苛刻的应用程序
- 工作一年的心得体会（持续中.......）
- python编程：实现自助点餐小程序，包括自定义菜单，点餐，账单，结算等功能
- 机器学习算法（二十五）：KD树详解及KD树最近邻算法
- 学习ARM开发(1)
- [ACTF2020 新生赛]Exec1命令注入