mysql高并发频繁地写_Mysql写入频繁,怎么破?
Mysql在写入压力很大,怎么办?
高并发下的性能最大的问题,大都在数据库,以前我们做二十万超级群,mongodb每个月都会出事故.
我们聊聊,高并发下如何缓解mysql的压力
⚠️:mysql是锁锁表不锁库,sqlite是锁库不锁表
环境准备
Mac
mysql
navicat
wrk压测工具
node.js环境
下载wrk
brew install wrk
如果这里卡住,可以调整
`替换brew.git:
cd "$(brew --repo)"
git remote set-url origin https://mirrors.ustc.edu.cn/brew.git
替换homebrew-core.git:
cd "$(brew --repo)/Library/Taps/homebrew/homebrew-core"
git remote set-url origin https://mirrors.ustc.edu.cn/homebrew-core.git`
再执行一次brew install wrk即可
使用Node.js连接mysql
先准备一个执行sql语句函数
`const mysql = require('mysql');
const { MYSQL_CONF } = require('./config');
const con = mysql.createConnection(MYSQL_CONF);
//建立连接
con.connect();
//统一执行sql的方法
function exec(sql) {
const promise = new Promise((resolve, reject) => {
con.query(sql, (error, result) => {
if (error) {
reject(error);
}
resolve(result);
});
});
return promise;
}
//关闭连接
function kill() {
con.end();
}
module.exports = { exec, kill };`
再准备一个配置文件 config.js(可以根据环境变量区分配置)
`//获取环境变量
const env = process.env.NODE_ENV;
let MYSQL_CONF;
//开发环境的配置
MYSQL_CONF = {
host: 'localhost',
user: 'root',
password: '123456',
port: '3306',
database: 'blog',
socketPath: '/tmp/mysql.sock',
};
module.exports = { MYSQL_CONF };`
如上所示,跑起来
首先创建测试表
`exec('CREATE TABLE IF NOT EXISTS TEST_WRITE(first_column INT , second_column VARCHAR(100));')`
![](https://imgkr.cn-bj.ufileos.com/89f03976-a79d-4242-bdf0-090a53f6438c.png)
通过可视化工具Navicat可以看到表已经创建成功
开始模拟写入
先写一个接口,用来模拟用户请求,写入数据库
`app.get('/test', (req, res) => {
exec("INSERT INTO first_table(first_column, second_column) VALUES(1, 'aaa');");
res.json(success({ errcode: 0, data: {} }));
});`
介绍下wrk
wrk是一个用来做HTTP benchmark测试的工具。可以产生显著的压力。相比于Apache ab功能更为强大,可以使用lua脚本来支持更为复杂的测试场景,例如PUT请求等。在对于Restful架构的API接口来说,测试起来更加便捷。
使用方法
`使用方法: wrk
Options:
-c, --connections 跟服务器建立并保持的TCP连接数量
-d, --duration 压测时间
-t, --threads 使用多少个线程进行压测
-s, --script 指定Lua脚本路径
-H, --header 为每一个HTTP请求添加HTTP头
--latency 在压测结束后,打印延迟统计信息
--timeout 超时时间
-v, --version 打印正在使用的wrk的详细版本信息
代表数字参数,支持国际单位 (1k, 1M, 1G)
代表时间参数,支持时间单位 (2s, 2m, 2h)`
目前我们服务跑在本地http://localhost://8080
测试下
`wrk -t8 -c500 -d2s --latency "http://localhost:8080/test"`
采用8个线程,500个长链接,压测2秒
结果:
`Running 2s test @ http://localhost:8080/test
8 threads and 500 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 40.70ms 9.60ms 83.48ms 66.26%
Req/Sec 640.89 328.89 1.43k 64.29%
Latency Distribution
50% 39.26ms
75% 46.33ms
90% 54.32ms
99% 65.23ms
8980 requests in 2.08s, 3.13MB read
Socket errors: connect 253, read 201, write 0, timeout 0
Requests/sec: 4321.60
Transfer/sec: 1.50MB`
2s内完成了8980个请求,3.13mb的数据读取
当然你也可以用lua脚本个性化测试,这里不做过度的讲解,有兴趣可以去学习下
数据库结果,写入成功
加大压力测试
加大压力测试
`wrk -t15 -c1000 -d30s --latency "http://localhost:8080/test"`
此时cpu打到了25%,当然我这是一台Mac pro,如果是普通的机器估计此时已经...
压测结果:
`Running 30s test @ http://localhost:8080/test
15 threads and 1000 connections
(平均值) (标准差)(最大值)(正负一个标准差所占比例)
Thread Stats Avg Stdev Max +/- Stdev
(延迟)
Latency 35.32ms 17.38ms 345.78ms 96.45%
Req/Sec 0.95k 661.40 2.38k 54.50%
Latency Distribution
50% 33.36ms
75% 37.61ms
90% 42.49ms
99% 76.00ms
197231 requests in 30.09s, 68.65MB read
Socket errors: connect 754, read 188, write 0, timeout 0
Requests/sec: 6554.26
Transfer/sec: 2.28MB`
wrk使用方便,结果清晰。并且因为非阻塞IO的使用,可以在普通的测试机上创建出大量的连接,从而达到较好的压测效果。
当我继续调大压测的值时,出现了OOM的情况,而且我的Node.js版本还是12.x版本.
此时我的表字段很少,而且都是非常简单的数据,读写也没有同时进行,压力也不大,但是却先出现OOM了。
这里说明,我们的这种直接写入是有问题的,这样长时间的高频直接写入,即使数据库还能扛住,但是会很容易出现OOM,此时应该需要消息队列流量削峰,限流,也可以事务写入,但是事务写入如果失败,就默认全部失败...
数据库什么时候会出现锁库?
读写同时进行,高频耗时....
这个数据库我也不是理解很透彻
..更多请期待下一章
欢迎关注我的微信公众号:前端巅峰、大前端之巅
mysql高并发频繁地写_Mysql写入频繁,怎么破?相关推荐
- mysql 高并发加锁_Mysql高并发加锁事务处理
MySQL 使用 SELECT - FOR UPDATE 做事务写入前的确认 以MySQL 的InnoDB 为例,预设的 Tansaction isolation level 为 REPEATABLE ...
- java 多进程写一个文件_java高并发多线程及多进程同时写入文件研究
测试&思考: 环境:windows 七.linux centos 6.三.java8html java多线程同时写一个文件 java高并发环境下多线程同时写入一个文件时, 经过 FileLoc ...
- mysql高并发不用事务_Mysql高并发加锁事务处理
# Mysql高并发加锁事务处理 MySQL 使用 SELECT - FOR UPDATE 做事务写入前的确认 以MySQL 的InnoDB 为例,预设的 Tansaction isolation l ...
- Mysql高并发解决方案
Mysql高并发解决方案 前言 随着近些年来分布式的应用,其伴随而来的是系统的数据量也越来越大,为了可以提升系统的整体性能,我们对以Mysql为代表的关系型数据库也提出了"分布式" ...
- MySQL的性能优化及自动化运维实践与Mysql高并发优化
首先,我们来看看DBA的具体工作,我觉得 DBA 真的很忙:备份和恢复.监控状态.集群搭建与扩容.数据迁移和高可用,这是我们 DBA 的功能. 了解这些功能以后要对体系结构有更加深入的了解,你不知道怎 ...
- java高并发多线程及多进程同时写入文件研究
文章目录 测试&思考: java多线程同时写一个文件 第一种情况是:一个线程A有对文件加锁,另一个线程B没对文件加锁 在windows7环境下:(持有锁的可以写文件成功). 在linux ce ...
- php如何对mysql加锁_PHP+MySQL高并发加锁事务处理问题解决方法
本文实例讲述了PHP+MySQL高并发加锁事务处理问题解决方法.分享给大家供大家参考,具体如下: 1.背景: 现在有这样的需求,插入数据时,判断test表有无username为'mraz"的 ...
- thinkphp mysql高并发_WBB - ThinkPhp高并发提交如何保障数据正常
高并发导致的数据错误 通常出现于多连接,假设当前用户余额为100. A逻辑从数据库取值得到100,扣取50,得到50,进行数据库保存.最终数据库=50. 在同一瞬间内,A逻辑未保存数据库前,B逻辑从数 ...
- mysql 高并发 优惠券_转 mysql处理高并发,防止库存超卖
今天王总又给我们上了一课,其实mysql处理高并发,防止库存超卖的问题,在去年的时候,王总已经提过:但是很可惜,即使当时大家都听懂了,但是在现实开发中,还是没这方面的意识.今天就我的一些理解,整理一下 ...
- mysql 高并发扣除库存_【并发】mysql处理高并发,防止库存超卖
先来就库存超卖的问题作描述:一般电子商务网站都会遇到如团购.秒杀.特价之类的活动,而这样的活动有一个共同的特点就是访问量激增.上千甚至上万人抢购 一个商品.然而,作为活动商品,库存肯定是很有限的,如何 ...
最新文章
- 方法 注释_注释模板导入操作方法
- C# TeeChart的一些用法
- Linux SPI总线和设备驱动架构之三:SPI控制器驱动
- 基于ssm的学生成绩管理系统
- python3教程廖雪峰云-python3基础教程廖雪峰云(如何规划研究生三年最后成为谷歌软件工程师)...
- scn exercise view.setModel will trigger binding creation in Fiori
- Flask中的session操作
- 进程是如何使用内存的?
- C#LeetCode刷题之#67-二进制求和(Add Binary)
- Docker web管理界面——Shipyard
- python怎么下载网站_python怎么下载网页上的文件
- 华硕ARMOURY CRATE奥创安装/风扇快捷键问题
- 【数模系列】01_聚类分析
- 股票学习-量柱和k线-第四天
- 图片格式如何批量转换成jpg呢?
- PS2018 cc的下载和安装
- 第一次尝试公司项目上线
- 【智能驾驶安全专题】功能安全与SOTIF如何融合实施?
- 2013年5月25日星期六
- [论文笔记]Seed,Expend and Constrain