阿里云rds mysql 并发_干货 | 浅析RDS MySQL 8.0语句级并发控制-阿里云开发者社区
背景
为了应对突发的数据库请求流量、资源消耗过载的语句访问、SQL 访问模型的变化, 并保持 MySQL 实例持续稳定运行,阿里云RDS for MySQL 8.0所采用的AliSQL分支设计了基于语句规则的并发控制,Statement Concurrency Control,以下简称 CCL,有效控制匹配某种规则的并发度,并提供了一组工具包(DBMS_CCL package) 方便快捷使用。
规则设计
CCL 规则一共定义了三个维度的特征:
1)SQL command
根据 statement 的类型,例如 ‘SELECT', 'UPDATE', 'INSERT', 'DELETE';
2) Object
根据 statement 操作的对象进行控制, 例如 TABLE,VIEW;
3)keywords
根据 statement 语句的关键字进行控制;
CCL 根据规则的定义,设计了一个系统表,mysql.concurrency_control 持久化保存 CCL rule:
Concurrency_control
CREATE TABLE `concurrency_control` (
`Id` bigint(20) NOT NULL AUTO_INCREMENT,
`Type` enum('SELECT','UPDATE','INSERT','DELETE') NOT NULL DEFAULT 'SELECT',
`Schema_name` varchar(64) COLLATE utf8_bin DEFAULT NULL,
`Table_name` varchar(64) COLLATE utf8_bin DEFAULT NULL,
`Concurrency_count` bigint(20) DEFAULT NULL,
`Keywords` text COLLATE utf8_bin,
`State` enum('N','Y') NOT NULL DEFAULT 'Y',
`Ordered` enum('N','Y') NOT NULL DEFAULT 'N',
PRIMARY KEY (`Id`)
) /*!50100 TABLESPACE `mysql` */ ENGINE=InnoDB
DEFAULT CHARSET=utf8 COLLATE=utf8_bin
STATS_PERSISTENT=0 COMMENT='Concurrency control'
COLUMNS
"Type",用来定义 SQL command
"Schema_name" && "Table_name",用来定义 Object
"Keywords",用来定义关键字,可使用 ';' 分隔符多个关键字
"Concurrency_count",用来定义并发度
"State",表示这条规则是否 active
"Ordered",表示keywords中多个关键字是否按顺序匹配
用户可以直接操作这个表来定义规则,也可以使用 DBMS_CCL 工具包来操作 CCL rule。
管理接口
为了便捷的管理 CCL rule,AliSQL 在 DBMS_CCL package 中定义了四个 native procedure 来管理;
1)Add CCL rule
dbms_ccl.add_ccl_rule(type=>, schema=>, table=>, Concurrency_count=>, keywords=>);
增加规则(包括表和内存)例如:
1. 增加 SELECT 语句的并发度为 10;
mysql> call dbms_ccl.add_ccl_rule('SELECT', '', '', 10, '');
Query OK, 0 rows affected (0.00 sec)
2. 增加 SELECT 语句,并在语句中出现关键字 key1 的并发度为 20
mysql> call dbms_ccl.add_ccl_rule('SELECT', '', '', 20, 'key1');
Query OK, 0 rows affected (0.00 sec)
3. 增加 test.t 表的 SELECT 语句的并发读为 20;
mysql> call dbms_ccl.add_ccl_rule('SELECT', 'test', 't', 30, '');
Query OK, 0 rows affected (0.00 sec)
规则的匹配按照 3 > 2 > 1 的优先级顺序进行匹配。
2)Delete CCL rule
dbms_ccl.del_ccl_rule(rule_id=> );
删除规则(包括内存和表中)例如:
1. 删除 rule id = 15 的 CCL rule
mysql> call dbms_ccl.del_ccl_rule(15);
Query OK, 0 rows affected (0.01 sec)
2. 如果删除的rule 不存在,语句报相应的 warning
mysql> call dbms_ccl.del_ccl_rule(100);
Query OK, 0 rows affected, 2 warnings (0.00 sec)
mysql> show warnings;
+---------+------+----------------------------------------------------+
| Level | Code | Message |
+---------+------+----------------------------------------------------+
| Warning | 7514 | Concurrency control rule 100 is not found in table |
| Warning | 7514 | Concurrency control rule 100 is not found in cache |
+---------+------+----------------------------------------------------+
3) Show CCL rule
dbms_ccl.show_ccl_rule();
展示在内存中 active rule 的情况,例如:
mysql> call dbms_ccl.show_ccl_rule();
+------+--------+--------+-------+-------+-------+-------------------+---------+---------+----------+----------+
| ID | TYPE | SCHEMA | TABLE | STATE | ORDER | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | KEYWORDS |
+------+--------+--------+-------+-------+-------+-------------------+---------+---------+----------+----------+
| 17 | SELECT | test | t | Y | N | 30 | 0 | 0 | 0 | |
| 16 | SELECT | | | Y | N | 20 | 0 | 0 | 0 | key1 |
| 18 | SELECT | | | Y | N | 10 | 0 | 0 | 0 | |
+------+--------+--------+-------+-------+-------+-------------------+---------+---------+----------+----------+
除了 rule 本身的属性之外,增加了三个数字统计:
MATCHED
规则匹配成功次数
RUNNING
在此规则下,正在 run 的线程数
WAITING
在此规则下,正在 wait的线程数
4)Flush CCL rule
dbms_ccl.flush_ccl_rule();
如果直接操作了concurrency_control table 修改规则, 不能立即生效,可以调用 flush,重新生效。例如:
mysql> update mysql.concurrency_control set CONCURRENCY_COUNT = 15 where id = 18;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0
mysql> call dbms_ccl.flush_ccl_rule();
Query OK, 0 rows affected (0.00 sec)
压力测试
测试场景
1)设计三条规则
Rule 1:对 sbtest1 表 应用 Object rule 控制
call dbms_ccl.add_ccl_rule('SELECT', 'test', 'sbtest1', 3, '');
Rule 2: 对sbtest2 表 应用 keyword rule 控制
call dbms_ccl.add_ccl_rule('SELECT', '', '', 2, 'sbtest2');
Rule 3: 对sbtest3 表 应用 SQL command 控制
call dbms_ccl.add_ccl_rule('SELECT', '', '', 2, '');
2)使用 sysbench 进行测试
64 threads
4 tables
select.lua
查看规则并发使用情况,可以到到 running 和 waiting 的数量:
mysql> call dbms_ccl.show_ccl_rule();
+------+--------+--------+---------+-------+-------+-------------------+---------+---------+----------+----------+
| ID | TYPE | SCHEMA | TABLE | STATE | ORDER | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | KEYWORDS |
+------+--------+--------+---------+-------+-------+-------------------+---------+---------+----------+----------+
| 20 | SELECT | test | sbtest1 | Y | N | 3 | 389 | 3 | 9 | |
| 21 | SELECT | | | Y | N | 2 | 375 | 2 | 14 | sbtest2 |
| 22 | SELECT | | | Y | N | 2 | 519 | 2 | 34 | |
+------+--------+--------+---------+-------+-------+-------------------+---------+---------+----------+----------+
3 rows in set (0.00 sec)
查看线程运行情况: 大部分处在 Concurrency control waitting 状态。
mysql> show processlist;
+-----+-----------------+-----------------+------+---------+------+------------------------------+--------------------------------------+
| Id | User | Host | db | Command | Time | State | Info |
+-----+-----------------+-----------------+------+---------+------+------------------------------+--------------------------------------+
| 72 | root | localhost:33601 | NULL | Query | 0 | starting | show processlist |
| 171 | u1 | localhost:60120 | test | Query | 2 | Concurrency control waitting | SELECT pad FROM sbtest3 WHERE id=51 |
| 172 | u1 | localhost:60128 | test | Query | 5 | Concurrency control waitting | SELECT pad FROM sbtest4 WHERE id=35 |
| 174 | u1 | localhost:60385 | test | Query | 4 | Concurrency control waitting | SELECT pad FROM sbtest3 WHERE id=54 |
| 178 | u1 | localhost:60136 | test | Query | 12 | Concurrency control waitting | SELECT pad FROM sbtest4 WHERE id=51 |
| 179 | u1 | localhost:60149 | test | Query | 5 | Concurrency control waitting | SELECT pad FROM sbtest2 WHERE id=51 |
| 182 | u1 | localhost:60124 | test | Query | 1 | Concurrency control waitting | SELECT pad FROM sbtest4 WHERE id=51 |
| 183 | u1 | localhost:60371 | test | Query | 5 | User sleep | SELECT pad FROM sbtest2 WHERE id=51 |
| 184 | u1 | localhost:60133 | test | Query | 4 | Concurrency control waitting | SELECT pad FROM sbtest3 WHERE id=51 |
| 190 | u1 | localhost:60406 | test | Query | 5 | Concurrency control waitting | SELECT pad FROM sbtest3 WHERE id=51 |
| 191 | u1 | localhost:60402 | test | Query | 1 | Concurrency control waitting | SELECT pad FROM sbtest4 WHERE id=51 |
| 192 | u1 | localhost:60131 | test | Query | 2 | User sleep | SELECT pad FROM sbtest1 WHERE id=51 |
......
使用规则和风险
Concurrency_control 被设计成不产生 BINLOG,所以对于 CCL 的操作只影响当前实例。
对于 DML 的并发控制,可能存在事务锁死锁的情况, 除了 CCL 提供了超时机制,
同时等待中的线程也会响应事务超时和线程 KILL 操作,以应对死锁可能。
阿里云rds mysql 并发_干货 | 浅析RDS MySQL 8.0语句级并发控制-阿里云开发者社区相关推荐
- 增量更新同步_干货 | Debezium实现Mysql到Elasticsearch高效实时同步
点击蓝色"SpringForAll社区"关注我哟 题记 来自Elasticsearch中文社区的问题-- MySQL中表无唯一递增字段,也无唯一递增时间字段,该怎么使用logsta ...
- swoole mysql 并发_如何用Swoole测试MySQL在特定SQL下的并发性能
场景描述 从全文检索或者缓存中获取ID,根据ID查询数据库获取基础信息,进行页面展示 SQL:select * from table where id in(id1,id2,id3...id40) 此 ...
- vb连接云mysql数据库_用vb链接mysql数据库
MySQL字符集不一致的解决办法总结 这阵子忙着把数据库从MS SQL数据库改成MySQL数据库,简直过着非人的生活! 再怎么忙,还是想做做笔记,绝不允许自己把一个错误重犯二次.OK,言归正传... ...
- excel与云mysql连接数据库_小程序读取excel表格数据,并存储到云数据库
最近一直比较忙,答应大家的小程序解析excel一直没有写出来,今天终于忙里偷闲,有机会把这篇文章写出来给大家了. 老规矩先看效果图 效果其实很简单,就是把excel里的数据解析出来,然后存到云数据库里 ...
- 将sql数据导入mysql数据库_将sql导入mysql数据库
MYSQL导入导出.sql文件 MYSQL导入导出.sql文件 一.MYSQL的命令行模式的设置:桌面->我的电脑->属性->环境变量->新建->PATH=": ...
- rds 主从实例_探索Amazon RDS数据库实例和漏洞
Amazon Web Services(AWS)是构成Amazon云计算平台的远程计算服务的集合. 其中两项服务是: Amazon Simple Storage Service(S3),这是一种在线文 ...
- 红帽下安装mysql数据库_[原创]RedHat 安装MySQL数据库
朋友购买了阿里云的服务器,服务器上自带有CentOS操作系统,但是开发软件需要自己安装,接下来将介绍本地RedHat Linux 5.10虚拟机上搭建Mysql数据库. 一.软件准备 (1)jdk-6 ...
- 打开和关闭mysql服务器_启动和关闭MySQL服务器
欢迎进入Linux社区论坛,与200万技术人员互动交流 >>进入 作为MySQL管理员,一个普通的目标就是确保服务器尽可能地处于运行状态,使得客户机能够随时访问它.但是,有时最好关闭服务器 ...
- npm mysql 事务_一文解读MySQL事务
经常提到数据库的事务,那你知道数据库还有事务隔离的说法吗,事务隔离还有隔离级别,那什么是事务隔离,隔离级别又是什么呢?本文就帮大家梳理一下. MySQL 事务 本文所说的 MySQL 事务都是指在 I ...
最新文章
- linux iostat 查看磁盘io利用率
- python文件输出中文_python文件输出
- 云计算机玩大型游戏,云游戏实测点评:大部分都可以顺畅玩耍
- 长安大学第三届ACM-ICPC程序设计竞赛 L题
- 计算机除法和取余在实际运用中的意义
- jquery 事件对象属性小结
- echarts --- 多折线图按段显示颜色规则订制
- android 点击选择文件夹,Android----弹出框选择文件夹目录以及启用新Task打开文件_IT168文库.pdf...
- NLP(paper + code)
- 疑似又一vivoX80新机通过3C质量认证:全系标配80W快充
- MyStringTokenize
- Linux7网卡绑定后mac一样,如何解决双网卡bond0绑定模式物理成员口的mac地址和bonding接口mac地址不一致......
- 怎么把ppt文字大小设置一致_PPT滚动数字原来如此简单
- 1. ELK docker部署
- Hello New World 写在 Conflux 网络 Tethys 上线之际
- 不锈钢常识 - Powered by Discuz!
- 安装使用Eclipse Che
- 计算机与了解Dos指令
- Zero shot learning
- sqlplus set用法
热门文章
- 五个 SQL 查询性能测试题,只有 40% 及格率,你敢来挑战吗?| 原力计划
- 如何使用 Python 构建一个“谷歌搜索”系统? | 内附代码
- 年过20载,超1000万人在用,还说要被淘汰?
- 开发运维已死,无运维万岁
- 微软内核工程师:ReactOS 剽窃了 Windows 研究内核代码!
- 5G 基站为何建得比 4G 多?
- 小姐姐公开征婚高智商 IT 男:微信号竟要质数解密?
- 微信封杀下的互联网江湖
- 支付宝推生物识别;Google 爆重大隐私问题;TensorFlow 2.0 即将发布 | 极客头条
- 隐瞒英特尔重大安全漏洞惹众怒,苹果遭遇集体诉讼