mysql多线程查询_MySQL 利用多线程提升查询性能的一种思路

转载自：http://dinglin.iteye.com/blog/1432443

背景

报表统计类的查询是一类耗时的查询。使用场景是QPS并不大，单每个查询由于需要访问较多数据，对大量数据做处理，执行时间较长(通常秒级以上)。

分析

可以将一个大查询分成多个子查询，如果子查询需要访问的数据为整个查询的1/n，则可估计执行时间为1/n。但由于MySQL一个查询只能在单线程中执行，导致即使将一个大查询拆分成多个子查询，多个子查询执行后合并，需要时间为n*1/n=1，仍不能提升其性能。

问题的症结在于只能单线程执行。本方案提供一种引擎Multi-thread-query，让MySQL能够用多线程同时执行多个子查询。由于还要做一点合并工作，整个查询的时间将略大于n个子查询中查询时间最长的一个，即性能接近n倍。

最后一部分举了一个例子，n=3。

方案说明

1、图示

2、用户对MTQ发起查询，MTQ拆分成多个子查询向实体表发起多线程查询。

3、MTQ等待全部线程执行完成后，可以在此基础上执行其他函数操作，如count、avg、group by等。

4、需要修改SQL查询格式，子查询如何拆分，由用户在查询里面指定。

5、适用于每个子查询都是计算量大，返回结果少的情况。(若返回结果越多，合并耗时越大)

举例

以一个统计查询需求为例(数据是构造的，木有神马泄密问题)

一个正常的查询如下：

查询结果：

相同机器上使用MTQ查询语法：

MTQ查询结果：

可以看到，时间从3s减少为1.2s，查询结果相同，查询语句上可以直接做sum、group by操作。

mysql多线程查询_MySQL 利用多线程提升查询性能的一种思路相关推荐

[.net 面向对象程序设计进阶] (18) 多线程(Multithreading)(三) 利用多线程提高程序性能（下）...
[.net 面向对象程序设计进阶] (18) 多线程(Multithreading)(二) 利用多线程提高程序性能(下) 本节导读: 上节说了线程同步中使用线程锁和线程通知的方式来处理资源共享问题,这 ...
提升PHP性能的21种方法
提升PHP性能的21种方法. 1.用单引号来包含字符串要比双引号来包含字符串更快一些.因为PHP会在双引号包围的字符串中搜寻变量,单引号则不会. 2.如果能将类的方法定义成static,就尽量定义成s ...
mysql sql测试_MySQL语句测试——数据查询
MySQL语句测试--数据查询 3.4 数据查询一.单表查询 /*1.选择表中的若干列,各个列的先后顺序和语句中列名从左到右的顺序一致 select 目标表达式 from 表名; */ /*(1)s ...
mysql 新建子查询_Mysql创建SQL子查询ALIAS
通常这些被称为视图.例如: CREATE VIEW vMyLongQuery AS SELECT a, b, c FROM (LONG QUERY) X WHERE ... 然后可以像这样引用: SE ...
mysql insert慢_MySQL insert语句慢查询的优化
近期发现MySQL slow log 里面有很多慢查询,而分析慢查询日志发现大量的慢查询是insert语句的.在高峰期(早上10点左右)半小时的慢查询量可以到28G左右.遂决定优化优化方法: 1. ...
mysql 连接分组_MySQL 基础 (四) 分组查询及连接查询
MySQL 基础 (四) 分组查询及连接查询 MySQL 基础(四) 进阶 5 分组查询语法: SELECT 分组函数, 列(要求出现在 group by 的后面) FROM 表 [where 筛选 ...
mysql关联表分页查询_MySQL一对多分页查询-主表关联表条件查询问题
文章目录 1 摘要 2 情景复现 2.1 数据模型 2.2 核心代码 2.3 测试数据 2.4 拓展一点 1 摘要分页查询是后台项目中最常见的一种操作,在一对多(one to many)的关系表中, ...
mysql结果作为另一次查询_MySql中一次查询结果用作二次查询条件
Sql的截取关联查询最近在写sql时,碰到了如下情况, 需求是通过一个账户的id去查询关联的该账户下的所有简历,其中地址字段要通过另一个表进行关联查询.地址字段存的是地址表中对应的编号. 例如210 ...
mysql 多表中间表查询_mysql多表连接查询
新建两张表: 表1:student 截图如下: 表2:course 截图如下: (此时这样建表只是为了演示连接SQL语句,当然实际开发中我们不会这样建表,实际开发中这两个表会有自己不同的主键.) ...

mysql多线程查询_MySQL 利用多线程提升查询性能的一种思路

mysql多线程查询_MySQL 利用多线程提升查询性能的一种思路相关推荐

最新文章

热门文章