QueryCache(下面简称QC)是根据SQL语句来cache的。一个SQL查询如果以select开头,那么MySQL服务器将尝试对其使 用QC。每个Cache都是以SQL文本作为key来存的。在应用QC之前,SQL文本不会被作任何处理。也就是说,两个SQL语句,只要相差哪怕是一个 字符(例如大小写不一样;多一个空格等),那么这两个SQL将使用不同的一个CACHE。

不过SQL文本有可能会被客户端做一些处理。例如在官方的命令行客户端里,在发送SQL给服务器之前,会做如下处理:

过滤所有注释

去掉SQL文本前後的空格,TAB等字符。注意,是文本前面和後面的。中间的不会被去掉。

下面的三条SQL里,因 为SELECT大小写的关系,最後一条和其他两条在QC里肯定是用的不一样的存储位置。而第一条和第二条,区别在于後者有个注释,在不同客户端,会有不一 样的结果。所以,保险起见,请尽量不要使用动态的注释。在PHP的mysql扩展里,SQL的注释是不会被去掉的。也就是三条SQL会被存储在三个不同的 缓存里,虽然它们的结果都是一样的。

select * FROM people where name='surfchen';

select * FROM people where /*hey~*/name='surfchen';

SELECT * FROM people where name='surfchen';

目前只有select语句会被cache,其他类似show,use的语句则不会被cache。

因为QC是如此前端,如此简单的一个缓存系统,所以如果一个表被更新,那么和这个表相关的SQL的所有QC都会被失效。假设一个联合查询里涉及到了表A和表B,如果表A或者表B的其中一个被更新(update或者delete),这个查询的QC将会失效。

也就是说,如果一个表被频繁更新,那么就要考虑清楚究竟是否应该对相关的一些SQL进行QC了。一个被频繁更新的表如果被应用了QC,可能会加重数 据库的负担,而不是减轻负担。我一般的做法是默认打开QC,而对一些涉及频繁更新的表的SQL语句加上SQL_NO_CACHE关键词来对其禁用 CACHE。这样可以尽可能避免不必要的内存操作,尽可能保持内存的连续性。

那些查询很分散的SQL语句,也不应该使用QC。例如用来查询用户和密码的语句——“select pass from user where name='surfchen'”。这样的语句,在一个系统里,很有可能只在一个用户登陆的时候被使用。每个用户的登陆所用到的查询,都是不一样的SQL 文本,QC在这里就几乎不起作用了,因为缓存的数据几乎是不会被用到的,它们只会在内存里占地方。

存储块

在本节里“存储块”和“block”是同一个意思

QC缓存一个查询结果的时候,一般情况下不是一次性地分配足够多的内存来缓存结果的。而是在查询结果获得的过程中,逐块存储。当一个存储块被填满之 後,一个新的存储块将会被创建,并分配内存(allocate)。单个存储块的内存分配大小通过query_cache_min_res_unit参数控 制,默认为4KB。最後一个存储块,如果不能被全部利用,那么没使用的内存将会被释放。如果被缓存的结果很大,那么会可能会导致分配内存操作太频繁,系统 系能也随之下降;而如果被缓存的结果都很小,那么可能会导致内存碎片过多,这些碎片如果太小,就很有可能不能再被分配使用。

除了查询结果需要存储块之外,每个SQL文本也需要一个存储块,而涉及到的表也需要一个存储块(表的存储块是所有线程共享的,每个表只需要一个存储 块)。存储块总数量=查询结果数量*2+涉及的数据库表数量。也就是说,第一个缓存生成的时候,至少需要三个存储块:表信息存储块,SQL文本存储块,查 询结果存储块。而第二个查询如果用的是同一个表,那么最少只需要两个存储块:SQL文本存储块,查询结果存储块。

通过观察Qcache_queries_in_cache和Qcache_total_blocks可以知道平均每个缓存结果占用的存储块。它们的 比例如果接近1:2,则说明当前的query_cache_min_res_unit参数已经足够大了。如果Qcache_total_blocks比 Qcache_queries_in_cache多很多,则需要增加query_cache_min_res_unit的大小。

Qcache_queries_in_cache*query_cache_min_res_unit(sql文本和表信息所在的block占用的 内存很小,可以忽略)如果远远大于query_cache_size-Qcache_free_memory,那么可以尝试减小 query_cache_min_res_unit的值。

调整大小

如果Qcache_lowmem_prunes增长迅速,意味着很多缓存因为内存不够而被释放,而不是因为相关表被更新。尝试加大query_cache_size,尽量使Qcache_lowmem_prunes零增长。

启动参数

show variables like 'query_cache%'可以看到这些信息。

query_cache_limit

如果单个查询结果大于这个值,则不Cache

query_cache_size

分 配给QC的内存。如果设为0,则相当于禁用QC。要注意QC必须使用大约40KB来存储它的结构,如果设定小于40KB,则相当于禁用QC。QC存储的最 小单位是1024 byte,所以如果你设定了一个不是1024的倍数的值,这个值会被四舍五入到最接近当前值的等于1024的倍数的值。

query_cache_type

0 完全禁止QC,不受SQL语句控制(另外可能要注意的是,即使这里禁用,上面一个参数所设定的内存大小还是会被分配);1启用QC,可以在SQL语句使用SQL_NO_CACHE禁用;2可以在SQL语句使用SQL_CACHE启用。

query_cache_min_res_unit

每次给QC结果分配内存的大小

状态

show status like 'Qcache%'可以看到这些信息。

Qcache_free_blocks

当一个表被更新之後,和它相关的cache blocks将被free。但是这个block依然可能存在队列中,除非是在队列的尾部。这些blocks将会被统计到这个值来。可以用FLUSH QUERY CACHE语句来清空free blocks。

Qcache_free_memory

可用内存,如果很小,考虑增加query_cache_size

Qcache_hits

自mysql进程启动起,cache的命中数量

Qcache_inserts

自mysql进程启动起,被增加进QC的数量

Qcache_lowmem_prunes

由于内存过少而导致QC被删除的条数。加大query_cache_size,尽可能保持这个值0增长。

Qcache_not_cached

自mysql进程启动起,没有被cache的只读查询数量(包括select,show,use,desc等)

Qcache_queries_in_cache

当前被cache的SQL数量

Qcache_total_blocks

在 QC中的blocks数。一个query可能被多个blocks存储,而这几个blocks中的最後一个,未用满的内存将会被释放掉。例如一个QC结果要 占6KB内存,如果query_cache_min_res_unit是4KB,则最後将会生成3个blocks,第一个block用来存储sql语句文 本,这个不会被统计到query+cache_size里,第二个block为4KB,第三个block为2KB(先allocate4KB,然後释放多 馀的2KB)。每个表,当第一个和它有关的SQL查询被CACHE的时候,会使用一个block来存储表信息。也就是说,block会被用在三处地方:表 信息,SQL文本,查询结果。

排序缓冲

当一个查询需要对结果进行排序的时候,MySQL会分配一定的内存用来排序。这个内存大小由sort_buffer_size来控制。记得,这个参数是针对每个查询的,而不是所有查询总共可分配的量。

如果sort_buffer_size不够大,排序的结果将会被分段写入临时文件里。每次结束之後再把文件中的排序结果拿出来合并,进行再次排序, 直到得出最後结果。sort_buffer_size越小,合并的次数就越多。合并次数可以通过状态变量Sort_merge_passes获得。理论 上,Sort_merge_passes越小,排序越快。但是在实际应用中可能并非如此。sort_buffer_size如何设置需要根据实际运行环境 来进行测试。如果实在不知道如何测试,那么就设到使Sort_merge_passes为0吧。

read_buffer_size read_rnd_buffer_size join_buffer_size thread_cache

字段选择

从二进制角度考虑

select col1,col2 from table PROCEDURE ANALYSE();,这条语句可以根据当前表的内容来给出一个字段类型的推荐。

MyISAM

key_buffer_size

CACHE INDEX Syntax

innodb

innodb_buffer_pool_size

这是和innodb有关的最重要的一个参数。这个参数指定了innodb缓存池的大小。这个缓存池被用来存储

innodb_file_per_table innodb_additional_mem_pool_size=80M innodb_log_file_size=1G innodb_log_buffer_size=16M innodb_flush_method=O_DIRECT

(max_connections * (sort_buffer_size + read_buffer_size + read_rnd_buffer_size + join_buffer_size)) + key_buffer + innodb_bufer_pool_size + query_cache + tmp_table_size

系统相关

linux:

echo -n 0 >/proc/sys/vm/swappiness

huge page

memlock

优化工具

mysqltuner

mysql的query cache_MySQL 缓存 Query Cache相关推荐

  1. MySQL与Oracle主键Query性能测试结果

    MySQL与Oracle主键Query性能测试结果 From:DBA同事的测试结果 为了让大家更详细的了解Oracle和MySQL的差异和适用场景,为数据库选型提供帮助,我们对MySQL和Oracle ...

  2. 5、MySQL通用查询日志(General Query Log)

    通用查询日志(General Query Log)用来记录用户的所有操作,包括启动和关闭 MySQL 服务.更新语句和查询语句等. 默认情况下,通用查询日志功能是关闭的.可以通过以下命令查看通用查询日 ...

  3. com.mysql.jdbc.PacketTooBigException: Packet for query is too large

    一.异常信息 com.mysql.jdbc.PacketTooBigException: Packet for query is too large 二.原因 查询出的数据包过大,默认情况下mysql ...

  4. MYSQL监控-自带工具Query Profiler的使用

    2019独角兽企业重金招聘Python工程师标准>>> Query Profiler是MYSQL自带的一种query诊断分析工具,通过它可以分析出一条SQL语句的性能瓶颈在什么地方. ...

  5. 解决 mysql>com.mysql.jdbc.PacketTooBigException: Packet for query is too large (12073681 > 4194304)

    com.mysql.jdbc.PacketTooBigException: Packet for query is too large 异常解决办法: 原因: 查询出的数据包过大,默认情况下mysql ...

  6. MySQL报错 Packet for query is too large,server向mysql发送的数据包大小超过mysql限制

    mysql错误提示 Packet for query is too large (3718 > 1024). You can change this value on the server by ...

  7. Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Query was empty

    1 错误描写叙述 at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(Invocable ...

  8. Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (1696 1024)

    Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (1696 > 1024). You ...

  9. com.mysql.jdbc.PacketTooBigException: Packet for query is too large 异常解决办法

    com.mysql.jdbc.PacketTooBigException: Packet for query is too large 异常解决办法: 原因: 查询出的数据包过大,默认情况下mysql ...

最新文章

  1. GNN 系列(三):GraphSAGE
  2. Selenium 爬虫时遇到的问题 Selenium message:session not created
  3. 只遍历出JScript对象的expando属性
  4. PHP学习笔记-字符串操作1
  5. 每日一皮:你偷偷藏私房钱时被老婆发现的样子...
  6. matlab 高斯一阶导,将Matlab高斯导数转换为Opencv
  7. mssql php 5.4,PHP5.4如何连接MSSql Server2005
  8. 期货市场技术分析02_趋势的基本概念
  9. linux64位版本 小米球内网穿透后台启动 centos8 安装 screen 报错:No match for argument: screen
  10. 骁龙888打开“新象限” ,专业相机和游戏机直呼不讲武德
  11. 中职计算机ps公开课教案,Photoshop教案(公开课).doc
  12. VS QT进行相机镜头控制软件二次开发
  13. 关于wkhtmltopdf生成pdf空白
  14. 【渝粤教育】电大中专计算机网络基础 (2)作业 题库
  15. EtherCAT从站调试测试
  16. 【数据湖Hudi的概念】Table Types、Indexing和Metadata Table
  17. selenium 与浏览器 以及浏览器驱动版本问题
  18. 仿微信朋友圈图片预览自定义View
  19. 拼音输入法,提高码字效率
  20. PMP新考纲 敏捷题目 (三)

热门文章

  1. Python:glob模块
  2. 7-1 作业调度算法--先来先服务
  3. [密码学] 离散对数比特安全性
  4. linux kernel中的wait_for_completion和complete总结
  5. [Zer0pts2020]ROR
  6. 【攻防世界008】answer_to_everything
  7. 【Win32汇编】__declspec(naked)裸函数
  8. [WUSTCTF2020]level3
  9. notsequence 寒假逆向生涯(9/100)
  10. 服务器指纹识别之 DNS TXT