db2关闭下一句sql的日志_MySQL性能管理及架构设计:SQL查询优化、分库分表
作者:唐成勇
来源:https://segmentfault.com/a/1190000013781544
一、SQL查询优化(重要)
1.1 获取有性能问题SQL的三种方式
- 通过用户反馈获取存在性能问题的SQL;
- 通过慢查日志获取存在性能问题的SQL;
- 实时获取存在性能问题的SQL;
1.1.2 慢查日志分析工具
相关配置参数:
slow_query_log # 启动停止记录慢查日志,慢查询日志默认是没有开启的可以在配置文件中开启(on)slow_query_log_file # 指定慢查日志的存储路径及文件,日志存储和数据从存储应该分开存储long_query_time # 指定记录慢查询日志SQL执行时间的阀值默认值为10秒通常,对于一个繁忙的系统来说,改为0.001秒(1毫秒)比较合适log_queries_not_using_indexes #是否记录未使用索引的SQL
常用工具:mysqldumpslow和pt-query-digest
pt-query-digest --explain h=127.0.0.1,u=root,p=p@ssWord slow-mysql.log
1.1.3 实时获取有性能问题的SQL(推荐)
SELECT id,user,host,DB,command,time,state,infoFROM information_schema.processlistWHERE TIME>=60
查询当前服务器执行超过60s的SQL,可以通过脚本周期性的来执行这条SQL,就能查出有问题的SQL。
1.2 SQL的解析预处理及生成执行计划(重要)
1.2.1 查询过程描述(重点!!!)
上图原文连接
通过上图可以清晰的了解到MySql查询执行的大致过程:
- 发送SQL语句。
- 查询缓存,如果命中缓存直接返回结果。
- SQL解析,预处理,再由优化器生成对应的查询执行计划。
- 执行查询,调用存储引擎API获取数据。
- 返回结果。
1.2.2 查询缓存对性能的影响(建议关闭缓存)
第一阶段:相关配置参数:
query_cache_type # 设置查询缓存是否可用query_cache_size # 设置查询缓存的内存大小query_cache_limit # 设置查询缓存可用的存储最大值(加上sql_no_cache可以提高效率)query_cache_wlock_invalidate # 设置数据表被锁后是否返回缓存中的数据query_cache_min_res_unit # 设置查询缓存分配的内存块的最小单
缓存查找是利用对大小写敏感的哈希查找来实现的,Hash查找只能进行全值查找(sql完全一致),如果缓存命中,检查用户权限,如果权限允许,直接返回,查询不被解析,也不会生成查询计划。
在一个读写比较频繁的系统中,建议关闭缓存,因为缓存更新会加锁。将query_cache_type设置为off,query_cache_size设置为0。
1.2.3 第二阶段:MySQL依照执行计划和存储引擎进行交互
这个阶段包括了多个子过程:
一条查询可以有多种查询方式,查询优化器会对每一种查询方式的(存储引擎)统计信息进行比较,找到成本最低的查询方式,这也就是索引不能太多的原因。
1.3 会造成MySQL生成错误的执行计划的原因
1、统计信息不准确
2、成本估算与实际的执行计划成本不同
3、给出的最优执行计划与估计的不同
4、MySQL不考虑并发查询
5、会基于固定规则生成执行计划
6、MySQL不考虑不受其控制的成本,如存储过程,用户自定义函数
1.4 MySQL优化器可优化的SQL类型
查询优化器:对查询进行优化并查询mysql认为的成本最低的执行计划。 为了生成最优的执行计划,查询优化器会对一些查询进行改写
可以优化的sql类型
1、重新定义表的关联顺序;
2、将外连接转换为内连接;
3、使用等价变换规则;
4、优化count(),min(),max();
5、将一个表达式转换为常数;
6、子查询优化;
7、提前终止查询,如发现一个不成立条件(如where id = -1),立即返回一个空结果;
8、对in()条件进行优化;
1.5 查询处理各个阶段所需要的时间
1.5.1 使用profile(目前已经不推荐使用了)
set profiling = 1; #启动profile,这是一个session级的配制执行查询show profiles; # 查询每一个查询所消耗的总时间的信息show profiles for query N; # 查询的每个阶段所消耗的时间
1.5.2 performance_schema是5.5引入的一个性能分析引擎(5.5版本时期开销比较大)
启动监控和历史记录表:use performance_schema
update setup_instruments set enabled='YES',TIME = 'YES' WHERE NAME LIKE 'stage%';update set_consumbers set enabled='YES',TIME = 'YES' WHERE NAME LIKE 'event%';
1.6 特定SQL的查询优化
1.6.1 大表的数据修改
1.6.2 大表的结构修改
- 利用主从复制,先对从服务器进入修改,然后主从切换
- (推荐)
添加一个新表(修改后的结构),老表数据导入新表,老表建立触发器,修改数据同步到新表, 老表加一个排它锁(重命名), 新表重命名, 删除老表。
修改语句这个样子:
alter table sbtest4 modify c varchar(150) not null default ''
利用工具修改:
1.6.3 优化not in 和 <> 查询
子查询改写为关联查询:
二、分库分表
2.1 分库分表的几种方式
分担读负载 可通过 一主多从,升级硬件来解决。
2.1.1 把一个实例中的多个数据库拆分到不同实例(集群)
拆分简单,不允许跨库。但并不能减少写负载。
2.1.2 把一个库中的表分离到不同的数据库中
该方式只能在一定时间内减少写压力。
以上两种方式只能暂时解决读写性能问题。
2.1.3 数据库分片
对一个库中的相关表进行水平拆分到不同实例的数据库中
2.1.3.1 如何选择分区键
- 分区键要能尽可能避免跨分区查询的发生
- 分区键要尽可能使各个分区中的数据平均
2.1.3.2 分片中如何生成全局唯一ID
db2关闭下一句sql的日志_MySQL性能管理及架构设计:SQL查询优化、分库分表相关推荐
- java面试 mysql分库分表_MySQL性能管理及架构设计(三):SQL查询优化、分库分表 - 完结篇...
一.SQL查询优化(重要) 1.1 获取有性能问题SQL的三种方式 通过用户反馈获取存在性能问题的SQL: 通过慢查日志获取存在性能问题的SQL: 实时获取存在性能问题的SQL: 1.1.2 慢查日志 ...
- db2关闭下一句sql的日志_MySQL 用户和权限管理,日志体系简介
一.MySQL用户 1.基础描述 在数据库的使用过程中,用户作为访问数据库的鉴权因素,起到非常重要的作用,安装MySQL时会自动生成一个root用户,作为数据库管理员,拥有所有权限.在多用户的应用场景 ...
- db2关闭下一句sql的日志_分析DB2活动日志满的原因及解决DB2日志满方法与避免方案...
日志使用 下图显示了并发事务条件下,日志使用的示意 有3个并发的程序Process 1.Process 2.Process 3.每一个程序都有两个事务.蓝块代表SQL语句,红块代表commit操作,绿 ...
- db2关闭下一句sql的日志_MySQL查询优化(3)-慢查询开启、日志分析
说明 Mysql的查询讯日志是Mysql提供的一种日志记录,它用来记录在Mysql中响应时间超过阈值的语句 具体指运行时间超过long_query_time值得SQL,则会被记录到慢查询日志中.lon ...
- db2关闭下一句sql的日志_DB2_数据库日志管理
1 . load 方法装入数据: export to tempfile of del select * from tablename where not 清理条件: load from tempfil ...
- 银行背景下分库分表技术选型
业务持续增长带来的单表数据量过大,必然影响到数据库的读写性能,那到底要不要分库分表呢? 阿里巴巴P3C规范给出一个推荐: [推荐]单表行数超过500万行或者单表容量超过2GB,才推荐进行分库分表. 说 ...
- ES的跨索引查询有多便利?对比下分库分表、分片更直观
作者介绍 李猛(ynuosoft),Elastic-stack产品深度用户,ES认证工程师,2012年接触Elasticsearch,对Elastic-Stack开发.架构.运维等方面有深入体验,实践 ...
- 这四种情况下,才是考虑分库分表的时候!
点击上方 好好学java ,选择 星标 公众号重磅资讯.干货,第一时间送达 今日推荐:分享一套基于SpringBoot和Vue的企业级中后台开源项目,这个项目有点哇塞!个人原创100W+访问量博客:点 ...
- springcloud mysql库集群_SpringCloud实现分库分表模式下,数据库实时扩容方案
一.项目结构 1.工程结构 2.模块命名 shard-common-entity: 公共代码块 shard-open-inte: 开放接口管理 shard-eureka-7001: 注册中心 shar ...
最新文章
- 解决win7系统中安装sql server 2005客户端报错问题
- UA MATH564 概率论 计算至少有一个发生的概率:容斥原理与庞加莱公式
- 24小时学通linux视频教程下载
- 【JUC并发编程09】读写锁
- 如何让在JAVA中定义常量池
- POI的入门:概述和创建EXCEL
- matlab谐波仿真代码,matlab的谐波仿真程序基于ip-iq法???怎么出不来图像啊???...
- VueJs学习入门指引
- PHP中静态方法(static)与非静态方法的使用及区别
- Linux网络设置(第二版) --Linux网络设置
- mysql与python的交互
- nginx反向代理模块配置详解_Nginx(三):反向代理负载均衡集群配置详解
- 深度学习在NLP领域的发展之Transformer
- JMockit学习笔记
- 网易公司首席执行官 丁磊
- 水环保网关在湿地保护有什么作用?
- php基础-GD库-批量制作水印图片
- 手机QQ iOS版默认不显示iPhone在线
- 殊途同归的两种角度理解岭回归(内含有sklearn例子)
- 第四章课后习题-用Python实现羊车门问题,最大公约数计算,猜字游戏,统计不同字符个数。
热门文章
- pandas基于列表内容对dataframe数据行进行筛选(isin函数)实战:Filter DataFrame rows on a list of values
- java将输出结果写入csv文件_如何在Java中将数据写入.csv文件?
- html css背景图片精灵技术,HTML入门学习笔记--CSS背景和精灵图(5)
- python 检测文件或文件夹是否存在
- tensorflow-gpu 常用网址
- Decision stump、Bootstraping、bagging、boosting、Random Forest、Gradient Boosting
- 对抗网络用于人脸转正--Beyond Face Rotation
- Linux系统16进制形式查看二进制文件
- 使用React.js开发自己的Chrome插件
- oracle12测试骤,Oracle中SQL语句解析的步骤