作者介绍

赵全文

就职于太极计算机股份有限公司,在中央电化教育馆做Oracle DBA的驻场运维工作。具有3年左右的Oracle工作经验,目前擅长Oracle数据库的SQL脚本编写、故障诊断和性能优化,并且乐于分享Oracle技术。

‍‍‍‍‍‍‍‍‍‍‍‍‍‍一般在DBLINK的SQL语句中,将调用远程表的in-line view结果集返回的数据尽量减少,进而达到通过网络传输的数据减少的目的,而且也不会将数据传输的资源消耗在大量的网络等待事件上。在Oracle中这样的等待事件是:SQL*Net message from DBLINK

正巧,前段时间我们的Oracle生产库正好也碰到了这样的几条类似的SQL。所以,今天向大家分享一下,一次针对Oracle中使用DBLINK的SQL语句的优化思路分析过程。

发现问题

首先从EMCC监控上,发现一条SQL语句执行好长时间没有执行完毕。

问题解析(一)

根据其SQL_ID的值抓取出的SQL完整语句如下所示:

发现上面的SQL语句里有一个绑定变量":1"。

通过视图v$sql_bind_capture(或者dba_hist_sqlbind)进行查看具体的值。

或者也可以用SQLT(全称SQLTXPLAIN,关于SQLT的下载、安装和使用,请看Oracle MOS 215187.1)生成分析SQL_ID为83gn36c1fu9dw的报告,从报告中找出绑定变量”:1”具体的值(可能有很多),由于我的数据库服务器上已经部署了SQLT,生成报告的过程这里略过,查看绑定变量值的过程如下图所示。

然后,将上面查出的值”ff80808141c605e20141c9691f5a000c”带入原始的SQL语句并在SQL*Plus里执行,运行5分26秒才显示查询结果。可想而知,在当前的高并发情况下,这样的一条SQL语句花很长时间执行不完也就不足为奇了,整个过程如下图所示。

分析整个SQL语句的结构

其中最外层的SELECT是一个ROWNUM操作,也就是取内层结果集并返回前5行;

再往里的一层完全可以去掉,(这个我经过测试是可行的);

再往里看的一层就是内联视图r (查询远程表sd_res_id_case返回的结果集)与本地表t进行左联接;

最终返回整个查询结果。

大家仔细看一下那个内联视图r,你会发现里面还有一个子查询(就是and rowid in下面的那层)。

生成带统计信息的执行计划,如下图所示:

看第3步的NESTED LOOPS,Starts*E-Rows=1*2=2,而A-Rows=926K,我们说Starts*E-Rows的值和A-Rows的值应该相等或者相差不多,再看第8行的REMOTE,Starts*E-Rows=926K*3,A-Rows=5,这两个值也相差很大。而且这个REMOTE的Starts是926K,这说明要执行这么多次,这个太消耗资源而且还是在远程库的表上。

接下来,在执行计划后面的”Remote SQL Information”中可以看出有两个REMOTE操作,也就是说这条SQL语句的内联视图r并不是整体从远程表上查询出结果再返回到本地库,而是先执行第5步,再执行第8步,总共查询了两次远程表。

那么试想一下看能不能让远程表只查询一次,也就是让内联视图r只执行一次就返回远程表sd_res_id_case的查询结果?

结果当然是可以的,用一个no_merge的Hint放在内联视图r的第一个select 之后,更改之后是下面这样的:

竟然发现大约7秒就查询出结果,如下图所示,

接着,查看附加统计信息的执行计划。

最主要的是,执行时间大大降低,而且在执行计划里只有一个REMOTE操作,第二步变成了HASH JOIN操作(原先的执行计划是NESTED LOOPS),估计行和返回行都是5。

接下来再看第5行的VIEW操作,执行1次,估行行为5754,实际行为66165,这个相差10倍左右,估计还有优化的空间。

远程库上查看内联视图r的数据量

由于远程表的执行计划在本地库上无法查看,那么我们到远程库上查询一下原SQL语句的内联视图r,看看到底有多少数据。

在远程库上做如下操作。

竟然返回196372(约196K)行,这个值高的超乎我想象。

查看带统计信息的执行计划,如下图所示,

第2行的”NESTED LOOPS”操作实际返回行196K,也就是SQL语句中的最外层select count(*)操作;

第7行的”TABLE ACCESS BY USER ROWID”操作也是实际返回行196K(仔细看,Starts的值为196K,也就是执行196K次,这个好恐怖),第7行的操作就是子查询”select min(rowid) from ……”。

这样看来SQL语句的外层select有多少行,里面的子查询就执行多少次,而现在的外层select是196K行,然后呢,196K*196K = ?我都不敢想……

总体上看,加一个no_merge的Hint,先是让SQL的执行时间与原先相比降低了好多。

于是,我和开发同事进行沟通,我才明白SQL是应用服务器里跑的一个定时任务,每天凌晨4点开始执行,最后他给程序里的SQL增加no_merge的Hint。

问题解析(二)

第二天,我用视图v$active_session_history查看凌晨4点到6点的DBLINK等待事件。

从上面的查询,我们可以看出,有两条SQL的DBLINK等待事件总数多的离谱。其实另外一条SQL和我前面分析的那条唯一的区别就是在select最外层又加了一个ROWNUM <= ":2" 的条件,目前我们只分析原先的那条。

那么,再查询6点到7点的情况,已经没有DBLINK的等待事件,说明那些相关的SQL执行完毕,如下图所示。

另外,我们从AWR的对比报告中也可以看出上面的查询结果(AWR是从视图DBA_HIST_ACTIVE_SESS_HISTORY中读取相关信息)。

从上面的AWR图中我们还可以看出那两条SQL的执行次数分别为3106和3039。

从前面的执行计划分析,我们了解到SQL主要慢在内联视图r的返回行很多,那么继续优化就是要改写内联视图。

首先,将内联视图r的外层select查询中增加和内层select查询中同样的where条件,这样就能过滤掉许多行,同时将两层select查询中的school_id字段进行关联,如下图所示。

然而只需4毫秒就显示查询结果,带统计信息的执行计划如下图所示,

接下来,我和开发同事进行了沟通并把我改写后的SQL发给他,他测试运行和原先SQL相比,也认为在运行时间上差了一个数量级。后来,他根据业务的需求改写了原来的SQL,整个改写后的SQL语句如下图所示。

查看带统计信息的执行计划,如下图所示。

通过上面的执行计划,大家可以看出Starts、E-Rows、A-Rows的值都变得很小了,A-Time的值为1~2毫秒。

第三天,再次查看相应时间段的DBLINK等待事件总数,发现与原来相比已经降低了很多。

再查看SQL_ID为a50rh3659p44q的SQL在相应对间段的执行次数,见下图。

同样的,从下面折AWR报告中也能看出和上面的查询一样的效果。

总结

最后对使用DBLINK的SQL优化过程总结:

(1) 从EMCC监控上抓取有问题的SQL;

(2) 通过给SQL增加gather_plan_statistics的Hint通过实际运行测试;

(3) 生成相应的行源执行计划并分析哪一步操作最消耗时间;

(4) 找出对应的方法(并不一定是改写,这个根据具体情况而定),再次进行测试;

(5) 与开发人员沟通,并重新审核修改SQL代码。(若无需更改代码的优化,那就再好不过了)

相关文献参考:

https://community.oracle.com/thread/4083373

https://community.oracle.com/thread/4100882

特别鸣谢(排名不分先后):

Jonathan Lewis,

Andrew Sayer,

Billy~Verreynne,

BEDE,

Manik,

perfdba,

Paulzip,

Mustafa KALAYCI,

Cookiemonster76,

Sven W.,

padders

等国外Oracle的技术专家们,是他们在Oracle Developer Community(https://community.oracle.com/welcome)上针对我的发贴提问给予了细心的指导。

相关阅读:

DBLINK分布式事务失败又遭遇RAC热点块争用

利用SHELL脚本来验证Oracle数据库RMAN备份集的有效性

SQL语句中常量的处理及性能差异解析

Oracle JDBC中的语句缓存


资源下载

关注公众号:数据和云(OraNews)回复关键字获取

‘2017DTC’,2017DTC大会PPT

‘DBALIFE’,“DBA的一天”海报

‘DBA04’,DBA手记4经典篇章电子书

‘RACV1’, RAC系列课程视频及ppt

‘122ARCH’,Oracle 12.2体系结构图

‘2017OOW’,Oracle OpenWorld资料

‘PRELECTION’,大讲堂讲师课程资料

经典案例:如何优化Oracle使用DBlink的SQL语句相关推荐

  1. 视频教程-Oracle数据库开发技巧与经典案例讲解一-Oracle

    Oracle数据库开发技巧与经典案例讲解一 Oracle DBA,熟悉Unix操作系统,精通Oracle数据库. 曾任职某大型金融IT公司,负责银行领域数据库构建与运维,维护大量银行数据库系统.目前在 ...

  2. oracle将千万行查询优化到一秒内,oracle下一条SQL语句的优化过程(比较详细)

    oracle下一条SQL语句的优化过程(比较详细) 更新时间:2010年04月14日 23:56:49   作者: 很简单的一次调整,语句加了适当的索引后性能就有大幅的提升.当时看到这条语句的时候,第 ...

  3. mysql高效sql语句_高效SQL优化 非常好用的SQL语句优化34条

    高效SQL优化 非常好用的SQL语句优化34条 相关软件相关文章发表评论 来源:2011/2/13 9:38:43字体大小: 作者:佚名点击:576次评论:0次标签: 类型:电子教程大小:8.5M语言 ...

  4. oracle 查看用户日志,Oracle查看用户操作sql语句以及数据库日志

    --查看日志文件 select member from v$logfile; --查看表空间使用情况 SELECT SUM(bytes) / (1024 * 1024) AS free_space, ...

  5. oracle笔记一(sql语句方面)

    oracle笔记一(sql语句方面) 一.sql语句 --================================================ 1.增加主键    alter table ...

  6. oracle insert汉字出错,Oracle数据库之Oracle批量插入数据SQL语句太长出错:无效的主机/绑定变量名...

    本文主要向大家介绍了Oracle数据库之Oracle批量插入数据SQL语句太长出错:无效的主机/绑定变量名,通过具体的内容向大家展现,希望对大家学习Oracle数据库有所帮助. Oracle数据库,用 ...

  7. oracle 最近的sql语句,oracle最近执行的sql语句

    oracle最近执行的sql语句 2017-01-13 oracle 查询最近执行过的 SQL语句 1.修改日期显示格式 alter session set nls_date_format='YYYY ...

  8. 查询Oracle正在执行的sql语句

    --查询Oracle正在执行的sql语句及执行该语句的用户 [sql] view plaincopy SELECT b.sid oracleID, b.username 登录Oracle用户名, b. ...

  9. 查询Oracle正在执行的sql语句,锁表,解锁

    原文出处:http://blog.csdn.net/jlds123/article/details/6572559 ----------------------- --查询Oracle正在执行的sql ...

最新文章

  1. 《构建高可用Linux服务器 第3版》—— 1.4 Linux服务器的日志管理
  2. 哈佛揪出「熬夜猝死」元凶:问题不在大脑在肠道 | Cell
  3. 自动驾驶前沿报告!解密六大关键技术,全球人才分布
  4. 一句话后门中eval和assert的区别
  5. 20175221 MyCP(课下作业,必做)
  6. where 1=1低效?
  7. LeetCode 题 - 28. 实现strStr() python实现
  8. 将整个表单设置为只读_如何将Git的界面语言设置为中文?
  9. U盘插入电脑后,提示需要格式化U盘如何解决?
  10. unix和linux命令_Linux / Unix系统中SSH命令的用法
  11. 6.1行为型模式--模板方法模式
  12. php gd2扩展_PHP如何打开gd2扩展库
  13. 什么是网络安全网格?
  14. iphone java模拟器_【Mac + Appium + Java1.8学习(三)】之IOS自动化环境安装配置以及简单测试用例编写(模拟器、真机)...
  15. 分类预测 | Matlab实现SSA-SVM麻雀算法优化支持向量机多特征分类预测
  16. 结构方程模型中的R方改变量怎么求?
  17. Python20190206 解不定方程并绘制散点图标记解
  18. python 多线程 XKCD 下载程序
  19. 数据驱动VR流体仿真技能
  20. android为什么会用流量,手机流量为什么会偷跑?

热门文章

  1. 对等通信_新的通信技术如何影响对等参与
  2. 第八章 丹药吃坏人了
  3. Linux强行取消挂载
  4. Bootstrap按钮支持的元素
  5. Bootstrap 状态切换
  6. CSS 文本转换 text-transform属性
  7. 深度学习笔记(34) 目标检测
  8. mysql 导入dmp_mysql导入导出sql文件
  9. python2 md5库_python版本坑:md5例子(python2与python3中md5区别)
  10. channelfuture怎么拿到数据_SpringBoot2.x系列教程66--Spring Boot整合分布式事务之数据库事务回顾