前言

  性能优化是数据库运维人员和中、高级软件开发人员的必备技能,很多时候老司机和新司机的区别就在写出的东西是否优化。

  博主接触过近千家客户的系统,这些系统都存在着各种各样的性能问题。那么如何透彻的了解我们的数据库性能问题?今天就用一个案例来说明性能优化的那点儿事儿。

  PS:很多技术人员对优化有一套自己的理解,在阅读本文前请放下你自己的理解。

  正所谓:跟着博主不迷路,博主带你上高速!

  点开案例跟着博主的思路看看优化这些事儿 : 本文案例Demo

  

了解系统环境

  优化首先要知道数据库在一个什么样的硬件/软件环境下运行?配置是怎么样的?内存、CPU这些是否能完全被应用?数据库体量多大?

  首先我们先看一下系统的配置:

  软件层面,我们要知道我们的操作系统版本,SQL Server版本,以及对应版本的硬件限制(如32位系统不开AWE无法使用超过4G内存、server 2008 标准版最大支持32G内存等)


  本例中我们可以看出,系统环境没有异常问题,SQL Server的补丁不是最新的,CPU资源不充足,可能CPU会成为系统的瓶颈。

全局层面看性能

  全局层面看问题主要指综合服务器的各种指标表象定位系统的瓶颈或问题,在性能优化中最忌讳的就是看到一个指标马上就下手,针对一个指标的判断是盲目的,很可能使问题偏离本身的根本原因,也可能使优化根本无法解决根本问题而只是表象得到了缓解。

 

性能计数器

  CPU:在大量时间内CPU的使用率达到100%,说明CPU已经成为瓶颈。

  

  内存:内存计数器生命周期在11点时已经降到0,惰性写入器也彪高,说明内存也存在压力,而且比较严重。

  

  磁盘:磁盘的平均队列很高(一般系统最佳情况队列应该低于2),并且读队列和写队列都很高。由于内存存在压力,所以现在无法判断磁盘的压力是由于内存不足引起的还是磁盘速度不能满足需要。

  

  其他计数器:

  可以看到系统中全表扫面的次数比较多,这表明很多查询没有应用索引。

  

  系统在11点左右和11点24左右发生大量锁等待,并且等待时间很长(超过150s)

  通过很多类计数器能综合看出系统的问题。这里不一一细说了

  

 

系统等待

  等待是另一个可以全局层面看系统的指标,系统运行的卡慢问题很大部分是因为等待而引起的,那么等待的类型也是可以很直观的反映出系统的问题。

  几个主要等待:  

  ASNC_NETWORK_IO:一般反应出有部分查询可能返回大量数据,请加查具体的等待语句是否需要返回如此多的数据。

  WAITFOR :可能是配置了CDC发布订阅或程序中使用了语句waitfor delay

  CXPACKET:CPU的调度等待。

  LCK_M_U :更新语句之间的语句阻塞。

  WRITELOG:说明程序中有循环的插入跟新操作而频繁的写入日志,磁盘速度不能满足写入频率而造成。

  

 

综合分析

  综合系统等待和性能计数器,我们基本可以判定出来系统存在以下问题:

  系统的CPU、内存、磁盘均存在较大的压力,尤其CPU负荷接近100%,系统中存在大量表扫面可能缺失比多索引。系统中有的语句可能要返回大量的不必要数据,系统锁情况严重,等待时间很长,语句执行时间也必然很长。

  语句执行的整体情况:由于上述的问题影响,那么系统中必然存在大量的长时间语句!

  

解决问题

  问题的定义是很重要的一步,从全局的多项指标综合分析,让所有问题无所遁形。定位问题后我们先来看一下解决这些问题的基本步骤。

  本案例是自己模拟的一个情况,所以虽然在表象上来看资源压力很大,但实际在运行的语句不多,场景也有限,但在生产系统如果存在这样的表象,那么说明你的系统性能问题非常严重急需一次详细的优化了。

  那么下面也介绍一下生产系统遇到这样的问题应该怎么优化,有哪些必要的步骤。

步骤一 针对系统问题对数据库进行全面的优化,提升整体效率

  很多人优化可能直奔语句,认为语句就可以解决性能的所有问题,其实这样的观点是不全面的,系统的配置,数据库的配置,索引的规划等都是解决性能的必要步骤。

  例如:系统中的语句都是最佳的,数据库运行还是很慢,可能就是因为你的CHECKDB配置的问题,也有可能因为你自动收缩没有关闭而导致的性能问题。

优化操作系统配置

  针对服务器进行配置检查,查看是否有配置不合理或可以优化的配置项,比如是否配置了虚拟内存?服务器层面是否限制的资源使用?服务器是否高性能模式运行?

优化数据库层面的配置

  针对数据库参数进行合理配置使硬件充分发挥硬件功能,优化不合理配置,降低对数据库造成冲击的可能性。比如:最大并行度?最大内存?

  

是否大量缺失索引

  大量索引缺失必然导致语句性能不佳,并且消耗大量的系统资源,很可能就会造成上面服务器高压力的表象

  

删除无用索引

  针对数据库中无用的索引进行删除。提升更新操作的时间。

删除重复索引

  针对数据库中重复的索引进行删除。提升更新操作的时间。

  

对重点语句建索引

  针对系统中消耗大的语句或执行次数多的语句进行分析,评估语句性能问题,并建立合适的索引提,降低语句的资源消耗,升语句运行效率。

解决阻塞

  解决语句间的阻塞,这需要分析语句的阻塞链,到底语句被什么样的操作阻塞了,为什么会阻塞?

  很多新手经常问的问题:为什么我有的时候查很快有的时候查就很慢? 答:大多数情况就是你的语句被阻塞了。

  

优化TempDB

  针对TempDB调优,减少TempDB资源争用导致的压力。本例中可以死看到有TempDB的争用等待,所以对TempDB的优化也是必要的。

优化日志碎片

  针对日志增大,带来的日志碎片问题进行优化。

清除索引碎片

  检查系统的索引维护情况,并针对碎片过大的表进行碎片清除操作。主要体现在系统中有老化的索引,索引的老化导致索引的性能不高或失效。

一阶段预期效果

  一阶段的优化是对性能的整体提升,性能提升也会很明显,针对不同系统提升一般在2-3倍。

步骤二 处理热点问题

  处理热点问题主要是在阶段一的基本优化后针对重点的语句进行调优,可能包含创建索引,修改写法,查询提示,计划向导等等。

  在语句调优中请主要关注:是否有缺失索引,是否存在隐式转换,语句的执行时间、CPU、逻辑读写量、物理读写量、占用TempDB空间等信息。

  例:这样一条语句经过第一阶段的优化并没有太大的提升,而且资源消耗依然很大,那么我们可以针对这条语句进行详细的二阶段优化。

 
 

简单的优化一下

   

  只是简单的改了下语句的写法时间有7秒变成1秒,内存消耗从300+MB 变成 1MB

二阶段预期效果

阶段二的优化属于细致的优化步骤,要针对更为具体的语句、具体的情况。经过本阶段优化可以使系统中大部分语句从写法、配置、运行指标都趋于优化值。

步骤三 针对业务

  这个步骤需要配合开发人员,到底哪些功能依然慢?执行了哪些语句?是领导用的功能?还是一般可以慢的功能?如果大领导用的功能,那可能你就需要多花些心思了。这部分这里就不展开说了。

三阶段预期效果

第三阶段属于最细致的阶段,可以结合业务真正点对点的消灭系统中存在问题。

导图

  针对性能优化奉上几个图希望能帮助数据库从业者梳理一下优化的思路(个人思路仅供参考,不完善的地方也请见谅)

  

CPU:

  

  内存:

  

  磁盘:

  

  等待:

  

总结

  在性能优化中最忌讳的就是看到一个指标马上就下手,针对一个指标的判断是盲目的,很可能使问题偏离本身的根本原因,也可能使优化根本无法解决根本问题而只是表象得到了缓解。

  本文只是通过一个例子简述一下优化的基本思路,希望帮助更多数据库从业者,了解性能优化。

  本文只阐述了思路,具体的各部分解决方式请参见我的系列文章:SQL SERVER全面优化-------Expert for SQL Server 诊断系列

  性能的调优是一个持续性的工作,不是一次解决了问题以后就可以高枕无忧了,定期的巡检也是数据库从业者必要的工作之一,做到及早发现及早解决。

  巡检系列文章请参见:轻松精通数据库管理之道——运维巡检系列

----------------------------------------------------------------------------------------------------

注:此文章为原创,欢迎转载,请在文章页面明显位置给出此文链接!
若您觉得这篇文章还不错请点击下右下角的推荐,非常感谢!

转载于:https://www.cnblogs.com/double-K/p/6145406.html

30分钟带你熟练性能优化的那点儿事儿(案例说明)相关推荐

  1. Keil MDK 5.30来了,编译性能优化,快速入门Cortex-M55

    关注.星标公众号,不错过精彩内容 素材来源:Arm Keil 编辑整理:strongerHuang 早在ARM推出Cortex-M55内核的时候,就放出来一些关于Keil MDK V5.30的消息:C ...

  2. 一张图30分钟带你入门python-我,30分钟,P了100张图,秒杀全公司同事

    原标题:我,30分钟,P了100张图,秒杀全公司同事 今天,想为大家推荐一款超惊艳的工具,可以让每一个设计汪,瞬间找到人生开挂的感觉! 在这之前,先跟为大家分享个真实的故事. "这感觉真是太 ...

  3. 亿级PV,常见性能优化策略总结与真实案例

    作者:晓明 来自:美团技术团队 0 题记 美团网是国内最大的O2O服务平台,虽然经常面临高并发.大流量等问题,但在用户体验优化上美团APP仍被众多IT同行所推崇,他们在性能优化方面积累的宝贵经验尤其值 ...

  4. 【前端知识点】promise简书-30分钟带你搞懂promise面试必备

    前言 写作初衷 本书的目的是以目前还在制定中的ECMAScript 6 Promises规范为中心,着重向各位读者介绍JavaScript中对Promise相关技术的支持情况. 通过阅读本书,我们希望 ...

  5. 30分钟带你入门Oracle

    ps:关键字和语法用红色字体标明,代码用蓝色字体标明 一.一些定义 1.数据类型 字符数据类型       char  固定长度字符串 1~2000字节       varchar2 可变长度字符串 ...

  6. linux 正则表达式 视频教程,30分钟带你玩转正则表达式

    定义: 正则表达式说白了就是有普通字符.以及特殊字符组成的文子模式.{匹配模式标准} 正则表达式将会作为一个模板与所搜索的字符串进行匹配.可以让使用者轻易达到搜寻/删除/取代某些特定字符的处理程序.此 ...

  7. JB的Shell之旅-30分钟带你入门

    前言 写这篇文章的目的很简单,因为爱并恨过: 前段时间要改个安卓产品的脚本,惊奇发现理论是用shell,虽然实现的功能不复杂,但如果对没了解过shell或懂皮毛的同学,改起来是相当痛苦(如jb),调试 ...

  8. 30分钟带你了解软件测试行业,附送一份超清晰的学习规划路线...

    我个人进入软件测试这个行业也小十年了.回首过往,很感激在初入软件测试职场有大佬的提携,让我明白作为一个软件测试工程师应该具备的能力和对该职业的认知.也很感激,之后遇到赏识我的领导,给予我机会,可以带领 ...

  9. 30分钟带你精通Git使用

    一. 版本控制工具 1.1. 什么是版本控制系统? 版本控制系统(Version Control System):是一种记录一个或若干文件内容变化,以便将来查阅特定版本修订情况的系统.版本控制系统不仅 ...

最新文章

  1. flutter 日历_Flutter:一个更贴近真实项目的练习
  2. jQuery Form 表单提交插件-----ajaxSubmit() 的应用
  3. the train of thought of collaborative filtering matrix factarization
  4. 转: android编译过程(流程图)
  5. [PyTorch] 保存模型和恢复模型
  6. MVC (jsp + servlet + javabean) 以及jdbc
  7. 【sklearn第十六讲】集成方法
  8. ubuntu 安装docker_Docker学习笔记1 虚拟化历史及 Ubuntu环境下体验安装
  9. 1H413000工业机电工程安装技术—— 1H413010机械设备安装技术
  10. ecshop 自动售货 php,ecshop自动分成二次开发实例
  11. 国家医保移动支付国密算法SM2签名验签、SM4加解密测试工具
  12. 流光容易把人抛,红了樱桃,绿了芭蕉
  13. 【苹果家庭群发推】Metal performance shader软件安装框架
  14. seo如何优化一个网站
  15. 在Java中使用@Scheduled定时器的时间设置。
  16. 信息学奥赛一本通:1196:踩方格
  17. linux 切换java_Linux中切换java的版本
  18. 【Python代码】文件查重(01)-简易版
  19. FIFO读rd写wr控制信号处理方式的简单理解-FPGA学习笔记(五)
  20. python异步读写文件_一文彻底搞懂python文件读写

热门文章

  1. c++ 优先队列_什么是队列?(Python队列)
  2. mysql using filesort_mysql using filesort Using temporary
  3. 导致溢出_由整数类型溢出导致的英雄联盟峡谷惨案
  4. 详解Shell编程之if语句实战(小结)
  5. Windows7 IIS 500-内部服务器错误的解决方法
  6. php-cgi导致的502 Bad Gateway错误
  7. TP自动生成模块目录
  8. Hadoop 单机版和伪分布式版安装
  9. [Codeforces Round #194 (Div. 2)] Secret 解题报告 (数学)
  10. 4G最快网速相当于30M宽带