MySQL 优化实战记录
阅读本文大概需要 2 分钟。
背景
本次SQL优化是针对javaweb中的表格查询做的。
部分网络架构图
业务简单说明
N个机台将业务数据发送至服务器,服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。
原数据库设计
1、windows单机主从分离
2、已分表分库,按年分库,按天分表
3、每张表大概20w左右的数据
原查询效率
3天数据查询70-80s
目标
3-5s
业务缺陷
无法使用sql分页,只能用java做分页。
问题排查
前台慢 or 后台慢
1、如果你配置了druid,可在druid页面中直接查看sql执行时间和uri请求时间
2、在后台代码中用System.currentTimeMillis计算时间差。
结论 : 后台慢,且查询sql慢
sql有什么问题
1、sql拼接过长,达到了3000行,有的甚至到8000行,大多都是union all的操作,且有不必要的嵌套查询和查询了不必要的字段
2、利用explain查看执行计划,where条件中除时间外只有一个字段用到了索引
备注 : 因优化完了,之前的sql实在找不到了,这里只能YY了。
查询优化
去除不必要的字段
效果没那么明显
去除不必要的嵌套查询
效果没那么明显
分解sql
将union all的操作分解,例如(一个union all的sql也很长)
将如上sql分解成若干个sql去执行,最终汇总数据,最后快了20s左右。
将分解的sql异步执行
利用java异步编程的操作,将分解的sql异步执行并最终汇总数据。这里用到了CountDownLatch和ExecutorService,示例代码如下:
结果又快了20-30s
优化MySQL配置
以下是我的配置示例。加了skip-name-resolve,快了4-5s。其他配置自行断定
根据业务,再加上筛选条件
快4-5s
将where条件中除时间条件外的字段建立联合索引
效果没那么明显
将where条件中索引条件使用inner join的方式去关联
针对这条,我自身觉得很诧异。原sql,b为索引
应该之前有union all,union all是一个一个的执行,最后汇总的结果。修改为
结果快了3-4s
性能瓶颈
根据以上操作,3天查询效率已经达到了8s左右,再也快不了了。查看mysql的cpu使用率和内存使用率都不高,到底为什么查这么慢了,3天最多才60w数据,关联的也都是一些字典表,不至于如此。继续根据网上提供的资料,一系列骚操作,基本没用,没辙。
环境对比
因分析过sql优化已经ok了,试想是不是磁盘读写问题。将优化过的程序,分别部署于不同的现场环境。一个有ssd,一个没有ssd。发现查询效率悬殊。用软件检测过发现ssd读写速度在700-800M/s,普通机械硬盘读写在70-80M/s。
优化结果及结论
优化结果:达到预期。
优化结论:sql优化不仅仅是对sql本身的优化,还取决于本身硬件条件,其他应用的影响,外加自身代码的优化。
小结
优化的过程是自身的一个历练和考验,珍惜这种机会,不做只写业务代码的程序员。希望以上可以有助于你的思考,不足之处望指正。
原文链接:
https://my.oschina.net/xiaozhutefannao/blog/2243432
·END·
程序员的成长之路
路虽远,行则必至
微信ID:cxydczzl
往期精彩回顾
程序员接私活的7大平台利器
Java程序员的成长之路
白话TCP为什么需要进行三次握手
Java性能优化的50个细节(珍藏版)
设计电商平台优惠券系统
一个对话让你明白架构师是做什么的?
教你一招用 IDE 编程提升效率的骚操作!
送给程序员们的经典电子书大礼包
转载于:https://juejin.im/post/5ca16d20e51d455a2b43c10c
MySQL 优化实战记录相关推荐
- MySQL 优化实战记录 1
阅读本文大概需要 2 分钟. 背景 本次SQL优化是针对javaweb中的表格查询做的. 部分网络架构图 业务简单说明 N个机台将业务数据发送至服务器,服务器程序将数据入库至MySQL数据库.服务器中 ...
- 大数据之数据库mysql优化实战(一)
2019独角兽企业重金招聘Python工程师标准>>> :facepunch: 大数据之数据库mysql优化实战(一) 首先你要有数据,不然怎么测试,几百条就算了,还没跑就完了. 本 ...
- mysql 设置按天分表_MySQL 优化实战记录
阅读本文大概需要 2 分钟. 背景 本次SQL优化是针对javaweb中的表格查询做的. 部分网络架构图 业务简单说明 N个机台将业务数据发送至服务器,服务器程序将数据入库至MySQL数据库.服务器中 ...
- Java 性能优化实战记录(3)--JVM OOM的分析和原因追查
前言: C/C++的程序员渴望Java的自由, Java程序员期许C/C++的约束. 其实那里都是围城, 外面的人想进来, 里面的人想出去. 背景: 作为Java程序员, 除了享受垃圾回收机制带来的便 ...
- IO 密集型服务 性能优化实战记录
背景 项目背景 Feature 服务作为特征服务,产出特征数据供上游业务使用.服务压力:高峰期 API 模块 10wQPS,计算模块 20wQPS.服务本地缓存机制: 计算模块有本地缓存,且命中率较高 ...
- seo优化源码_武汉seo公司关键词SEO优化实战记录,1个月三个站在首页
关键词优化:利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名.这里我们需做的一个是站内优化,一个是站外优化. 以下我们以 武汉SEO公司这个词来做讲解这个词经过我们1个月的努力目前3个网站均在首页 ...
- 【mysql优化实战】第一章 建表
第一步:建表 DROP TABLE IF EXISTS big_table; DROP PROCEDURE IF EXISTS prc_gen_user;CREATE TABLE `big_table ...
- Java 性能优化实战记录(1)---定位并分析耗cpu最多的线程
1) jps 列出相关的java进程, 以及对应的pid 也可以使用如下命令来尝试 ps aux | grep java --color 2) top -Hp <pid& ...
- Java 性能优化实战记录(2)---句柄泄漏和监控
前言: Java不存在内存泄漏, 但存在过期引用以及资源泄漏. (个人看法, 请大牛指正) 这边对文件句柄泄漏的场景进行下模拟, 并对此做下简单的分析. 如下代码为模拟一个服务进程, 忽略了句柄关闭, ...
最新文章
- OpenGL SDK glew(OpenGL Extension Wrangler Library )
- 感知算法论文(四):Mask Scoring R-CNN (2019)译文
- Mysql优化之执行计划查看
- wordpress友联_Wordpress 友情链接页面终极版 – Fatesinger
- 文件跟随_不同类型的文件柜价格是否一样呢
- IOT---(3)深入解析物联网操作系统(架构、功能与实例分析)
- 使用tornado让你的请求异步非阻塞
- vueweb端响应式布局_响应式网站和PC+手机端网站有什么区别?
- 数据结构中的7种排序算法
- 【渝粤教育】国家开放大学2019年春季 1248公共部门人力资源管理 参考试题
- 【线上活动】材料计算训练营(量子力学、物理、化学、新能源、碳中和、生物制药、化工、新材料、催化、锂电池、半导体)
- FileZilla工具FTP乱码问题修改
- Linux terminal 终端快捷键
- VirtualBox系统虚拟盘格式转换vdi/vhd/vmdk
- Android 贪食蛇
- java 最后的异常_关于java:异常处理尝试没有catch,但最后
- 【WangEditor】使用富文本编辑器 WangEditor 实现用户自定义图片大小(改js源码)
- 无线地磁传感器可以产生哪些社会效益
- 盘点NFT史上令人难忘的跑路大王
- 抖音画质增强功能,怎么提高抖音拍摄画质
热门文章
- CMake手册详解 (十二)
- Symfony2 - paginator bundle 复杂查询时候报错解决
- Silverlight游戏设计(Game Design):(五)面向对象的思想塑造游戏对象
- quartusII中功能仿真和时序仿真的分析
- python中Scipy模块求取积分
- Android 8.1 源码_启动篇(一) -- 深入研究 init(转 Android 9.0 分析)
- Oracle中的rownum和rowid
- 素数定理π(n)~n/lnn弱化版证明
- 【2017下集美大学软工1412班_助教博客】结对编程1——模块化
- 比较高明的暗部提亮方法:选取暗部,滤色叠加