MySQL 优化实战记录 1
阅读本文大概需要 2 分钟。
背景
本次SQL优化是针对javaweb中的表格查询做的。
部分网络架构图
业务简单说明
N个机台将业务数据发送至服务器,服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。
原数据库设计
1、windows单机主从分离
2、已分表分库,按年分库,按天分表
3、每张表大概20w左右的数据
原查询效率
3天数据查询70-80s
目标
3-5s
业务缺陷
无法使用sql分页,只能用java做分页。
问题排查
前台慢 or 后台慢
1、如果你配置了druid,可在druid页面中直接查看sql执行时间和uri请求时间
2、在后台代码中用System.currentTimeMillis计算时间差。
结论 : 后台慢,且查询sql慢
sql有什么问题
1、sql拼接过长,达到了3000行,有的甚至到8000行,大多都是union all的操作,且有不必要的嵌套查询和查询了不必要的字段
2、利用explain查看执行计划,where条件中除时间外只有一个字段用到了索引
备注 : 因优化完了,之前的sql实在找不到了,这里只能YY了。
查询优化
去除不必要的字段
效果没那么明显
去除不必要的嵌套查询
效果没那么明显
分解sql
将union all的操作分解,例如(一个union all的sql也很长)
将如上sql分解成若干个sql去执行,最终汇总数据,最后快了20s左右。
将分解的sql异步执行
利用java异步编程的操作,将分解的sql异步执行并最终汇总数据。这里用到了CountDownLatch和ExecutorService,示例代码如下:
结果又快了20-30s
优化MySQL配置
以下是我的配置示例。加了skip-name-resolve,快了4-5s。其他配置自行断定
根据业务,再加上筛选条件
快4-5s
将where条件中除时间条件外的字段建立联合索引
效果没那么明显
将where条件中索引条件使用inner join的方式去关联
针对这条,我自身觉得很诧异。原sql,b为索引
应该之前有union all,union all是一个一个的执行,最后汇总的结果。修改为
结果快了3-4s
性能瓶颈
根据以上操作,3天查询效率已经达到了8s左右,再也快不了了。查看mysql的cpu使用率和内存使用率都不高,到底为什么查这么慢了,3天最多才60w数据,关联的也都是一些字典表,不至于如此。继续根据网上提供的资料,一系列骚操作,基本没用,没辙。
环境对比
因分析过sql优化已经ok了,试想是不是磁盘读写问题。将优化过的程序,分别部署于不同的现场环境。一个有ssd,一个没有ssd。发现查询效率悬殊。用软件检测过发现ssd读写速度在700-800M/s,普通机械硬盘读写在70-80M/s。
优化结果及结论
优化结果:达到预期。
优化结论:sql优化不仅仅是对sql本身的优化,还取决于本身硬件条件,其他应用的影响,外加自身代码的优化。
小结
优化的过程是自身的一个历练和考验,珍惜这种机会,不做只写业务代码的程序员。希望以上可以有助于你的思考,不足之处望指正。
原文链接:
https://my.oschina.net/xiaozhutefannao/blog/2243432
·END·
程序员的成长之路
路虽远,行则必至
MySQL 优化实战记录 1相关推荐
- MySQL 优化实战记录
阅读本文大概需要 2 分钟. 背景 本次SQL优化是针对javaweb中的表格查询做的. 部分网络架构图 业务简单说明 N个机台将业务数据发送至服务器,服务器程序将数据入库至MySQL数据库.服务器中 ...
- 大数据之数据库mysql优化实战(一)
2019独角兽企业重金招聘Python工程师标准>>> :facepunch: 大数据之数据库mysql优化实战(一) 首先你要有数据,不然怎么测试,几百条就算了,还没跑就完了. 本 ...
- mysql 设置按天分表_MySQL 优化实战记录
阅读本文大概需要 2 分钟. 背景 本次SQL优化是针对javaweb中的表格查询做的. 部分网络架构图 业务简单说明 N个机台将业务数据发送至服务器,服务器程序将数据入库至MySQL数据库.服务器中 ...
- Java 性能优化实战记录(3)--JVM OOM的分析和原因追查
前言: C/C++的程序员渴望Java的自由, Java程序员期许C/C++的约束. 其实那里都是围城, 外面的人想进来, 里面的人想出去. 背景: 作为Java程序员, 除了享受垃圾回收机制带来的便 ...
- IO 密集型服务 性能优化实战记录
背景 项目背景 Feature 服务作为特征服务,产出特征数据供上游业务使用.服务压力:高峰期 API 模块 10wQPS,计算模块 20wQPS.服务本地缓存机制: 计算模块有本地缓存,且命中率较高 ...
- seo优化源码_武汉seo公司关键词SEO优化实战记录,1个月三个站在首页
关键词优化:利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名.这里我们需做的一个是站内优化,一个是站外优化. 以下我们以 武汉SEO公司这个词来做讲解这个词经过我们1个月的努力目前3个网站均在首页 ...
- 【mysql优化实战】第一章 建表
第一步:建表 DROP TABLE IF EXISTS big_table; DROP PROCEDURE IF EXISTS prc_gen_user;CREATE TABLE `big_table ...
- Java 性能优化实战记录(1)---定位并分析耗cpu最多的线程
1) jps 列出相关的java进程, 以及对应的pid 也可以使用如下命令来尝试 ps aux | grep java --color 2) top -Hp <pid& ...
- Java 性能优化实战记录(2)---句柄泄漏和监控
前言: Java不存在内存泄漏, 但存在过期引用以及资源泄漏. (个人看法, 请大牛指正) 这边对文件句柄泄漏的场景进行下模拟, 并对此做下简单的分析. 如下代码为模拟一个服务进程, 忽略了句柄关闭, ...
最新文章
- 深入理解计算机系统-之-内存寻址(四)--linux中分段机制的实现方式
- 深入Java中的位操作
- 干净卸载mysql (注册表)
- tp5.0 根据经纬度 获取附近信息_php根据前端传递的经纬度获取区域地址信息
- mySql存储过程,简单实现实例
- 我的新宠Vue a系列 项目初构
- 静态路由与动态路由概念及实例
- [jQuery] jQuery和Zepto的区别?各自的使用场景?
- python生成器函数_Python 编写生成器函数
- win32开发(创建子窗口)
- Backbone.js 1.0.0源码架构分析(一)
- 树莓派使用无线网卡上网相关命令
- 基于安卓实现的模拟定位功能(Android)
- 各层电子数排布规则_电子数的排布规律
- 中高级iOS大厂面试宝典,拿到offer率80%,金三银四将是你的新起点
- Python爬虫获取网易云歌单封面(带Cookie)
- python编程从入门到实战16章x轴刻度与书不一样,2020-10-05 Python编程从入门到实践 第16章 下载数据 动手试...
- 为什么RSA 公钥指数(e=65537)
- PCB常见的几种钻孔
- HPET(High Precision Event Timer)简要说明
热门文章
- GDCM:gdcm::ImageChangePlanarConfiguration的测试程序
- GDCM:gdcm::Version的测试程序
- Qt Creator加States
- C++rat maze老鼠迷宫算法(附完整源码)
- C语言求最大公约数欧几里得Euclid算法(附完整源码)
- c++中介者模式mediator
- C++对C的加强之C++中所有的变量和函数都必须有类型
- C语言size_t和size_type比较
- echart label 不随值变化位置_炼丹神器来了! 模型结构、训练日志、特征提取都能可视化,调参不慌了!...
- 「Ubuntu」仓库 “https://mirrors.tuna.tsinghua.edu.cn/ubuntu focal Release” 没有 Release 文件。