MySQL线上优化_线上MySQL千万级大表,如何优化?
前段时间应急群有客服反馈,会员管理功能无法按到店时间、到店次数、消费金额进行排序。经过排查发现是 SQL 执行效率低,并且索引效率低下。
图片来自 Pexels
应急问题
商户反馈会员管理功能无法按到店时间、到店次数、消费金额进行排序,一直转圈圈或转完无变化,商户要以此数据来做活动,比较着急,请尽快处理,谢谢。
线上数据量
merchant_member_info:7000W 条数据。
member_info:3000W。
不要问我为什么不分表,改动太大,无能为力。
问题 SQL
问题 SQL 如下:
SELECT
mui.id,
mui.merchant_id,
mui.member_id,
DATE_FORMAT(
mui.recently_consume_time,
'%Y%m%d%H%i%s'
) recently_consume_time,
IFNULL(mui.total_consume_num, 0) total_consume_num,
IFNULL(mui.total_consume_amount, 0) total_consume_amount,
(
CASE
WHENu.nick_nameISNULLTHEN
'会员'
WHENu.nick_name =''THEN
'会员'
ELSE
u.nick_name
END
) AS'nickname',
u.sex,
u.head_image_url,
u.province,
u.city,
u.country
FROM
merchant_member_info mui
LEFTJOINmember_info uONmui.member_id = u.id
WHERE
1 = 1
ANDmui.merchant_id ='商户编号'
ORDERBY
mui.recently_consume_time DESC/ASC
LIMIT 0,
10
出现的原因
经过验证可以按照“到店时间”进行降序排序,但是无法按照升序进行排序主要是查询太慢了。
主要原因是:虽然该查询使用建立了 recently_consume_time 索引,但是索引效率低下,需要查询整个索引树,导致查询时间过长。DESC 查询大概需要 4s,ASC 查询太慢耗时未知。
为什么降序排序快和而升序慢呢?
如下图:
因为是对时间建立了索引,最近的时间一定在最后面,升序查询,需要查询更多的数据,才能过滤出相应的结果,所以慢。
解决方案
目前生产库的索引,如下图:
①调整索引
需要删除 index_merchant_user_last_time 索引,同时将 index_merchant_user_merchant_ids 单例索引,变为 merchant_id,recently_consume_time 组合索引。
②调整结果(准生产)
如下图:
③调整前后结果对比(准生产)
测试数据:
merchant_member_info 有 902606 条记录。
member_info 表有 775 条记录。
④SQL 执行效率
优化前,如下图:
优化后,如下图:
type 由 index→ref,ref 由 null→const:
调整索引需要执行的 SQL
执行的注意事项:由于表中的数据量太大,请在晚上进行执行,并且需要分开执行。
# 删除近期消费时间索引
ALTERTABLEmerchant_member_infoDROPINDEXindex_merchant_user_last_time;
# 删除商户编号索引
ALTERTABLEmerchant_member_infoDROPINDEXindex_merchant_user_merchant_ids;
# 建立商户编号和近期消费时间组合索引
ALTERTABLEmerchant_member_infoADDINDEXidx_merchant_id_recently_time (`merchant_id`,`recently_consume_time`);
经询问,重建索引花了 30 分钟。
最终的分页查询优化
上面的 SQL 虽然经过调整索引,虽然能达到较高的执行效率,但是随着分页数据的不断增加,性能会急剧下降。
最终的 SQL
优化思路:先走覆盖索引定位到,需要的数据行的主键值,然后 INNER JOIN 回原表,取到其他数据。
SELECT
mui.id,
mui.merchant_id,
mui.member_id,
DATE_FORMAT(
mui.recently_consume_time,
'%Y%m%d%H%i%s'
) recently_consume_time,
IFNULL(mui.total_consume_num, 0) total_consume_num,
IFNULL(mui.total_consume_amount, 0) total_consume_amount,
(
CASE
WHENu.nick_nameISNULLTHEN
'会员'
WHENu.nick_name =''THEN
'会员'
ELSE
u.nick_name
END
) AS'nickname',
u.sex,
u.head_image_url,
u.province,
u.city,
u.country
FROM
merchant_member_info mui
INNERJOIN(
SELECT
id
FROM
merchant_member_info
WHERE
merchant_id = '商户ID'
ORDERBY
recently_consume_time DESC
LIMIT 9000,
10
) AStmpONtmp.id = mui.id
LEFTJOINmember_info uONmui.member_id = u.id
作者:不一样的科技宅
编辑:陶家龙
出处:juejin.cn/post/6844904053239971854
【编辑推荐】
【责任编辑:武晓燕 TEL:(010)68476606】
点赞 0
MySQL线上优化_线上MySQL千万级大表,如何优化?相关推荐
- 一次 MySQL 千万级大表的优化过程
作者:赵客缦胡缨v吴钩霜雪明 https://www.jianshu.com/p/336f682e4b91 概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记 ...
- 如何优化MySQL千万级大表
很好的一篇博客,转载 如何优化MySQL千万级大表 原文链接::https://blog.csdn.net/yangjianrong1985/article/details/102675334 千万级 ...
- 来个硬货——长文解读:基于业务场景的MySQL千万级大表优化
千万级大表如何优化,这是一个很有技术含量的问题,通常我们的直觉思维都会跳转到拆分或者数据分区,在此我想做一些补充和梳理,想和大家做一些这方面的经验总结,也欢迎大家提出建议. 从一开始脑海里开始也是火光 ...
- MySQL千万级大表优化解决方案
MySQL千万级大表优化解决方案 参考文章: (1)MySQL千万级大表优化解决方案 (2)https://www.cnblogs.com/yliucnblogs/p/10096530.html 备忘 ...
- MySQL千万级别大表如何优化?
当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 单表优化 除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑.部署.运维的各种复杂度,一般以整型 ...
- 千万级大表如何更快速的创建索引_分享一份生产环境mysql数据库大表归档方案,值得收藏...
概述 分享下最近做的一个mysql大表归档方案,仅供参考. 整体思路 一.明确哪些大表需做归档 1.数据库表概要信息统计 SELECTt1.table_schema,t1.table_name,`EN ...
- 详记一次MySQL千万级大表优化过程!
来自:知乎,作者:互联网编程 链接:https://www.zhihu.com/question/19719997/answer/549041957 问题概述 使用阿里云rds for MySQL数据 ...
- 分享:详记一次MySQL千万级大表优化过程!
问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死.严重影响业务 ...
- mysql千万级大表在线添加索引
#怎样向有大量数据的表中添加索引 文章目录 前言 一.使用步骤 总结 前言 在日常开发过程中我们可能会遇见这种场景,就是为了优化查询我们需要对某张表中的某个字段添加索引,但表中存在大量数据,而且正式库 ...
最新文章
- Nginx开发从入门到精通
- 阈值Java_亲测有效!一种完美动态阈值白平衡算法 Java实现。
- 常用计算机服务,常用计算机端口对应的服务(The commonly used computer port corresponding service).doc...
- 计算机培训开场白,面试开场白及自我介绍范文4篇
- 镜像镜像–使用反射在运行时查看JVM内部
- 3dmax如何拆分模型_3dmax制作装饰柜1
- Laravel 发送邮件报错的解决方案:PHP Warning: stream_socket_enable_crypto(): SSL operation failed with code 1.
- 使用Xerte创建简单的在线学习资料的指南
- python--for循环
- svnadmin服务安装
- 微信好友只有昵称没有微信号_没微信号能找到人吗 只有微信昵称怎么找人
- VBA多工作簿中多工作表分类汇总
- 工作多年,分享16条实用职场经验给你
- mysql创建联合主键
- 嵌入式Linux--MYS-6ULX-IOT--总目录
- Halcon视觉检测——使用分类器分类
- 学校学生计算机配备标准,规模控制在900人至5000人 每百名学生应有15台电脑
- 凌晨三点的程序员,别让你的辛苦被辜负
- mysql百万数据建索引时间_mysql百万的数据快速创建索引
- ScriptManager的用法
热门文章
- 企业微信小程序_小程序开发工具及真机调试_host配置及代理
- JFrog Container Registry 搭建Docker镜像仓库 (tar.gz 版本)
- Linux Shell脚本_较少Swap使用
- linux6/7 下载、安装、配置JDK
- Vue3 --- 在Main.js引入封装的axiosAPI 方法
- regedit或child_process添加注册表
- JavaScript-操作DOM对象-获得dom节点
- mysql分页概念_MySQL学习笔记之数据定义表约束,分页方法总结
- 感知器算法的基本原理和步骤_很多情况下,深度学习算法和人脑相似
- 虚拟服务器 端口管理,Apache服务配置虚拟主机(基于域名、端口、IP地址)与简单访问权限管理...