遍历mysql大表的小技巧

假如有一个1亿数据的大表(表名是product_info)：我们目标是按照某个条件遍历一次比如可能满足条件的数据有10w行，那么每次遍历的时候：

修改前sql: select distinct goods_id from product_info where unix_timestamp(update_time) <= 1643148095 and is_deleted = 0 limit 1000

修改后sql: select distinct goods_id from product_info where unix_timestamp(update_time) <= 1643148095 and is_deleted = 0 and id > #{id} limit 1000

性能差异：生产机器上执行修改前的sql耗时差不多10s，修改后的sql的耗时500ms左右，差距巨大，原理是修改后的sql加入主键列的范围条件后，全表扫描时遍历的行数明显减少了.

遍历mysql大表的小技巧相关推荐

MySQL大表分页查询优化技巧
一.问题复现在实际的软件系统开发过程中,随着使用的用户群体越来越多,表数据也会随着时间的推移,单表的数据量会越来越大. 以订单表为例,假如每天的订单量在 4 万左右,那么一个月的订单量就是 120 ...
mysql大表join小表速度很慢_mysql多表join中，为什么子查询会那么慢，怎么解决-问答-阿里云开发者社区-阿里云...
下面的sql执行后cpu100%,但是这三张join的表数据量都在2W左右,不应该啊,是不是数据库服务器配置出了问题啊.sql如下:select a.excel_id, a.rpt_id, a.acc ...
mysql 大表驱动_MySql 小表驱动大表
在了解之前要先了解对应语法 in 与 exist. in后的括号的表达式结果要求之输出一列字段.与之前的搜索字段匹配,匹配到相同则返回对应行. mysql的执行顺序是先执行子查询,然后执行主查询,用子 ...
史上最全MySQL 大表优化方案（长文）
转载自史上最全MySQL 大表优化方案(长文) 当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 一.单表优化除非单表数据未来会一直不断上涨,否则不要一开始就考虑 ...
解决MYSQL大表问题-实战篇（二）
#首先上表结构 CREATE TABLE `sys_history` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`did` bigint(20) NOT NUL ...
delete mysql 大表_无语了，直到今天，我才揪出MySQL磁盘消耗迅猛的“真凶”！
作者:dbapower 链接:https://blog.51cto.com/suifu/2135599 背景 Part1:写在最前当一张单表10亿数据量的表放在你面前,你将面临着什么? Part2: ...
MySQL 大表优化方案（1）
转载自干货!!!MySQL 大表优化方案(1) 当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 单表优化除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分 ...
从云数据迁移服务看MySQL大表抽取模式
摘要:MySQL JDBC抽取到底应该采用什么样的方式,且听小编给你娓娓道来. 小编最近在云上的一个迁移项目中被MySQL抽取模式折磨的很惨.一开始爆内存被客户怼,再后来迁移效率低下再被怼.MySQL ...
mysql大表数据抽取_从云数据迁移服务看MySQL大表抽取模式
摘要:MySQL JDBC抽取到底应该采用什么样的方式,且听小编给你娓娓道来. 小编最近在云上的一个迁移项目中被MySQL抽取模式折磨的很惨.一开始爆内存被客户怼,再后来迁移效率低下再被怼.MySQL ...

遍历mysql大表的小技巧

遍历mysql大表的小技巧相关推荐

最新文章

热门文章