mysql int 转 varchar_Java后端程序员必备:MySQL索引失效的十大杂症
背景
最近生产爆出一条慢sql,原因是用了or和!=,导致索引失效。于是,总结了索引失效的十大杂症,希望对大家有帮助,加油。
一、查询条件包含or,可能导致索引失效
新建一个user表,它有一个普通索引userId,结构如下:
CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `userId` int(11) NOT NULL, `age` int(11) NOT NULL, `name` varchar(255) NOT NULL, PRIMARY KEY (`id`), KEY `idx_userId` (`userId`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- 执行一条查询sql,它是会走索引的,如下图所示:
- 把or条件+没有索引的age加上,并不会走索引,如图:
分析&结论:
- 对于or+没有索引的age这种情况,假设它走了userId的索引,但是走到age查询条件时,它还得全表扫描,也就是需要三步过程: 全表扫描+索引扫描+合并
- 如果它一开始就走全表扫描,直接一遍扫描就完事。
- mysql是有优化器的,处于效率与成本,遇到or条件,索引可能失效,看起来也合情合理。
注意: 如果or条件的列都加了索引,索引可能会走的,大家可以自己试一试。
二、如何字段类型是字符串,where时一定用引号括起来,否则索引失效
假设demo表结构如下:
CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `userId` varchar(32) NOT NULL, `name` varchar(255) NOT NULL, PRIMARY KEY (`id`), KEY `idx_userId` (`userId`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
userId为字符串类型,是B+树的普通索引,如果查询条件传了一个数字过去,它是不走索引的,如图所示:
如果给数字加上'',也就是传一个字符串呢,当然是走索引,如下图:
分析与结论:
为什么第一条语句未加单引号就不走索引了呢? 这是因为不加单引号时,是字符串跟数字的比较,它们类型不匹配,MySQL会做隐式的类型转换,把它们转换为浮点数再做比较。
三、like通配符可能导致索引失效。
并不是用了like通配符,索引一定失效,而是like查询是以%开头,才会导致索引失效。
表结构:
CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `userId` varchar(32) NOT NULL, `name` varchar(255) NOT NULL, PRIMARY KEY (`id`), KEY `idx_userId` (`userId`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8
like查询以%开头,索引失效,如图:
把%放后面,发现索引还是正常走的,如下:
把%加回来,改为只查索引的字段(覆盖索引),发现还是走索引,惊不惊喜,意不意外
结论:
like查询以%开头,会导致索引失效。可以有两种方式优化:
- 使用覆盖索引
- 把%放后面
附: 索引包含所有满足查询需要的数据的索引,称为覆盖索引(Covering Index)。
四、联合索引,查询时的条件列不是联合索引中的第一个列,索引失效。
表结构:(有一个联合索引idx_userid_age,userId在前,age在后)
CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `userId` int(11) NOT NULL, `age` int(11) DEFAULT NULL, `name` varchar(255) NOT NULL, PRIMARY KEY (`id`), KEY `idx_userid_age` (`userId`,`age`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
在联合索引中,查询条件满足最左匹配原则时,索引是正常生效的。请看demo:
如果条件列不是联合索引中的第一个列,索引失效,如下:
分析与结论:
- 当我们创建一个联合索引的时候,如(k1,k2,k3),相当于创建了(k1)、(k1,k2)和(k1,k2,k3)三个索引,这就是最左匹配原则。
- 联合索引不满足最左原则,索引一般会失效,但是这个还跟Mysql优化器有关的。
五、在索引列上使用mysql的内置函数,索引失效。
表结构:
CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `userId` varchar(32) NOT NULL, `loginTime` datetime NOT NULL, PRIMARY KEY (`id`), KEY `idx_userId` (`userId`) USING BTREE, KEY `idx_login_time` (`loginTime`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8
虽然loginTime加了索引,但是因为使用了mysql的内置函数Date_ADD(),索引直接GG,如图:
六、对索引列运算(如,+、-、*、/),索引失效。
表结构:
CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `userId` varchar(32) NOT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_age` (`age`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
虽然age加了索引,但是因为它进行运算,索引直接迷路了。。。 如图:
七、索引字段上使用(!= 或者 < >,not in)时,可能会导致索引失效。
表结构:
CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `userId` int(11) NOT NULL, `age` int(11) DEFAULT NULL, `name` varchar(255) NOT NULL, PRIMARY KEY (`id`), KEY `idx_age` (`age`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
虽然age加了索引,但是使用了!= 或者 < >,not in这些时,索引如同虚设。如下:
八、索引字段上使用is null, is not null,可能导致索引失效。
表结构:
CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `card` varchar(255) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_name` (`name`) USING BTREE, KEY `idx_card` (`card`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
单个name字段加上索引,并查询name为非空的语句,其实会走索引的,如下:
单个card字段加上索引,并查询name为非空的语句,其实会走索引的,如下:
但是它两用or连接起来,索引就失效了,如下:
九、左连接查询或者右连接查询查询关联的字段编码格式不一样,可能导致索引失效。
新建两个表,一个user,一个user_job
CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) CHARACTER SET utf8mb4 DEFAULT NULL, `age` int(11) NOT NULL, PRIMARY KEY (`id`), KEY `idx_name` (`name`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;CREATE TABLE `user_job` ( `id` int(11) NOT NULL, `userId` int(11) NOT NULL, `job` varchar(255) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_name` (`name`) USING BTREE) ENGINE=InnoDB DEFAULT CHARSET=utf8;
user 表的name字段编码是utf8mb4,而user_job表的name字段编码为utf8。
执行左外连接查询,user_job表还是走全表扫描,如下:
如果把它们改为name字段编码一致,还是会走索引。
十、mysql估计使用全表扫描要比使用索引快,则不使用索引。
- 当表的索引被查询,会使用最好的索引,除非优化器使用全表扫描更有效。优化器优化成全表扫描取决与使用最好索引查出来的数据是否超过表的30%的数据。
- 不要给'性别'等增加索引。如果某个数据列里包含了均是"0/1"或“Y/N”等值,即包含着许多重复的值,就算为它建立了索引,索引效果不会太好,还可能导致全表扫描。
Mysql出于效率与成本考虑,估算全表扫描与使用索引,哪个执行快。这跟它的优化器有关,来看一下它的逻辑架构图吧(图片来源网上)
总结
总结了索引失效的十大杂症,在这里来个首尾呼应吧,分析一下我们生产的那条慢sql。 模拟的表结构与肇事sql如下:
CREATE TABLE `user_session` ( `user_id` varchar(32) CHARACTER SET utf8mb4 NOT NULL, `device_id` varchar(64) NOT NULL, `status` varchar(2) NOT NULL, `create_time` datetime NOT NULL, `update_time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`user_id`,`device_id`) USING BTREE) ENGINE=InnoDB DEFAULT CHARSET=utf8;
explain update user_session set status =1where (`user_id` = '1' and `device_id`!='2')or (`user_id` != '1' and `device_id`='2')
分析:
- 执行的sql,使用了or条件,因为组合主键(user_id,device_id),看起来像是每一列都加了索引,索引会生效。
- 但是出现!=,可能导致索引失效。也就是or+!=两大综合症,导致了慢更新sql。
解决方案:
那么,怎么解决呢?我们是把or条件拆掉,分成两条执行。同时给device_id加一个普通索引。
最后,总结了索引失效的十大杂症,希望大家在工作学习中,参考这十大杂症,多点结合执行计划expain和场景,具体分析 ,而不是按部就班,墨守成规,认定哪个情景一定索引失效。
关注私信回复:555领取Java高级架构资料、Spring源码分析、Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式等
mysql int 转 varchar_Java后端程序员必备:MySQL索引失效的十大杂症相关推荐
- 后端程序员必备:索引失效的十大杂症
背景 最近生产爆出一条慢sql,原因是用了or和!=,导致索引失效.于是,总结了索引失效的十大杂症,希望对大家有帮助,加油. 一.查询条件包含or,可能导致索引失效 新建一个user表,它有一个普通索 ...
- mysql索引失效的替代方案,索引失效的十大杂症
背景:最近生产爆出一条慢sql,原因是用了or和!=,导致索引失效.于是,总结了索引失效的十大杂症 一.查询条件包含or,可能导致索引失效 新建一个user表,它有一个普通索引userId,结构如下: ...
- [转]后端程序员必备:书写高质量SQL的30条建议
以下文章来源于捡田螺的小男孩 ,作者捡田螺的小男孩 转载:<后端程序员必备:书写高质量SQL的30条建议> 前言 本文将结合实例demo,阐述30条有关于优化SQL的建议,多数是实际开发中 ...
- 后端程序员必备的 Linux 基础知识
后端程序员必备的 Linux 基础知识 原文来自github stars>63k的项目JavaGuide,欢迎小伙伴去支持原作者 一 从认识操作系统开始 1.1 操作系统简介 1.2 操作系统简 ...
- 后端程序员必备:mysql数据库相关流程图/原理图芬芬细雨
前言 整理了一些Mysql数据库相关流程图/原理图,做一下笔记,大家一起学习. 1.mysql主从复制原理图 mysql主从复制原理是大厂后端的高频面试题,了解mysql主从复制原理非常有必要. 主从 ...
- sql 只取一条记录_后端程序员必备:书写高质量SQL的30条建议
前言 本文将结合实例demo,阐述30条有关于优化SQL的建议,多数是实际开发中总结出来的,希望对大家有帮助. 1.查询SQL尽量不要使用select *,而是select具体字段. 反例子: sel ...
- 后端程序员必备:书写高质量SQL的30条建议
点击上方 好好学java ,选择 星标 公众号 重磅资讯.干货,第一时间送达 今日推荐:Java实现QQ登录和微博登录个人原创+1博客:点击前往,查看更多 前言 本文将结合实例demo,阐述30条有关 ...
- 后端程序员必备的 Linux 基础知识+常见命令(近万字总结)
大家好!我是 Guide 哥,Java 后端开发.一个会一点前端,喜欢烹饪的自由少年. 今天这篇文章中简单介绍一下一个 Java 程序员必知的 Linux 的一些概念以及常见命令. 如果文章有任何需要 ...
- 不愧是阿里P8!后端程序员必备的Linux基础知识+常见命令
前言 要相信,你现在所有的努力和付出都会在将来的某一天回报给你! 首先阿里巴巴作为国内互联网行业的领头羊,培养了一代又一代的IT技术人才,很多想进阿里这些互联网大厂的程序员看中的不仅仅是高薪+丰厚的福 ...
最新文章
- 《公司理财》_16章_2.财务杠杆学习笔记
- Ubuntu 环境中多线程下载工具Axel的安装与使用
- 不只是舒适,简直是享受,Google公司用的腰靠,到底有什么秘密?
- 让sublime text显示空格,到底是点还是横杠TabError: inconsistent use of tabs and spaces in indentation
- 公司组织框架以及人员信息同步到钉钉相关解决方案
- 系统状态检测 及进程控制
- 计算机四级网络工程师题目,计算机四级网络工程师题库
- vscode背景绿色配置
- 腾讯云服务器迁移报错Other go2tencentcloud are running.
- ubuntu系统镜像下载源
- 无迹卡尔曼滤波估计SOC的simulink模型详解
- YUV 420 444 421 422 的正解(转载)
- 做到这一点,你也可以成为优秀的程序员(转)
- Python列表的相关操作
- 软考__所有涉及的图和表
- java求一元二次方程“ax2+bx+c=0,(a≠0)”的根。要求:通过命令行参数或者Scanner类输入a、b和c的值,借助Math类计算并输出该一元二次方程的实数根。
- Linux内核IO技术栈详解
- CSP 201812-1小明上线(c语言)
- 微信网页授权开发流程
- 东湖高新区申报2022年市级产业化投资和技术改造专项以及工业智能化改造专项条件、材料和支持标准
热门文章
- 最新公布,“中国开发者大调查”第四批中奖名单来啦
- CSDN创始人蒋涛出席2021 中关村论坛,启动“科创中国”开源创新榜单评选
- 开源不等于免费!谷歌如何通过安卓开源成为移动时代霸主? | 涛滔不绝
- 图解 | 看完这篇还不懂高并发中的线程与线程池,你来打我!
- Java 15 即将到来,新特性速览!
- 用 C++ 跟你聊聊“桥接模式” | 原力计划
- 银泰抛弃传统数据库转投阿里云PolarDB 投入产出比增长2倍以上
- 进 BAT 很简单?工作 2、3 年这样拿下大厂 Offer!
- 流行于机器学习竞赛的Boosting,一文讲透足够了
- 国际认可不断增加,国产数据库发展与应用前景如何?