比如,这两个在 email 字段上创建索引的语句:

mysql> alter table SUser add index index1(email);

mysql> alter table SUser add index index2(email(6));

第一个语句创建的 index1 索引里面,包含了每个记录的整个字符串;而第二个语句创建的 index2 索引里面,对于每个记录都是只取前 6 个字节。

那么,这两种不同的定义在数据结构和存储上有什么区别呢?

​图1: email索引结构

​图2: email(6)索引结构

从图中你可以看到,由于 email(6) 这个索引结构中每个邮箱字段都只取前 6 个字节(即:zhangs),所以占用的空间会更小,这就是使用前缀索引的优势。

但,这同时带来的损失是,可能会增加额外的记录扫描次数。

接下来,我们再看看下面这个语句,在这两个索引定义下分别是怎么执行的。

select id,name,email from SUser where email='zhangssxyz@xxx.com';

如果使用的是 index1(即 email 整个字符串的索引结构),执行顺序是这样的:

从 index1 索引树找到满足索引值是’zhangssxyz@xxx.com’的这条记录,取得 ID2 的值;

到主键上查到主键值是 ID2 的行,判断 email 的值是正确的,将这行记录加入结果集;

取 index1 索引树上刚刚查到的位置的下一条记录,发现已经不满足 email='zhangssxyz@xxx.com’的条件了,循环结束。

这个过程中,只需要回主键索引取一次数据,所以系统认为只扫描了一行。

如果使用的是 index2(即 email(6) 索引结构),执行顺序是这样的:

从 index2 索引树找到满足索引值是’zhangs’的记录,找到的第一个是 ID1;

到主键上查到主键值是 ID1 的行,判断出 email 的值不是’zhangssxyz@xxx.com’,这行记录丢弃;

取 index2 上刚刚查到的位置的下一条记录,发现仍然是’zhangs’,取出 ID2,再到 ID 索引上取整行然后判断,这次值对了,将这行记录加入结果集;

重复上一步,直到在 idxe2 上取到的值不是’zhangs’时,循环结束。

在这个过程中,要回主键索引取 4 次数据,也就是扫描了 4 行。

但是,对于这个查询语句来说,如果你定义的 index2 不是 email(6) 而是 email(7),也就是说取 email 字段的前 7 个字节来构建索引的话,即满足前缀’zhangss’的记录只有一个,也能够直接查到 ID2,只扫描一行就结束了。

也就是说使用前缀索引,定义好长度,就可以做到既节省空间,又不用额外增加太多的查询成本。

当要给字符串创建前缀索引时,有什么方法能够确定我应该使用多长的前缀呢?

实际上,我们在建立索引时关注的是区分度,区分度越高越好。因为区分度越高,意味着重复的键值越少。因此,我们可以通过统计索引上有多少个不同的值来判断要使用多长的前缀。

你可以使用下面这个语句,算出这个列上有多少个不同的值:

mysql> select count(distinct email) as L from SUser;

然后,依次选取不同长度的前缀来看这个值,比如我们要看一下 4~7 个字节的前缀索引,可以用这个语句:

mysql> select

count(distinct left(email,4))as L4,

count(distinct left(email,5))as L5,

count(distinct left(email,6))as L6,

count(distinct left(email,7))as L7,

from SUser;

当然,使用前缀索引很可能会损失区分度,所以你需要预先设定一个可以接受的损失比例,比如 5%。然后,在返回的 L4~L7 中,找出不小于 L * 95% 的值,假设这里 L6、L7 都满足,你就可以选择前缀长度为 6。

前缀索引对覆盖索引的影响

你先来看看这个 SQL 语句:

select id,email from SUser where email='zhangssxyz@xxx.com';

相比,这个语句只要求返回 id 和 email 字段。

所以,如果使用 index1(即 email 整个字符串的索引结构)的话,可以利用覆盖索引,从 index1 查到结果后直接就返回了,不需要回到 ID 索引再去查一次。而如果使用 index2(即 email(6) 索引结构)的话,就不得不回到 ID 索引再去判断 email 字段的值

即使你将 index2 的定义修改为 email(18) 的前缀索引,这时候虽然 index2 已经包含了所有的信息,但 InnoDB 还是要回到 id 索引再查一下,因为系统并不确定前缀索引的定义是否截断了完整信息。

其他方式

对于类似于邮箱这样的字段来说,使用前缀索引的效果可能还不错。但是,遇到前缀的区分度不够好的情况时,我们要怎么办呢?

假设你维护的数据库是一个市的公民信息系统,这时候如果对身份证号做长度为 6 的前缀索引的话,这个索引的区分度就非常低了。

按照我们前面说的方法,可能你需要创建长度为 12 以上的前缀索引,才能够满足区分度要求。

但是,索引选取的越长,占用的磁盘空间就越大,相同的数据页能放下的索引值就越少,搜索的效率也就会越低。

第一种方式是使用倒序存储。如果你存储身份证号的时候把它倒过来存,每次查询的时候,你可以这么写:

mysql> select field_list from t where id_card = reverse('input_id_card_string')

由于身份证号的最后 6 位没有地址码这样的重复逻辑,所以最后这 6 位很可能就提供了足够的区分度。当然了,实践中你不要忘记使用 count(distinct) 方法去做个验证。

第二种方式是使用 hash 字段。你可以在表上再创建一个整数字段,来保存身份证的校验码,同时在这个字段上创建索引。

mysql> alter table t add id_card_crc int unsigned, add index(id_card_crc);

然后每次插入新记录的时候,都同时用 crc32() 这个函数得到校验码填到这个新字段。由于校验码可能存在冲突,也就是说两个不同的身份证号通过 crc32() 函数得到的结果可能是相同的,所以你的查询语句 where 部分要判断 id_card 的值是否精确相同。

mysql> select field_list from t where id_card_crc=crc32('input_id_card_string') and id_card='input_id_card_string'

这样,索引的长度变成了 4 个字节,比原来小了很多。

接下来,我们再一起看看使用倒序存储和使用 hash 字段这两种方法的异同点。

首先,它们的相同点是,都不支持范围查询。倒序存储的字段上创建的索引是按照倒序字符串的方式排序的,已经没有办法利用索引方式查出身份证号码在[ID_X, ID_Y]的所有市民了。同样地,hash 字段的方式也只能支持等值查询。

它们的区别,主要体现在以下三个方面:

从占用的额外空间来看,倒序存储方式在主键索引上,不会消耗额外的存储空间,而 hash 字段方法需要增加一个字段。当然,倒序存储方式使用 4 个字节的前缀长度应该是不够的,如果再长一点,这个消耗跟额外这个 hash 字段也差不多抵消了。

在 CPU 消耗方面,倒序方式每次写和读的时候,都需要额外调用一次 reverse 函数,而 hash 字段的方式需要额外调用一次 crc32() 函数。如果只从这两个函数的计算复杂度来看的话,reverse 函数额外消耗的 CPU 资源会更小些。

从查询效率上看,使用 hash 字段方式的查询性能相对更稳定一些。因为 crc32 算出来的值虽然有冲突的概率,但是概率非常小,可以认为每次查询的平均扫描行数接近 1。而倒序存储方式毕竟还是用的前缀索引的方式,也就是说还是会增加扫描行数。小结

Q&A

char 和 varchar 可以设置长度,这个长度是干什么的,对于不同字符集又有什么影响?一直看到不同的解释,恳请老师专业的解释一下

char(N)表示“最长存N,但是如果字符串小于N,用空格补到N”

varchar(N)表示“最长存N,如果字符串小于N,按照实际长度来存”

什么的,对于不同字符集又有什么影响?一直看到不同的解释,恳请老师专业的解释一下

char(N)表示“最长存N,但是如果字符串小于N,用空格补到N”

varchar(N)表示“最长存N,如果字符串小于N,按照实际长度来存”

本文地址:https://blog.csdn.net/MariaOzawa/article/details/107320595

如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!

mysql索引 钱缀_mysql字符串前缀索引相关推荐

  1. MySQL字符串前缀索引详解

    MySQL字符串前缀索引详解 1. 前缀索引与全部索引概念 2. 前缀索引与全部索引数据结构 3. 前缀索引与全部索引引执行流程 4. 前缀索引长度如何取舍 5. 前缀索引对覆盖索引的影响 6. 其他 ...

  2. MySQL索引效率对比_mysql下普通索引和唯一索引的效率对比

    抓的这几个都是第一次执行的,刷了几次后,取平均值,效率大致相同,而且如果在一个列上同时建唯一索引和普通索引的话,mysql会自动选择唯一索引. 谷歌一下: 唯一索引和普通索引使用的结构都是B-tree ...

  3. mysql索引命名规范_mysql使用规范-索引规范

    (1)单张表中索引数量不超过5个. (2)单个索引中的字段数不超过5个. (3)索引名必须全部使用小写. (4)非唯一索引按照"idx_字段名称[_字段名称]"进用行命名.例如id ...

  4. mysql索引 钱缀_【mysql索引】之前缀索引-Go语言中文社区

    第零步:简单说一说 有时候需要索引很长的字符(例如BLOB,TEXT,或者很长的VARCHAR),这样会使得索引又大又慢. 改良方法有:1.改用哈希索引(这里不讲).2.使用字符串的前几个字符作为索引 ...

  5. mysql索引 钱缀_-MySQL索引背后的数据结构及算法原理--索引选择性与前缀索引

    既然索引可以加快查询速度,那么是不是只要是查询语句需要,就建上索引?答案是否定的.因为索引虽然加快了查询速度,但索引也是有代价的:索引文件本身要消耗存储空间,同时索引会加重插入.删除和修改记录时的负担 ...

  6. mysql数据库最多列_mysql多列索引和最左前缀

    数据库的索引可以加快查询速度,原因是索引使用特定的数据结构(B-Tree)对特定的列额外组织存放,加快存储引擎(索引是存储引擎实现)查找记录的速度. 索引优化是数据库优化的最重要手段. 如果查询语句使 ...

  7. mysql btree检索策略_MySQL之Btree索引和HASH索引的区别以及索引优化策略

    索引是帮助mysql获取数据的数据结构.最常见的索引是Btree索引和Hash索引. 不同的引擎对于索引有不同的支持:Innodb和MyISAM默认的索引是Btree索引:而Mermory默认的索引是 ...

  8. mysql 隐藏中间四位_MySQL知识体系——索引

    本文直切主题,针对InnoDB引擎描述索引及优化策略.在开始之前,需要读者了解: 二叉查找树(包括2-3查找树.红黑树等数据结构) MySQL的InnoDB引擎基础知识 索引初探 要了解索引,当然要了 ...

  9. mysql索引添加缓慢_mysql 中 创建索引很慢,怎么解决

    引用 如题,我现在 有一张表...里面的数据大概就是 800w 条左右,当然以后也可能会更多,这个表会频繁的更新! 我现在的处理是:每次更新 都会先truncate 这张表(因为里面的数据 已经不需要 ...

最新文章

  1. windowservice创建及部署
  2. ERC721关于NFT的学习和理解
  3. 设计一个健壮的大型文件下载系统
  4. 18个最新的极简主义风格网站
  5. Windows下cmd常用命令【5分钟掌握】
  6. leetcode 1339. Maximum Product of Splitted Binary Tree | 1339. 分裂二叉树的最大乘积(树形dp)
  7. 测试—自定义消息处理
  8. mysql 复制数据_MySQL快速复制数据库数据表的方法
  9. python基础知识7——迭代器,生成器,装饰器
  10. Java面试题全集(上)
  11. android http统一回调,Android使用OKHttp构建带进度回调的多文件下载器
  12. raid控制器缓存和硬盘缓存
  13. Linux入门参考文档(超详细)
  14. 数据安全与销毁:数据安全已经上升到了国家战略层面
  15. 经济寒冬影响存储专业人士
  16. 基于管道过滤器实现的kwic实现
  17. 区块链技术的核心是解决生产关系的问题
  18. pandas读取文件数据、存储详解笔记
  19. IT人员如何搭建自己的个人网站并获取一个免费的主机服务器?
  20. 友基s400手写板怎么安装_手写板安装,教您电脑手写板怎么安装

热门文章

  1. centos 升级mysql_CentOS 7下升级MySQL5.7.23的一个坑
  2. iphone屏蔽系统更新_iPhone 屏蔽系统更新教程,支持 iOS13 / iOS12 系统
  3. excel数据库_中琅条码打印软件数据库连接详解
  4. 神经网络谐振子模型的一组数据
  5. 行转列 oracle nvl,oracle 行转列 decode
  6. 计算机软件集成项目工程师上海,2021年上海系统集成项目管理工程师报名时间和报名入口...
  7. P7 频域分析法-《Matlab/Simulink与控制系统仿真》程序指令总结
  8. 2.16 关于 Python Numpy 的说明-深度学习-Stanford吴恩达教授
  9. 6.4 如何初始化聚类中心-机器学习笔记-斯坦福吴恩达教授
  10. STM32 进阶教程 6 -  汇编与C混合编程