1继续
上一篇: MySQL系列:事务隔离
索引,说到索引 一般遇到某条 sql 查询比较慢,然后说加个索引吧之类的解决方案。
什么是索引? 索引是如何工作的?
一句话简单来说,索引就是为了提高查询效率,就像书的目录一样
,根据目录能更快的找到自己想要的东西。
2索引的常见模型
索引是为了提高查询效率,但实现索引的方式有很多,有三种常见、也比较简单的数据结构,分别是哈希表
、有序数组
和搜索树
。
哈希表是一种键 - 值(key-value)存储数据的结构,根据键 key,就可以找到其对应的值 Value。哈希的思路很简单,把值放在数组里,用一个哈希函数把 key 换算成一个确定的位置,然后把 value 放在数组的这个位置。
多个 key 经过 hash 函数的计算,会出现同一个值的情况,处理这种问题的方法之一就是拉出一个链表。
举例,假设,现在维护着一个身份信息和姓名表,需要根据身份证号查找对应的姓名,这时对应的 hash 索引如下图所示:
图中user4 和 user2算出来的值都是n,但是没关系,后面跟了一个链表。假设你现在要查ID_card_n2对应的名字是什么,步骤就是先将ID_card_n2通过 hash 计算出 n,然后顺序遍历找到 user2。
需要注意图中四个ID_card_n的值不是递增的,这样做的好处是新增 user 的速度会很快,只需要往后追加。缺点不是有序的,所以hash 做区间查询的速度是很慢的。
假设现在要找身份证在[ID_card_x,ID_card_y]的所有用户,那么就要全部扫描一遍。
所以哈希表这种结构只适合等值查询的场景。
不过有序数组在等值查询和范围查询的场景中,性能都非常优秀。继续上面例子,假设用有序数组来实现的话,如下图:
假设身份证号没有重复,这个数组就是按照身份证号递增顺序保存的。这个时候如果你要查询ID_card_n2对应的名字,用二分法就可以快速得到,这个时间复杂度是O(log(N))。
上面这个索引结构支持范围查询,如果要查询[ID_card_x,ID_card_y]区间的 user,先用二分法查找ID_card_x(如果不存在ID_card_x,就找大于ID_card_x的第一个 user),然后向右遍历,直到查到第一个大于ID_card_y 的身份证号,退出循环。
如果仅仅看查询效率,有序数组就是最好的数据结构了。但是更新数据的时候就麻烦了,往中间插入一个记录就必须挪动后面的所有记录,成本太高。
所以有序数组索引只适用于静态存储引擎。比如 配置文件这类,不需要怎么修改的数据。
二叉树,一个经典的数据结构,如果用二叉树来实现上面的根据身份证号查询姓名的话,如下图所示:
二叉搜索树的特点是,父节点左子树所有节点的值小于父节点的值,右子树所有节点的值大于父节点的值。 这时候要查ID_card_n2的话,按照图中搜索顺序就是按照userA -> userC -> userF -> user2这个路径得到,时间复杂度是O(log(N))。
维持复杂度O(log(N)),要保持这棵树是平衡二叉树,更新的时间复杂度也是O(log(N))。
树可以有二叉,也可以有多叉。多叉树就是每个节点有多个儿子,儿子之间的大小保证从左到右递增。二叉树是搜索效率最高的,但是实际上大多数的数据库存储却并不使用二叉树。其原因是,索引不止存在内存中,还要写到磁盘上。
那么问题来了,如果一棵 100 万节点的平衡二叉树,树高 20。查询一次就需要需要访问 20 个数据块。在机械硬盘时代,从磁盘随机读一个数据块需要 10 ms 左右的寻址时间。也就是说,对于一个 100 万行的表,如果使用二叉树来存储的话,单独访问一个行可能需要 20 个 10 ms 的时间,太慢了。
所以为了让一个查询尽量少地读磁盘,就必须让查询过程访问尽量少的数据块。那么,就不应该使用二叉树,而是要使用“N 叉”树。这里,“N 叉”树中的“N”取决于数据块的大小。
N 叉树由于在读写上的性能优点,以及适配磁盘的访问模式,被广泛应用在数据库引擎中。
在 MySQL 中,索引是在存储引擎层实现的,所以并没有统一的索引标准,即不同存储引擎的索引的工作方式并不一样。而即使多个存储引擎支持同一种类型的索引,其底层的实现也可能不同。
3InnoDB 的索引模型
在InnoDB中,表都是根据主键顺序以索引的形式存放的,这种存储方式的表叫索引组织表
。InnoDB使用了B+树索引模型,所以数据都存在 B+树中。
每个索引在InnoDB中都有一个颗对应的 B+树。
假设,有一个主键列为 id 的表,表中有字段 k,并且在 k 上有索引。
CREATE TABLE `aaaqi_demo4`
(
`id` int COMMENT 'id',
`k` int NOT NULL COMMENT 'k',
`name` varchar(16) COMMENT 'name',
PRIMARY KEY (`id`),
INDEX (k)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4;
表中r1~r5的(id,k)值分别是(100,1)、(200,2)、(300,3)、(500,5) 和 (600,6),两棵树的如下图所示:
图中索引分为主键索引和非主键索引。
主键索引的叶子节点存的是整行数据,在InnoDB中主键索引也叫聚簇索引。
非主键索引叶子节点存的是主键的值,在InnoDB中非主键索引也叫二级索引。
4基于主键索引和普通索引的查询有什么区别?
sql:select * from T where id = 500,即主键查询方式,只需搜索id 这颗 B+树。
sql:select * from T where k = 5,即普通索引查询方式,要先搜索 k 索引树,得到 id 值为 500 再到 id 索引树搜索一次,这个过程叫回表
。
也就是说非主键索引查询要多扫描一棵索引树。
5索引维护
B+ 树为了维护索引有序性,继续以上面图为例,如果插入新的行 id 值为 700,则只需要在 R5 的记录后面插入一个新记录。如果新插入的 id 值为 400,就相对麻烦了,需要逻辑上挪动后面的数据,空出位置。
更坏的情况是,如果 R5 所在的数据页已经满了,根据 B+ 树的算法,这时候需要申请一个新的数据页,然后挪动部分数据过去。这个过程称为页分裂
。在这种情况下,性能会受到影响。
除了性能外,页分裂操作还影响数据页的利用率。原本放在一个页的数据,现在分到两个页中,整体空间利用率降低大约 50%。
当然有分裂就有合并。当相邻两个页由于删除了数据,利用率很低之后,会将数据页做合并。合并的过程,可以认为是分裂过程的逆过程。
假设建表语句里一定要有自增主键,那么哪些场景下应该使用,哪些场景下不应该?
自增主键是指自增列上定义的主键,在建表语句中一般是这么定义的: NOT NULL PRIMARY KEY AUTO_INCREMENT。
插入新记录的时候可以不指定 id 的值,系统会获取当前 id 最大值加 1 作为下一条记录的 id 值。
也就是说,自增主键的插入数据模式,每次插入一条新记录,都是追加操作,都不涉及到挪动其他记录,也不会触发叶子节点的分裂。
而有业务逻辑的字段做主键,则往往不容易保证有序插入,这样写数据成本相对较高。
除了考虑性能外,还可以从存储空间的角度来看。假设表中确实有一个唯一字段,比如字符串类型的身份证号,那应该用身份证号做主键,还是用自增字段做主键?
由于每个非主键索引的叶子节点上都是主键的值
。如果用身份证号做主键,那么每个二级索引的叶子节点占用约 20 个字节,而如果用整型做主键,则只要 4 个字节,如果是长整型(bigint)则是 8 个字节。
主键长度越小,普通索引的叶子节点就越小,普通索引占用的空间也就越小。
所以,从性能和存储空间方面考量,自增主键往往是更合理的选择。
如果我非要用业务字段直接做主键行不行?
只有一个索引; 该索引必须是唯一索引。
由于没有其他索引,那么也就不用考虑其他索引的叶子节点大小的问题。
直接将这个索引设置为主键,可以避免每次查询需要搜索两棵树。
6扩展
重建索引,比如 k 字段,sql可以这么写:
alter table T drop index k;
alter table T add index(k);
如果要重建主键索引,sql可以这么写:
alter table T drop primary key;
alter table T add primary key(id);