高性能索引优化策略(五):覆盖索引性能很高,怎么回事?

一个通常的建议是为WHERE条件创建索引,但这其实是片面的。索引应当为全部查询设计,而不仅仅是WHERE条件。索引确实能有效地查找数据行,但MySQL也能够使用索引获取列数据,这样根本不需要去读取一行数据。毕竟,索引的叶子节点包含了索引对应的值。当年能够读取索引就能够拿到想要的数据时为什么还去读数据行呢?当索引包含了所有查询的数据时,这个索引就称之为覆盖索引

覆盖索引能够成为一个非常有力的工具并且能够显著改善性能。考虑一下不读数据只需要读取索引的情况:

  • 索引值通常会比整个行存储空间小很多,因此MySQL只读取索引值时可以只读取很少的数据。这对于缓存负荷来说十分重要——响应时间大部分消耗在复制数据。对于磁盘I/O而言也是一样,因为索引数据相比行数据存储空间小很多,因此更节省I/O负载和内存占用(对于MyISAM引擎更显著,因为MyISAM可以将索引打包使得存储空间更小)。
  • 索引是按索引值的顺序存储的,因此I/O访问跨度相比随机磁盘位置获取行数据而言消耗的I/O频次更少。对于某些存储引擎,例如MyISAM和Percona XtraDB,你甚至能够使用OPTIMIZE优化表获得完全有序的索引,这会使得简单范围的查询完全使用顺序访问。
  • 有些存储引擎,例如MyISAM,MySQL内存中只缓存索引。由于操作系统为MyISAM缓存了数据,访问时通常需要一个系统调用。这可能导致巨大的性能影响,尤其是对于缓存负荷场景来说,系统调用对于数据访问来说是最昂贵的代价。
  • 由于InnoDB的聚集索引,覆盖索引对于InnoDB来说十分有帮助。InnoDB的辅助索引在其叶子节点中保存了行的主键值。因此,辅助索引覆盖查询后可以避免进行主键查询。

在所有的场景中,最典型的就是相比查找数据行,只包含索引列的查询的代价相当低。需要注意的是,聚集索引并不是任意类型的索引。聚集索引必须存储索引数据列对应的值。哈希,空间和全文索引并没有存储这些值,因此MySQL只能使用二叉树去覆盖查询。而且,不同的存储引擎实现覆盖索引的方式不同,并且并不是全部的存储引擎都支持覆盖索引(例如Memory存储引擎当前就不支持)。

当你验证查询中索引使用了覆盖索引时,使用Explain语句时,会在Extra列中看到“Using index”。例如,在store_goods表有一个(shop_id, goods_category_id1)的多列索引。MySQL可以在查询返回数据只有这两列时使用索引:

EXPLAIN SELECT `goods_category_id1`,`shop_id` FROM `store_goods` WHERE 1
覆盖索引生效
覆盖索引生效

覆盖索引查询有些细节能够停用这样的优化。MySQL查询优化器在执行查询时会判断索引是否覆盖到。假设索引覆盖了WHERE条件,但没有覆盖整个查询。如果评估结果不走覆盖索引,那么MySQL 5.5及以前的版本会直接获取数据行,即便是不需要这些数据,然后才会过滤掉。

让我们看一下为什么这种情况会发生,然后如何重写查询以便解决这个问题。首先查询是这样的:

EXPLAIN SELECT * FROM products WHERE actor='SEAN CARREY' AND title like '%APOLLO%'

这个时候的结果是不会走覆盖索引,而是普通的索引,这是因为:

  • 没有索引覆盖了查询数据列,因为我们从数据表读取了全部列并且没有索引列覆盖了全部列。理论上,MySQL还有一个快捷方式可以使用,那就是WHERE条件中使用了索引覆盖的列,因此MySQL可以先使用这个索引找到对应的actor,然后在检查他们的title是否匹配,然后在读取满足条件的全部的数据行。
  • 对于早期的低版本的存储引擎API(MySQL 5.5以前的版本)来说,MySQL无法在索引中使用LIKE操作,而只支持简单的比较操作(=,IN,>=)。MySQL可以在索引中使用前缀匹配的LIKE查询,这是因为它可以将它们转换为比较操作。但是前导通配符(也就是LIKE中前置的%)导致存储引擎无法评估匹配条件。因此,MySQL会获取行数据再比较,而不是索引的值。

有一种方式可以使用巧妙的组合索引和重写查询条件。我们可以将索引扩展到(artist, title, prod_id),然后像下面那样重写查询语句:

EXPLAIN SELECT * 
FROM products
    JOIN (
    SELECT prod_id
    FROM products
    WHERE actor='SEAN CARREY' AND TITLE LIKE '%APOLLO%'
 ) AS t1 ON (t1.prod_id=products.prod_id)
利用子查询使用覆盖索引
利用子查询使用覆盖索引

我们称之为“递延JOIN(deferred join)”,因为它延迟了列的访问。在第一阶段的查询中,当它在子查询中找到了匹配的行的过程中,MySQL使用了覆盖索引。虽然在整个查询中没有覆盖到,但总比没有的好。

这种优化的效果好坏取决于WHERE条件查找到了多少行数据。假设products表包含了上百万行的数据。可以对比一下这两种查询的性能对比,总的数据为100万行。

  • 第一种情况:有30000个products的actor是“SEAN CARREY”,其中20000个的title包含“APOLLO”;
  • 第二种情况:有30000个products的actor是“SEAN CARREY”,其中40个的title包含“APOLLO”;
  • 第三种情况:有50个products的actor是“SEAN CARREY”,其中10个的title包含“APOLLO”。

对比结果如下表。

数据集 原始查询 优化后查询
第一种情况 5qps 5qps
第二种情况 7qps 35qps
第三种情况 2400qps 2000qps

结果的解释如下:

  • 在第一种情况中,查询返回了很大的结果集,因此看不到优化效果。大部分时间花在了读取和发送数据。
  • 在第二种情况中,使用覆盖索引后子查询过滤得到了一个小的结果集,这样优化的效果是性能提升了5倍。产生这种效果的原因是相比查出30000行的数据集,这里只需要读取40行。
  • 第三种情况显示了子查询失效了。覆盖索引过滤返回的结果集太少了,导致子查询的代价比直接从数据表读取数据还要高。

在大多数存储引擎中,一个索引只能够覆盖访问列是索引的一部分。然而,InnoDB实际上会做进一步的优化。想想InnoDB的的辅助索引在叶子节点中存储了主键的值。这意味着InnoDB的辅助索引实际上有了额外的列帮助InnoDB使用覆盖索引。
例如,sakila.actor表使用了InnoDB,然后在last_name有一个索引,因此这个索引能够覆盖或者主键actor_id的查询——即便这个列并不是索引的一部分。

EXPLAIN SELECT actor_id, last_name
FROM sakila.actor WHERE last_name = 'HOPPER'
辅助索引可以覆盖主键查询
辅助索引可以覆盖主键查询
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345

推荐阅读更多精彩内容