美文网首页
MySQL 改进的LRU算法

MySQL 改进的LRU算法

作者: persisting_ | 来源:发表于2019-05-12 16:50 被阅读0次

1 概述

(本文属于阅读笔记,基本上翻译 MySQL reference 15.5.1 Buffer Pool

在MySQL reference介绍InnoDB内存中的数据结构中介绍了缓冲池的改进LRU算法,MySQL使用列表来实现缓冲池。当缓冲池空间不够时,缓冲池中最近最少被使用的页会被淘汰,新的页会被加入到列表的中间位置。采用中间插入(midpoint,注意这里虽然说是中间,但是不一定是严格的中间位置,比如默认配置下,该位置从表头计算为列表5/8的位置)的策略使得列表被分成了如下两个子列表:

  • 在表头保存的是最近被访问的新("young")页子表。
  • 在表尾是最近没有被访问的旧页子表。

具体的可以参考官网的图如下:

缓冲池列表.JPG

2 实现

MySQL改进的LRU算法将那些被频繁查询的页放在表头部的新页子表中,表尾的旧页子表则放那些较少使用的页,这些页也是淘汰的候选页。

默认配置下,算法操作如下:

  • 3/8的列表划分为尾部的旧页子表,存放那些可以淘汰的旧页。

  • 列表中点(midpoint,注意这里虽然说是中点,但是不一定是严格的中间位置,比如默认配置下,该位置从表头计算为列表5/8的位置)是新页子表和旧页子表的边界。

  • 当 InnoDB从磁盘读一页数据并放入缓冲池中时,它会将此页插入到列表的中间位置(也就是旧页子表的头部)。发生读页一般是因为用户查询数据,或者InnoDB自动触发的read-ahead操作。

  • 读取旧页子表中的数据会让该页变新(年轻,young),并将其移动到缓冲池的头部(也就是新页子表的头部)。如果是因为用户查询读造成该页被读取,则该页会立即被标识为年轻,并直接插入到列表头部。如果该页因为read-ahead被读取,则首次读取该页并放入缓冲池时不会将该页放入新页列表头部,而是放入列表中点,需要再次读取才能使该页被标识为年轻状态。(该页可能一直没有被标识为年轻状态直到被淘汰)。

MySQL通过参数innodb_old_blocks_pct来控制旧页子表占整个缓冲池列表的比例,默认为37,也就是上面说的3/8。

默认的缓冲中的页在第一次被读取时(也就是命中缓存)会被移动到新页子表头部,意味着其会长期待在缓冲池中不会被淘汰。这样就会存在一个问题,一次表扫描(比如使用mysqldump或者没有条件的select查询)可能会将大量数据放入缓存中,并淘汰相应数量的旧数据,但是可能这些数据只使用一次,后面不再使用;同样地,因为MySQL自动触发的read-ahead也会在下一次访问该页时被放入新页子表头部。这些情形会将本应会被频繁使用的页移动到旧页子表中。

所以MySQL采用如下方式避免上面的问题,新读取的页会放入缓冲池中点,也即默认情况下所有的新读取的页都会被插入到尾部开始的3/8位置处。在后面的第一次命中(被访问时)的页会被移动到列表的头部。因此,那些读入缓存但是后面从来不会被访问的页也从不会被放入列表的头部,也就会在后面被从缓冲池淘汰。

read-ahead、或者表、索引扫描都会造成类似的缓冲池扰动。在这些情景下,页通常会被读取(命中)若干次,然后从此不再访问。为此MySQL提供了配置参数innodb_old_blocks_time用来指定该页在放入缓冲池后第一次读之后一定时间内(时间窗口,单位毫秒,milliseconds)读取不会被标识为年轻,也就是不会被移动到列表头部。参数innodb_old_blocks_time的默认值是1000,增大这个参数将会造成更多的页会更快的从缓冲池中被淘汰。

相关文章

  • MySQL 改进的LRU算法

    1 概述 (本文属于阅读笔记,基本上翻译 MySQL reference 15.5.1 Buffer Pool )...

  • LRU算法/最近最久未使用算法 与Clock算法

    一 LRU算法 LRU算法在操作系统的内存管理,MySQL页管理,redis的缓存管理中都有使用到,这是一种通用的...

  • Algorithm进阶计划 -- LRU 与 LFU 算法

    LRU 与 LFU 算法LRU 算法LFU 算法 1. LRU 算法 LRU 算法是一种缓存淘汰策略,是 Leas...

  • LRU

    LRU: 缓存置换算法,mysql page, redis缓存等使用实现一个LRU, 主要需要考虑几点:一个双向链...

  • 缓存淘汰算法--LRU算法

    缓存淘汰算法--LRU算法 1. LRU 1.1 原理 LRU(Least recently used,)算法根据...

  • 缓存 -- LRU算法

    什么是LRU算法 LRU算法的全称Least Recently Used。即最近最少使用。LRU算法是内存管理的一...

  • 缓存相关

    cache淘汰算法:LIRS 算法 缓存那些事 Redis缓存淘汰算法,LRU算法,LRU算法讲解

  • LRU Cache理解

    LRU Cache 1. 概念解析,LRU Cache算法 Lru Cache算法就是Least Recently...

  • 高级算法

    请你讲讲LRU算法的实现原理? 考察点:LRU算法参考回答: ①LRU(Least recently used,最...

  • LruCache原理和源码分析(一)

    一、Lru算法 Lru算法:最近最少使用算法; 算法的核心关键类是LinkedHashMap。 基本算法:将key...

网友评论

      本文标题:MySQL 改进的LRU算法

      本文链接:https://www.haomeiwen.com/subject/rxgcaqtx.html