Innodb_buffer_pool_read_requests探寻之路

Innodb_buffer_pool_read_requests探究之路

Innodb_buffer_pool_read_requests,可以用来计算innodb命中率。但是这个值具体代表什么呢?

官方文档

先从官方文档入手,文档就一句话。

The number of logical read requests.

解释超级简单,代表的是逻辑读的次数。但是什么是逻辑读呢?百度了一圈,涉及到的文章也都是解释说是逻辑读或者直接说是read的次数,都是模糊不清的解释。也想过用google,但是自从vps欠费后,就没有然后了。那就只能从源代码里面找了。

官方源代码

下载的源代码是官方的mysql-boost-5.7.29.tar.gz。

本人的c++水平接近于0。只限于大学的时候学过c语言,而且毕业到现在也快5年了,基本上也都还给老师了。工作的时候,一般使用的也都是python。还好语言都是互通的,搭配注释,还能看懂个大概。

用vscode打开源代码目录,全局搜索Innodb_buffer_pool_read_requests关键字。
找到了如下代码


ulint innodb_buffer_pool_read_requests; /*!< buf_pool->stat.n_page_gets */

/******************************************************************//**
Function to pass InnoDB status variables to MySQL */
void
srv_export_innodb_status(void)
/*==========================*/
{
   省略了部分代码
    export_vars.innodb_buffer_pool_read_requests = stat.n_page_gets;
   省略了部分代码
}

/* innodb_buffer_pool_read_requests, the number of logical
read requests */
case MONITOR_OVLD_BUF_POOL_READ_REQUESTS:
    buf_get_total_stat(&stat);
    value = stat.n_page_gets;
    break;

从上面涉及到的这些代码来看,Innodb_buffer_pool_read_requests背后的值应该就是n_page_gets。

接下来全局搜索n_page_gets,找到如下代码。

/** @brief The buffer pool statistics structure. */
struct buf_pool_stat_t{
    ulint   n_page_gets;    /*!< number of page gets performed;
                also successful searches through
                the adaptive hash index are
                counted as page gets; this field
                is NOT protected by the buffer
                pool mutex */
    省略部分代码
};

这个是buffer pool的状态的结构体,类似于一种数据类型,可以用来保存各种buffer pool的状态值。这里的解释相对逻辑读来说就更加清晰一点。涉及到被操作的page的次数,包括adaptive hash indexde 的page。但是具体是什么,感觉还不是很清楚,接下来就要升级探索方法了。

调试mysql

搭建mysql的调试环境。对于一个没写过c++程序的人来说,调试这么大一个软件就相当于一个只玩过街机里面的飞机游戏的人尝试去开真飞机。艰辛的过程就不说了,大概花了两天吧,终于把调试环境搭建起来了(用的vscode在mac本地上调试)。

我比较关心的是对于select语句,这个值增加到底表示什么意思,那么调试语句就决定用select了。

调试语句,表
mysql> show create table t1;
+-------+---------------------------------------------------------------------------------------+
| Table | Create Table                                                                          |
+-------+---------------------------------------------------------------------------------------+
| t1    | CREATE TABLE `t1` (
  `a` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+-------+---------------------------------------------------------------------------------------+
mysql> insert into t1() values(1),(2),(10),(11),(12);
mysql> select * from t1;
mysql> select * from t1 limit 2;
mysql> select * from t1 limit 3;
mysql> select * from t1 limit 4;
mysql> select * from t1 where a=1;

t1表一个int字段,而且只有5条记录,一个page应该就能存放所有数据的。执行完上面的语句,逻辑读的值分别增加了6,2,3,4,6。从结果来看感觉和页似乎没啥关系,倒是查询的结果行数影响比较大。这个时候就要靠打断点来理解这个值的意思了。

调试的关键就是打断点。

因为测试的是select的语句,所以一开始直接在处理select语句的do_select函数打断点,然后一步一步调试,探究这个值。调试了好几次,被淹没在了各种不认识的函数和语法当中爬不出来,这条路暂时是走不通了,就算走通,估计也要非常久了。

换一条路,直接全局搜索n_page_gets,在涉及到该值计算的函数都打上断点。

多次调试,发现下面两个函数会一直被调用。都是先调用buf_page_get_gen,然后再多次调用buf_page_optimistic_get。

/** This is the general function used to get access to a database page.
省略部分代码
@return pointer to the block or NULL */
buf_block_t*
buf_page_get_gen(const page_id_t&   page_id,省略部分代码)
{
省略部分代码
    buf_pool->stat.n_page_gets++;
省略部分代码
}

This is the general function used to get optimistic access to a database page.
省略部分代码
buf_page_optimistic_get(buf_block_t*    block,  /*!< in: guessed buffer block */
/*====================*/
省略部分代码
{
省略部分代码
    buf_pool->stat.n_page_gets++;
省略部分代码
}

从注释来看这两个函数都是用来从数据页当中获取数据用的。而且这两个函数每次调用,n_page_gets都会加1。一个sql语句会多次调用上面的函数,而且调用次数和Innodb_buffer_pool_read_requests的增加值也一致。也就是说关键点就是上面两个函数了。

仔细观察这两个函数。buf_page_get_gen有一个page_id参数,然后返回一个block的指针。记得官方文档说过page也能叫做block,也就是说是通过page_id来返回对应page的指针。buf_page_optimistic_get有一个block的指针参数,这个block应该就是第一个函数返回的那个值。多次调试发现也确实如此,一个select语句多次调用这些函数,所用的都是同一个page(因为第一个page_id和后来的block当中的page_id都是一致的)。

但是为什么多次调用呢,而且似乎和行数有一定关系呢。这个时候就需要查看上游到底是什么再调用这两个函数了。通过call stack发现上层的关键函数是下面三个,调用关系是ha_rnd_next调用index_read或者general_fetch,然后再调用buf_page_get_gen或者buf_page_optimistic_get。

/**
  Read next row via random scan.

  @param buf  Buffer to read the row into

  @return Operation status
    @retval 0     Success
    @retval != 0  Error (error code returned)
*/

int handler::ha_rnd_next(uchar *buf)
{
省略部分代码
}

/**********************************************************************//**
Positions an index cursor to the index specified in the handle. Fetches the
row if any.
@return 0, HA_ERR_KEY_NOT_FOUND, or error number */

int
ha_innobase::index_read(
/*====================*/
    uchar*      buf,        /*!< in/out: buffer for the returned
                    row */
    const uchar*    key_ptr,    /*!< in: key value; if this is NULL
                    we position the cursor at the
                    start or end of index; this can
                    also contain an InnoDB row id, in
                    which case key_len is the InnoDB
                    row id length; the key value can
                    also be a prefix of a full key value,
                    and the last column can be a prefix
                    of a full column */
    uint            key_len,/*!< in: key value length */
    enum ha_rkey_function find_flag)/*!< in: search flags from my_base.h */
{
省略部分代码
}

/***********************************************************************//**
Reads the next or previous row from a cursor, which must have previously been
positioned using index_read.
@return 0, HA_ERR_END_OF_FILE, or error number */

int
ha_innobase::general_fetch(
/*=======================*/
    uchar*  buf,        /*!< in/out: buffer for next row in MySQL
                format */
    uint    direction,  /*!< in: ROW_SEL_NEXT or ROW_SEL_PREV */
    uint    match_mode) /*!< in: 0, ROW_SEL_EXACT, or
                ROW_SEL_EXACT_PREFIX */
{
省略部分代码
}

从上面三个函数的注释来看,innodb是一次从一个page里面获取一行处理,然后循环处理到最后一行。所以buf_page_get_gen和buf_page_optimistic_get函数的调用次数会和行数有关系。

这里面还有一个小疑问,为什么有limit时,增加的数值和Innodb_buffer_pool_read_requests增加的数值一样,但是没有时却都比扫描的行数多了一次呢?

我的猜想是使用limit的时候知道需要几行,所以innodb去获取的时候就知道需要调用几次。但是其他语句都是不知道要返回几行的,需要全表扫描,那么等到全部行获取完成后还需要再调用一次,判断还有没有剩的。最后一次general_fetch函数的返回值也证实了我的猜测。最后一次调用的时候会返回error=137,也就是HA_ERR_END_OF_FILE错误,意味着扫到文件结尾了,不需要再扫了。

结论

这次探究之路到这里也就结束了。总结下来,Innodb_buffer_pool_read_requests的值代表的是page被处理的次数,就算是同一个page被处理多次也算是多次,而并非一次。

万事开头难啊,经历了从没写过c++,到成功调试mysql软件,并且查出来自己想要探究的内容,成就感还是挺足的。接下来会更多的使用这种方式去学习mysql,尝试着从根本上去理解它。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345