数据库存储结构
记录是按照行来存储的,但是数据库的读取并不以行为单位。在数据库中,不论读一行,还是读多行,都是将这些行所在的页进行加载。也就是说,数据库管理存储空间的基本单位是页(Page)。同时在数据库中,还存在这区(Extent),段(Segment)和表空间(Tablespace)。其关系如下:
- 区:比页大一级的存储结构,在InnoDB存储引擎中,一个区会分配64个连续的页。因为InnoDB中页大小默认是16KB,所以一个区的大小是1MB。
- 段:由一个区或多个区组成,区在文件系统中是一个连续分配的空间,不过在段中不要求区与区之间相邻。段是数据库中的分配单位,不同类型的数据库对象会以不同的段形式存在。当我们创建数据库的时候,就会相应创建对应的段,比如创建一张表时会创建一个表段,创建一个索引时会创建一个索引段。
- 表空间:是一个逻辑容器,表空间存储的对象是段,在一个表空间中可以有一个或多个段,但是一个段只能属于一个表空间。数据库由一个或多个表空间组成的,表空间从管理上可以划分为系统表空间,用户表空间,撤销表空间,临时表空间。
InnoDB中存在两种表空间:共享表空间和独立表空间。共享表空间意味着多张表公用一个表空间。独立表空间意味着每张表有一个独立的表空间,也就是数据和索引信息会保存在自己的表空间,可以在不同的数据库之间进行迁移。 - 页:数据库I/O操作的最小单位是页,与数据库中相关的内容都会存储在页结构中。页包括7个部分,分为3类:
(1)文件通用部分:文件头,文件尾。通过文件头和文件尾校验的方式来确保页的传输是完整的。文件头中存储两个指针,分别指向上一个数据页和下一个数据页。文件尾的校验方式采用来Hash算法进行校验,通过文件尾的校验和文件头的校验对比;
(2)记录部分:最小和最大记录,用户记录,空闲空间;
(3)索引部分:页目录,起到了记录的索引作用。在页中,记录是以单项链表的形式进行存储。在页目录中提供二分查找方法。
B+树索引
MySQL的InnoDB存储引擎采用B+树作为索引:
- 每个节点都是一个页,每次新建节点的时候,就会申请一个页空间;
- 叶子节点,B+树最底层的节点,节点的高度为0,存储行记录;
- 非叶子节点,节点的高度大于0,存储索引键和页面指针,并不存储记录本身;
如果通过 B+ 树的索引查询行记录,首先是从 B+ 树的根开始,逐层检索,直到找到叶子节点,也就是找到对应的数据页为止,将数据页加载到内存中,页目录中的槽(slot)采用二分查找的方式先找到一个粗略的记录分组,然后再在分组中通过链表遍历的方式查找记录。
数据库缓冲池
磁盘 I/O 需要消耗的时间很多,而在内存中进行操作,效率则会高很多,为了能让数据表或者索引中的数据随时被我们所用,DBMS 会申请占用内存来作为数据缓冲池。
缓冲池管理器会尽量将经常使用的数据保存起来,在数据库进行页面读操作的时候,首先会判断该页面是否在缓冲池中,如果存在就直接读取,如果不存在,就会通过内存或磁盘将页面存放到缓冲池中再进行读取。
当我们对数据库中的记录进行修改的时候,首先会修改缓冲池中页里面的记录信息,然后数据库会以一定的频率刷新到磁盘上。注意并不是每次发生更新操作,都会立刻进行磁盘回写。缓冲池会采用一种叫做 checkpoint 的机制将数据回写到磁盘上,这样做的好处就是提升了数据库的整体性能。
当缓冲池不够用时,需要释放掉一些不常用的页,就可以采用强行采用 checkpoint 的方式,将不常用的脏页回写到磁盘上,然后再从缓冲池中将这些页释放掉。这里脏页(dirty page)指的是缓冲池中被修改过的页,与磁盘上的数据页不一致。
缓冲池操作
- 查看缓冲池大小
- MySQL MyISAM 存储引擎,它只缓存索引,不缓存数据,对应的键缓存参数为 key_buffer_size
- InnoDB 存储引擎,可以通过查看 innodb_buffer_pool_size 变量来查看缓冲池的大小
mysql > show variables like 'innodb_buffer_pool_size'
- 修改缓冲池大小
//134217728=128M mysql > set global innodb_buffer_pool_size = 134217728;
- 开启多个缓冲池
在 InnoDB 存储引擎中,可以同时开启多个缓冲池。- 首先需要将innodb_buffer_pool_size参数设置为大于等于 1GB,这时innodb_buffer_pool_instances才会大于 1。在 MySQL 的配置文件中对innodb_buffer_pool_size进行设置,大于等于 1GB。
- 然后再针对innodb_buffer_pool_instances参数进行修改。
页面加载方式
如果缓冲池中没有该页数据,那么缓冲池有3种读取数据的方式:
- 内存读取:如果数据存在与内存,直接从内存中读取,效率高;
- 随机读取:如果数据没有在内存中,需要从磁盘上对页进行查找,将页从磁盘服务器缓冲区传输到数据库缓冲区中,效率低;
- 顺序读取:批量读取方式,请求的数据在磁盘上通常都是相邻的,顺序读取可以批量读取页面,这样一次性加载到缓冲池中就不需要再对其他页面单独进行I/O操作了。采用批量读取的方式,即使是从磁盘上进行读取,效率也比从内存中只单独读取一个页的效率高;
查询优化器的成本,统计刚才执行的SQL语句需要加载多少个页面:
mysql > show status like 'last_query_cost';