Linux 系统下MySQL 数据目录

MySQL 数据目录

1. MySQL8的主要目录结构

find / -name mysql

安装好MySQL 8之后,我们查看如下的目录结构:

[图片上传失败...(image-938026-1713883000041)]

1. 数据库文件的存放路径

MySQL数据库文件的存放路径:/var/lib/mysql/

MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件,之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中,这个目录就称为数据目录

MySQL把数据都存到哪个路径下呢?其实数据目录对应着一个系统变量datadir,我们在使用客户端与服务器建立连接之后查看这个系统变量的值就可以了。

show variables like 'datadir';
+---------------+-----------------+
| Variable_name | Value |
+---------------+-----------------+
| datadir | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.04 sec)

从结果中可以看出,当前MySQL的数据目录就是 /var/lib/mysql/

2. 相关命令目录

相关命令目录:/usr/bin(mysqladmin、mysqlbinlog、mysqldump等命令)和/usr/sbin。

[图片上传失败...(image-1bdbb-1713883000041)]

安装目录下非常重要的bin目录,它里面存储了许多关于控制客户端程序和服务器程序的命令(许多可执行文件,比如:mysql、mysqld、mysql_safe等)。而数据目录是用来存储MySQL在运行过程中产生的数据,注意区分开二者。

3. 配置文件目录

配置文件目录:/usr/share/mysql-8.0(命令及配置文件),/etc/my.cnf

[图片上传失败...(image-3ea2b7-1713883000041)]

2. 数据库和文件系统的关系

InnoDBMyISAM 这样的存储引擎都是把表存储在磁盘上的,操作系统用来管理的结构称为文件系统,所以用专业一点的话来表述就是:像 InnoDBMyISAM 这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候,这些存储引擎会从文件系统中把数据读出来返回给我们,当我们想写入数据的时候,这些存储引擎会把这些数据又写回文件系统。

1. 查看默认数据库

查看一下当前有哪些数据库:

SHOW DATABASES;

可以看到有4个数据库是属于MySQL自带的系统数据库。

  • mysql

    MySQL 系统自带的核心数据库,它存储了MySQL的用户账户和权限信息,一些存储过程、事件的定义信息,一些运行过程中产生的日志信息,一些帮助信息以及时区信息等。

  • information_schema

    MySQL 系统自带的数据库,这个数据库保存着MySQL服务器 维护的所有其他数据库的信息 ,比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据,而是一些描述性信息,有时候也称之为 元数据 。在系统数据库 information_schema 中提供了一些以innodb_sys 开头的表,用于表示内部系统表。

    USE information_schema;
    Database changed
    
    mysql> SHOW TABLES LIKE 'innodb_sys%';
    +--------------------------------------------+
    | Tables_in_information_schema (innodb_sys%) |
    +--------------------------------------------+
    | INNODB_SYS_DATAFILES |
    | INNODB_SYS_VIRTUAL |
    | INNODB_SYS_INDEXES |
    | INNODB_SYS_TABLES |
    | INNODB_SYS_FIELDS |
    | INNODB_SYS_TABLESPACES |
    | INNODB_SYS_FOREIGN_COLS |
    | INNODB_SYS_COLUMNS |
    | INNODB_SYS_FOREIGN |
    | INNODB_SYS_TABLESTATS |
    +--------------------------------------------+
    10 rows in set (0.00 sec)
    
  • performance_schema

    MySQL 系统自带的数据库,这个数据库里主要保存MySQL服务器运行过程中的一些状态信息,可以用来 监控 MySQL 服务的各类性能指标 。包括统计最近执行了哪些语句,在执行过程的每个阶段都花费了多长时间,内存的使用情况等信息。

  • sys

    MySQL 系统自带的数据库,这个数据库主要是通过 视图 的形式把 information_schemaperformance_schema 结合起来,帮助系统管理员和开发人员监控 MySQL 的技术性能。

2. 数据库在文件系统中的表示

使用 CREATE DATABASE 数据库名 语句创建一个数据库的时候,在文件系统上实际发生了什么呢?其实很简单,每个数据库都对应数据目录下的一个子目录,或者说对应一个文件夹,每当创建一个数据库时,MySQL会帮我们做这两件事:

  1. 数据目录下创建一个和数据库同名的子目录。

  2. 在与该数据库同名的子目录下创建一个名为db.opt的文件(仅限MySQL5.7及之前的版本),这个文件中包含了该数据库的各种属性,比如该数据库的字符集和比较规则。

    # MySQL5.7
    [root@onnoamysql57 dbtest1]# pwd
    /var/lib/mysql/dbtest1
    [root@onnoamysql57 dbtest1]# ll
    总用量 132
    -rw-r-----. 1 mysql mysql    61 4月  22 11:45 db.opt
    -rw-r-----. 1 mysql mysql  8588 4月  22 11:46 emp.frm
    -rw-r-----. 1 mysql mysql 98304 4月  23 20:34 emp.ibd
    -rw-r-----. 1 mysql mysql   469 4月  23 20:34 emp_view.frm
    -rw-r-----. 1 mysql mysql  8642 4月  23 20:11 student_myisam.frm
    -rw-r-----. 1 mysql mysql     0 4月  23 20:11 student_myisam.MYD
    -rw-r-----. 1 mysql mysql  1024 4月  23 20:11 student_myisam.MYI
    

MySQL的数据目录下的内容:

cd /var/lib/mysql

ll

[root@onnoamysql8 ~]# cd /var/lib/mysql
[root@onnoamysql8 mysql]# ll
总用量 188888
-rw-r-----. 1 mysql mysql       56 4月  21 23:49 auto.cnf
-rw-r-----. 1 mysql mysql      499 4月  22 00:04 binlog.000001
-rw-r-----. 1 mysql mysql     1136 4月  23 00:40 binlog.000002
-rw-r-----. 1 mysql mysql      756 4月  23 19:46 binlog.000003
-rw-r-----. 1 mysql mysql       48 4月  23 12:19 binlog.index
-rw-------. 1 mysql mysql     1680 4月  21 23:49 ca-key.pem
-rw-r--r--. 1 mysql mysql     1112 4月  21 23:49 ca.pem
-rw-r--r--. 1 mysql mysql     1112 4月  21 23:49 client-cert.pem
-rw-------. 1 mysql mysql     1680 4月  21 23:49 client-key.pem
drwxr-x---. 2 mysql mysql     4096 4月  23 19:47 dbtest1
drwxr-x---. 2 mysql mysql     4096 4月  23 19:45 dbtest2
-rw-r-----. 1 mysql mysql   196608 4月  23 19:48 #ib_16384_0.dblwr
-rw-r-----. 1 mysql mysql  8585216 4月  21 23:49 #ib_16384_1.dblwr
-rw-r-----. 1 mysql mysql     3534 4月  23 00:40 ib_buffer_pool
-rw-r-----. 1 mysql mysql 12582912 4月  23 19:46 ibdata1
-rw-r-----. 1 mysql mysql 50331648 4月  23 19:48 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 4月  21 23:49 ib_logfile1
-rw-r-----. 1 mysql mysql 12582912 4月  23 12:19 ibtmp1
drwxr-x---. 2 mysql mysql     4096 4月  23 12:19 #innodb_temp
drwxr-x---. 2 mysql mysql     4096 4月  21 23:49 mysql
-rw-r-----. 1 mysql mysql 25165824 4月  23 19:46 mysql.ibd
srwxrwxrwx. 1 mysql mysql        0 4月  23 12:19 mysql.sock
-rw-------. 1 mysql mysql        5 4月  23 12:19 mysql.sock.lock
drwxr-x---. 2 mysql mysql     4096 4月  21 23:49 performance_schema
-rw-------. 1 mysql mysql     1680 4月  21 23:49 private_key.pem
-rw-r--r--. 1 mysql mysql      452 4月  21 23:49 public_key.pem
-rw-r--r--. 1 mysql mysql     1112 4月  21 23:49 server-cert.pem
-rw-------. 1 mysql mysql     1676 4月  21 23:49 server-key.pem
drwxr-x---. 2 mysql mysql     4096 4月  21 23:49 sys
-rw-r-----. 1 mysql mysql 16777216 4月  23 19:48 undo_001
-rw-r-----. 1 mysql mysql 16777216 4月  23 19:46 undo_002

这个数据目录下的文件和子目录比较多,除了 information_schema 这个系统数据库外,其他的数据库在 数据目录 下都有对应的子目录。

以我的 dbtest1 数据库为例,在MySQL5.7中打开:

cd ./dbtest1

ll

[root@onnoamysql57 mysql]# cd ./dbtest1
[root@onnoamysql57 dbtest1]# ll
总用量 112
-rw-r-----. 1 mysql mysql    61 4月  22 11:45 db.opt
-rw-r-----. 1 mysql mysql  8588 4月  22 11:46 emp.frm
-rw-r-----. 1 mysql mysql 98304 4月  22 11:47 emp.ibd

在MySQL8.0中打开:

cd ./dbtest1

ll

[root@onnoamysql8 mysql]# cd dbtest1
[root@onnoamysql8 dbtest1]# ll
总用量 92
-rw-r-----. 1 mysql mysql 114688 4月  23 19:46 emp.ibd
-rw-------. 1 root  root   11107 4月  23 19:47 emp.txt

3. 表在文件系统中的表示

我们的数据其实都是以记录的形式插入到表中的,每个表的信息其实可以分为两种:

  1. 表的结构定义
  2. 表中的数据

表结构就是该表的名称,表里边又多少列,每个列的数据类型,约束条件和索引,使用的字符集和比较规则等各种信息,这些信息都体现在我们的见表语句中了。

1. InnoDB存储引擎模式

1. 表结构

为了保存表结构, InnoDB数据目录 下对应的数据库子目录下创建了一个专门用于 描述表结构的文件 ,文件名是这样:

表名.frm

比方说我们在 atguigu 数据库下创建一个名为 test 的表:

mysql> USE atguigu;
Database changed

mysql> CREATE TABLE test (
 c1 INT
 );
Query OK, 0 rows affected (0.03 sec)

那在数据库 atguigu 对应的子目录下就会创建一个名为 test.frm 的用于描述表结构的文件。.frm文件的格式在不同的平台上都是相同的。这个后缀名为.frm是以 二进制格式 存储的,我们直接打开是乱码的。

2. 表中数据和索引
① 系统表空间(system tablespace)

默认情况下,InnoDB会在数据目录下创建一个名为 ibdata1 、大小为 12M 的文件,这个文件就是对应的 系统表空间 在文件系统上的表示。怎么才12M?注意这个文件是 自扩展文件 ,当不够用的时候它会自己增加文件大小。

当然,如果你想让系统表空间对应文件系统上多个实际文件,或者仅仅觉得原来的 ibdata1 这个文件名难听,那可以在MySQL启动时配置对应的文件路径以及它们的大小,比如我们这样修改一下my.cnf 配置文件:

[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend
② 独立表空间(file-per-table tablespace)

在MySQL5.6.6以及之后的版本中,InnoDB并不会默认的把各个表的数据存储到系统表空间中,而是为 每一个表建立一个独立表空间 ,也就是说我们创建了多少个表,就有多少个独立表空间。使用 独立表空间 来存储表数据的话,会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件,文件名和表名相同,只不过添加了一个 .ibd 的扩展名而已,所以完整的文件名称长这样:

表名.ibd

比如:我们使用了 独立表空间 去存储 atguigu 数据库下的 test 表的话,那么在该表所在数据库对应的 atguigu 目录下会为 test 表创建这两个文件:

test.frm
test.ibd

其中 test.ibd 文件就用来存储 test 表中的数据和索引

③ 系统表空间与独立表空间的设置

我们可以自己指定使用 系统表空间 还是 独立表空间 来存储数据,这个功能由启动参数innodb_file_per_table 控制,比如说我们想刻意将表数据都存储到 系统表空间 时,可以在启动MySQL服务器的时候这样配置:

[server]
innodb_file_per_table=0 # 0:代表使用系统表空间; 1:代表使用独立表空间

默认情况:

mysql> show variables like 'innodb_file_per_table';
+-----------------------+-------+
| Variable_name | Value |
+-----------------------+-------+
| innodb_file_per_table | ON |
+-----------------------+-------+
1 row in set (0.01 sec)

说明:innodb_file_per_table 参数的修改只对新建的表起作用,对于已经分配了表空间的表并不起作用。如果我们想把已经存在系统表空间中的表转移到独立表空间,可以使用下边的语法:

ALTER TABLE 表名 TABLESPACE [=] innodb_file_per_table;

或者把已经存在独立表空间的表转移到系统表空间,可以使用下边的语法:

ALTER TABLE 表名 TABLESPACE [=] innodb_system;

其中中括号括起来的=可有可无,比如:我们想把test表从独立表空间移动到系统表空间,可以这么写:

ALTER TABLE test TABLESPACE innodb_system;
④ 其他类型的表空间

随着MySQL的发展,除了上述两种老牌表空间之外,现在还新提出了一些不同类型的表空间,比如通用表空间(general tablespace)、临时表空间(temporary tablespace)等。

3. 疑问

.frm在MySQL8中不存在了。那去哪里了呢?

这就需要解析ibd文件。Oracle官方将frm文件的信息及更多信息移动到叫做序列化字典信息(Serialized Dictionary Information,SDI),SDI 被写在ibd文件内部。MySQL8.0属于Oracle旗下,同理。

为了从IBD文件中提取SDI信息,Oracle提供了一个应用程序ibd2sdi。

=== ibd2sdi官方文档 ===

这个工具不需要下载,MySQL8自带有,只要你配好环境变量就能使用。

(1) 查看表结构

到存储ibd文件的目录下,执行下面的命令:

ibd2sdi --dump-file=emp.txt emp.ibd

结果如下所示:

[图片上传失败...(image-d93f2b-1713883000041)]

这样ibd2sdi就会把 .ibd 里面存储的表结构以json 的格式保存到 emp.txt 中。

[图片上传失败...(image-1c3e4a-1713883000041)]

图中标记部分从上到下分别表示

  • 表名
  • 列名
  • 列的长度

通过上面的测试结果可以发现,MySQL8把之前版本的frm文件合并到ibd文件中了

2. MyISAM存储引擎模式

1. 表结构

在存储表结构方面, MyISAMInnoDB 一样,也是在 数据目录 下对应的数据库子目录下创建了一个专门用于描述表结构的文件:

表名.frm
2. 表中数据和索引

在MyISAM中的索引全部都是 二级索引 ,该存储引擎的 数据和索引是分开存放 的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件,同时表数据都存放在对应的数据库子目录下。假如 test表使用MyISAM存储引擎的话,那么在它所在数据库对应的 atguigu 目录下会为 test 表创建这三个文件:

test.frm 存储表结构
test.MYD 存储数据 (MYData)
test.MYI 存储索引 (MYIndex)

其中 test.MYD 代表表的数据文件,也就是我们插入的用户记录。采用独立表存储模式,每个表对应一个MYD文件;test.MYI 代表表的索引文件,我们为该表创建的索引都会放到这个文件中。

举例:创建一个 MyISAM 表,使用 ENGINE 选项显式指定引擎。因为 InnoDB 是默认引擎。

CREATE TABLE `student_myisam` (
    `id` bigint NOT NULL AUTO_INCREMENT,
    `name` varchar(64) DEFAULT NULL,
    `age` int DEFAULT NULL,
    `sex` varchar(2) DEFAULT NULL,
PRIMARY KEY (`id`)
)ENGINE=MYISAM AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb3;

MySQL8版本中

  • 进入数据库目录[图片上传失败...(image-d91956-1713883000041)]

    包含三个文件:

    student_myisam_361.sdi -- 存储元数据(MyISAM表的数据文件(.MYD文件)的备份文件,是以文本形式保存的。尝试删除不影响)
    student_myisam.MYD -- 存储数据
    student_myisam.MYI -- 存储索引

    对于 InnoDB 表,SDI 与 InnoDB 用户表空间中的数据一起存储。对于 MyISAM 和其他存储引擎,它被写入数据目录中的 .sdi 文件。

    在MySQL8.0中,MyISAM 存储引擎不提供分区支持。在以前版本的MySQL中创建的分区 MyISAM 表不能再MySQL8.0 中使用。

MySQL5.7版本中

  • 查看文件目录,如下:

    [图片上传失败...(image-5a6217-1713883000041)]

    包含三个文件:

    student_myisam.frm -- 存储表结构
    student_myisam.MYD -- 存储数据
    student_myisam.MYI -- 存储索引

    可以发现,在之前的数据库版本中,MyISAM 引擎已存在 frm 文件,但是在MySQL8之后也和innoDB引擎一样去掉了,放在了sdi文件中。

4. 小结

举例: 数据库a , 表b 。

1、如果表b采用 InnoDB ,data\a中会产生1个或者2个文件:

  • b.frm :描述表结构文件,字段长度等
  • 如果采用 系统表空间 模式的,数据信息和索引信息都存储在 ibdata1
  • 如果采用 独立表空间 存储模式,data\a中还会产生 b.ibd 文件(存储数据信息和索引信息)

此外:

① MySQL5.7 中会在data/a的目录下生成 db.opt 文件用于保存数据库的相关配置。比如:字符集、比较规则。而MySQL8.0不再提供db.opt文件。

② MySQL8.0中不再单独提供b.frm,而是合并在b.ibd文件中。

2、如果表b采用 MyISAM ,data\a中会产生3个文件:

  • MySQL5.7 中: b.frm :描述表结构文件,字段长度等。

    MySQL8.0 中 b.xxx.sdi :描述表结构文件,字段长度等

  • b.MYD (MYData):数据信息文件,存储数据信息(如果采用独立表存储模式)

  • b.MYI (MYIndex):存放索引信息文件

5. 视图在文件系统中的表示

我们知道MySQL中的视图其实就是虚拟的表,也就是某个查询语句的一个别名而已,所以在存储视图的时候是不需要存储真实的数据,只需要把它的结构存储起来就行了。和表一样,描述视图结构的文件也会被存储到所属数据库对应的子目录下,只会存储一个视图名.frm的文件。如下: emp_view.frm(MySQL8 下没有该文件 - 暂时不知道MySQL8 的视图文件存储在哪)

  • MySQL5.7

    [root@onnoamysql57 ~]# cd /var/lib/mysql
    [root@onnoamysql57 mysql]# cd dbtest1
    [root@onnoamysql57 dbtest1]# ll
    总用量 132
    -rw-r-----. 1 mysql mysql    61 4月  22 11:45 db.opt
    -rw-r-----. 1 mysql mysql  8588 4月  22 11:46 emp.frm
    -rw-r-----. 1 mysql mysql 98304 4月  23 20:34 emp.ibd
    -rw-r-----. 1 mysql mysql   469 4月  23 20:34 emp_view.frm
    -rw-r-----. 1 mysql mysql  8642 4月  23 20:11 student_myisam.frm
    -rw-r-----. 1 mysql mysql     0 4月  23 20:11 student_myisam.MYD
    -rw-r-----. 1 mysql mysql  1024 4月  23 20:11 student_myisam.MYI
    [root@onnoamysql57 dbtest1]# pwd
    /var/lib/mysql/dbtest1
    
  • MySQL8

    [图片上传失败...(image-3ca995-1713883000041)]

6. 其他的文件

除了我们上边说的这些用户自己存储的数据以外,数据目录下还包括为了更好运行程序的一些额外文件,主要包括这几种类型的文件:

  • 服务器进程文件

    我们知道每运行一个MySQL服务器程序,都意味着启动一个进程。MySQL服务器会把自己的进程ID写入到一个文件中。

  • 服务器日志文件

    在服务器运行过程中,会产生各种各样的日志,比如常规的查询日志、错误日志、二进制日志、redo日志等。这些日志各有各的用途。

  • 默认/自动生成的SSL和RSA证书和密钥文件

    主要是为了客户端和服务器安全通信而创建的一些文件。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容