0 简介
LittleFs设计之初的重点特性是:
(1)低资源消耗;
(2)掉电保护;
(3)擦写均衡,
本章节重点讨论第(2)和(3)这两个特性,第(1)个特性则贯穿在整个设计过程中。后文把LittleFs简称为lfs。
1 具体功能介绍
1.1 掉电保护
最经典的掉电保护方法有两种,一种是使用日志,一种是通过COW方式。lfs结合了两种方法,并优化了两种方案的缺点,提供了一套掉电保护策略。
1.1.1 日志方式
具体步骤为:
(1) 写入数据之前,先在日志区存储开始标志,记录要写入的数据位置和大小;
(2) 待写入的数据写入日志区;
(3) 待写入的数据写入数据区;
(4) 写入完成之后,在日志区记录结束标志。
模拟掉电场景:
(1) 步骤1完成,步骤2没有完成;重启之后,保持原来的数据,日志无效;
(2) 步骤1,2完成了,步骤3没有完成,尝试把步骤2的数据写入到数据区;
(3) 步骤1,2,3完成了,步骤4没有完成,同样尝试把步骤2的数据写入到数据区;
1.1.2 Cow机制
具体步骤为:
(1) 想更新节点F的数据,先申请一个新的节点,把F的旧数据拷贝过去,然后更新新的数据;
(2) 把父节点的指针指向新的节点,去掉旧节点的指针。
模拟掉电场景:
(1)步骤(1)完成了,步骤(2)没有完成,则使用旧的数据,新的节点变成孤儿节点。
1.1.3 lfs掉电保护
lfs结合了日志方式和COW机制两种方式进行掉电保护,并且优化了两种方案。
前面谈过文件系统三要素,超级块,inode,以及数据。对应lfs来说,他把超级块以及inode通过日志的方式存储,两种采用统一的存储结构,后文称两者为元数据;普通数据则采用cow的方式存储,采用czt逆序链表的方式。
1.1.3.1 元数据的存储
元数据(对应root,dir)采用双block的方式存储,互为备份,每个block都有一个revision序号,值越大,表示block的数据越新,每个block默认可以存储最多0xff个文件的数据,如果超过这个值,则需要compact(压缩)。
Compact是干什么呢? 即当数据的大小大于某个值的时候,把数据整合,剔除同一个id的旧的数据,然后写入到备份block里面。
在compact的过程中,如果发现整合的数据还是大于某个值,怎么办呢?需要split(分片)。
1.1.3.2 普通数据的存储(CTZ)
Lfs的数据采用ctz链表的方式逆向管理,这与传统的文件系统有比较大的差别。具体对比见下图所示。
传统的方式添加数据,需要建立旧的数据到新的数据的索引。这样做有两个弊端:
(1) 当数据特别多的时候,这样一个个的索引过去查找,比较费时间。
(2) 当使用cow机制的时候,在文件后面每增加一次数据,需要把所有的索引都重新建立一个,这样带来的性能损耗特别大。
为了解决这两个问题,lfs采用了下面的管理方式。
(1) 采用逆向的指针,这样常规的追加数据,不需要额外的开销来重新建立所有的索引;
(2) 每个偶数block有多个指针,指向更远的数据,这样可以在检索的时候加快速度。
指针的建立采用了CTZ(二进制中最后一个不为0的位,其右边0的个数)的方式。大概原理就是,block N 如果是一个能被 2^X整除的数,那么他就存在指向N – 2^X的指针,指针的数目为ctz(N)+1。
从上表可以看出,block 2多一个指向0的指针,block 4多一个指向0,2的指针。
咱们已经知道了实际数据(对应file)采用czt list的方式存储,最新的数据block指向次新的数据block(这个是为了提高COW的效率)。
一次常规更新数据的过程大概为(实际比这个复杂很多,需要考虑cache、孤儿、crc等问题):
(1) 往file文件中写入数据;
(2) 申请一个新的block,并且把file文件最后一个block的数据复制到新的block,并追加要写入的数据;
(3) 更新新block的czt list(在block的头部会占用一定的4字节倍数的字节来记录索引,这个czt list只是用来fseek的加快速度);
(4) 文件fclose的时候,更新对应的元数据信息到父节点中。
掉电保护的具体场景:
- 步骤(1),(2),(3)完成了,但是(4)没有完成。因为索引还没有建立起来,数据虽然写入了,但是没有人知道,文件系统会丢失最新的数据,保留修改之前的数据。
-
步骤(4)过程中掉电了。步骤(4)是更新元数据,元数据采用了主备的方式,并且采取了如下的格式:
正常的提交流程为:
(1)提交tag;
(2)提交data;
(3)提交crc。
当tag和data提交了,但是CRC没有提交的时候,crc就会校验失败,这个时候前面crc校验通过的部分,就会被relocate到一个新的块,这样由于断电导致的数据异常,则回退成功。注意:crc校验的时机,在提交一个新的commit到对应的元数据的时候。
1.2 擦写均衡
了解擦写均衡之前,先需要知道littlefs是怎么管理物理block的,怎么才能申请到一个空闲的block。
1.2.1 Block管理
为了节省内容,Littlefs对空闲block的管理采用了滑窗方式,滑窗的大小是可以配置,默认是32bit,对应32个block的使用情况。
当文件系统需要申请一个空闲的block的时候,从lookahead中寻找没有置位的block,申请成功,则给对应的block位置1。当当前的窗口中的所有block都被占用的时候,就需要滑动窗口了,一次性滑动窗口大小的距离,即默认一次滑动32个block。
当窗口滑动了之后,lookahead中又有了新的空闲的block可以申请。
问题来了,怎么定义一个block是不是空闲的呢?
一片flash的总的block是有限的,假设其序号从0->N,lookahead对应的block范围是I->J,Littlefs会通过lfs_fs_traverse遍历所有使用到的block,如果这个block在I->J之间,则说明block被使用了,否则就是空闲的。
1.2.2 擦写均衡的实现
通过前面的滑窗机制,可以一定程度上的避免每次操作到的都是同一个片区的block。但是这还不够,因为每次启动的时候,滑窗都是从block0开始滑动的,这个会导致前面的block使用频率高于后面的block。所以,我们需要找到办法,让每次启动的时候,滑窗的位置都是随机的,极致的随机,就是平均了。
为此,littlefs使用了crc作为随机数,再通过简单的运算,得到了滑窗启动的时候的起始位置。
问题又来了,crc哪儿来的,干什么的?
Crc就是元数据提交的终结符号,用来校验提交是不是正确的,littlefs借用了crc之间相互异或带来的不确定性来作为滑窗的启动地址,一定程度上复用了现有的机制达到了随机的目的。
1.3 文件读写
写入流程:
读取流程: