LittleFs文件系统

0 简介

LittleFs设计之初的重点特性是:
(1)低资源消耗;
(2)掉电保护;
(3)擦写均衡,
本章节重点讨论第(2)和(3)这两个特性,第(1)个特性则贯穿在整个设计过程中。后文把LittleFs简称为lfs。

1 具体功能介绍

1.1 掉电保护

最经典的掉电保护方法有两种,一种是使用日志,一种是通过COW方式。lfs结合了两种方法,并优化了两种方案的缺点,提供了一套掉电保护策略。

1.1.1 日志方式


具体步骤为:
(1) 写入数据之前,先在日志区存储开始标志,记录要写入的数据位置和大小;
(2) 待写入的数据写入日志区;
(3) 待写入的数据写入数据区;
(4) 写入完成之后,在日志区记录结束标志。
模拟掉电场景:
(1) 步骤1完成,步骤2没有完成;重启之后,保持原来的数据,日志无效;
(2) 步骤1,2完成了,步骤3没有完成,尝试把步骤2的数据写入到数据区;
(3) 步骤1,2,3完成了,步骤4没有完成,同样尝试把步骤2的数据写入到数据区;

1.1.2 Cow机制


具体步骤为:
(1) 想更新节点F的数据,先申请一个新的节点,把F的旧数据拷贝过去,然后更新新的数据;
(2) 把父节点的指针指向新的节点,去掉旧节点的指针。
模拟掉电场景:
(1)步骤(1)完成了,步骤(2)没有完成,则使用旧的数据,新的节点变成孤儿节点。

1.1.3 lfs掉电保护

lfs结合了日志方式和COW机制两种方式进行掉电保护,并且优化了两种方案。
前面谈过文件系统三要素,超级块,inode,以及数据。对应lfs来说,他把超级块以及inode通过日志的方式存储,两种采用统一的存储结构,后文称两者为元数据;普通数据则采用cow的方式存储,采用czt逆序链表的方式。


1.1.3.1 元数据的存储


元数据(对应root,dir)采用双block的方式存储,互为备份,每个block都有一个revision序号,值越大,表示block的数据越新,每个block默认可以存储最多0xff个文件的数据,如果超过这个值,则需要compact(压缩)。
Compact是干什么呢? 即当数据的大小大于某个值的时候,把数据整合,剔除同一个id的旧的数据,然后写入到备份block里面。
在compact的过程中,如果发现整合的数据还是大于某个值,怎么办呢?需要split(分片)。

1.1.3.2 普通数据的存储(CTZ)

Lfs的数据采用ctz链表的方式逆向管理,这与传统的文件系统有比较大的差别。具体对比见下图所示。



传统的方式添加数据,需要建立旧的数据到新的数据的索引。这样做有两个弊端:
(1) 当数据特别多的时候,这样一个个的索引过去查找,比较费时间。
(2) 当使用cow机制的时候,在文件后面每增加一次数据,需要把所有的索引都重新建立一个,这样带来的性能损耗特别大。
为了解决这两个问题,lfs采用了下面的管理方式。



(1) 采用逆向的指针,这样常规的追加数据,不需要额外的开销来重新建立所有的索引;
(2) 每个偶数block有多个指针,指向更远的数据,这样可以在检索的时候加快速度。

指针的建立采用了CTZ(二进制中最后一个不为0的位,其右边0的个数)的方式。大概原理就是,block N 如果是一个能被 2^X整除的数,那么他就存在指向N – 2^X的指针,指针的数目为ctz(N)+1。



从上表可以看出,block 2多一个指向0的指针,block 4多一个指向0,2的指针。
咱们已经知道了实际数据(对应file)采用czt list的方式存储,最新的数据block指向次新的数据block(这个是为了提高COW的效率)。
一次常规更新数据的过程大概为(实际比这个复杂很多,需要考虑cache、孤儿、crc等问题):
(1) 往file文件中写入数据;
(2) 申请一个新的block,并且把file文件最后一个block的数据复制到新的block,并追加要写入的数据;
(3) 更新新block的czt list(在block的头部会占用一定的4字节倍数的字节来记录索引,这个czt list只是用来fseek的加快速度);
(4) 文件fclose的时候,更新对应的元数据信息到父节点中。
掉电保护的具体场景:
  1. 步骤(1),(2),(3)完成了,但是(4)没有完成。因为索引还没有建立起来,数据虽然写入了,但是没有人知道,文件系统会丢失最新的数据,保留修改之前的数据。
  2. 步骤(4)过程中掉电了。步骤(4)是更新元数据,元数据采用了主备的方式,并且采取了如下的格式:



    正常的提交流程为:
    (1)提交tag;
    (2)提交data;
    (3)提交crc。
    当tag和data提交了,但是CRC没有提交的时候,crc就会校验失败,这个时候前面crc校验通过的部分,就会被relocate到一个新的块,这样由于断电导致的数据异常,则回退成功。注意:crc校验的时机,在提交一个新的commit到对应的元数据的时候。

1.2 擦写均衡

了解擦写均衡之前,先需要知道littlefs是怎么管理物理block的,怎么才能申请到一个空闲的block。

1.2.1 Block管理

为了节省内容,Littlefs对空闲block的管理采用了滑窗方式,滑窗的大小是可以配置,默认是32bit,对应32个block的使用情况。



当文件系统需要申请一个空闲的block的时候,从lookahead中寻找没有置位的block,申请成功,则给对应的block位置1。当当前的窗口中的所有block都被占用的时候,就需要滑动窗口了,一次性滑动窗口大小的距离,即默认一次滑动32个block。



当窗口滑动了之后,lookahead中又有了新的空闲的block可以申请。
问题来了,怎么定义一个block是不是空闲的呢?

一片flash的总的block是有限的,假设其序号从0->N,lookahead对应的block范围是I->J,Littlefs会通过lfs_fs_traverse遍历所有使用到的block,如果这个block在I->J之间,则说明block被使用了,否则就是空闲的。

1.2.2 擦写均衡的实现

通过前面的滑窗机制,可以一定程度上的避免每次操作到的都是同一个片区的block。但是这还不够,因为每次启动的时候,滑窗都是从block0开始滑动的,这个会导致前面的block使用频率高于后面的block。所以,我们需要找到办法,让每次启动的时候,滑窗的位置都是随机的,极致的随机,就是平均了。
为此,littlefs使用了crc作为随机数,再通过简单的运算,得到了滑窗启动的时候的起始位置。
问题又来了,crc哪儿来的,干什么的?
Crc就是元数据提交的终结符号,用来校验提交是不是正确的,littlefs借用了crc之间相互异或带来的不确定性来作为滑窗的启动地址,一定程度上复用了现有的机制达到了随机的目的。

1.3 文件读写

写入流程:



读取流程:


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,013评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,205评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,370评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,168评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,153评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,954评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,271评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,916评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,382评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,877评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,989评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,624评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,209评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,199评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,418评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,401评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,700评论 2 345

推荐阅读更多精彩内容