最简单文件系统的升级,增加文件创建和读写功能

基于前文,我们继续我们的文件系统的开发。在《基于Fuse的最简单的文件系统》一文中我们实现了一个假文件系统。虽然呈现了目录结构,但是不能创建新文件,也不能删除文件,更加不能对文件进行读写。

接下来我们就增加更多的功能,使该文件系统具备创建文件和读写的功能。但是,我们本着循序渐进的原则,这里需要注意的是本文件系统还有诸多限制,具体如下:

  • 目前的文件系统还是基于内存的实现,数据并不会持久化到存储介质上
  • 只支持在根目录创建和删除文件
  • 文件的大小限制在1024字节以内
  • 不支持在根目录创建子目录
  • 只支持一次性读写,不支持指定偏移读写
  • 最大可以创建256个文件

好吧,限制好多! 增加这么多限制的原因很简单,就是为了让降低大家的学习门槛。如果一下子实现一个支持所有功能的文件系统,估计大家就没有学习的兴趣和动力了。所以我们每一个例子会增加一点点功能,逐渐实现一个功能完善的文件系统。至于本系列文章中涉及的技术细节,大家可以参考本人拙著《文件系统技术内幕》一书。

接下来我们回归正题。虽然本地文件系统的基本原理是将线性的硬盘空间抽象为树型层级结构,但是底层存储并不一定要是线性的地址空间。为了实现简单,本文我们会借助STL的容器实现文件系统的一些基本功能。当然我们最终实现的文件系统肯定是基于硬盘的,目前的设计思路是为了降低学习的门槛和坡度,达到循序渐进的目的。

为了支持256个最大为1KB的内存文件,我们首先需要分配256KB的内存空间(用如下代码中的data_space表示)。同时,为了管理这些空间,也就是记录哪些空间已经被使用,哪些空间还是可用状态,我们通过创建了一个位图类型的变量(data_bitmap)。


image.png

另外,为了记录根目录中文件名称与文件数据的对应关系,我们创建了一个map类型的变量files。通过这个变量,我们可以根据文件名称获取文件的描述信息,比如文件数据的位置和大小等。这里文件的描述信息是通过一个名称为inode的结构体表示的,这也是模仿的Linux文件系统中的概念。

#define DATA_SPACE_LEN (256)
static map<string, inode*> files;
static vector<char*> data_space;
static bitset<DATA_SPACE_LEN> data_bitmap;

如下是结构体inode的具体定义,这里一共包含4项内容,都是最为基本的属性描述。本文我们主要使用了data_index和size两个成员变量,分别表示文件数据的位置和大小。

struct inode
{
    unsigned int inode_id;
    unsigned int mode;
    unsigned short data_index;
    unsigned short size;
};

如下代码是初始化的代码,本例中我们主要将内存区域清零,并将位图清零。这表示目前我们有一个干净的,没有任何文件的文件系统。后续我们在实现基于硬盘的文件系统时可以在这里实现硬盘格式化的工作。需要注意的是,在init函数中我们调用了syslog函数,该函数用于向系统日志中记录一条日志,方便我们了解程序的运行情况。

/* 初始化的时候被调用 */
void* MemoryFS::init(struct fuse_conn_info *conn, fuse_config*)
{
    syslog(LOG_NOTICE, "init\n");
    for (int i = 0; i < DATA_SPACE_LEN; i++) {
        char* block = new char[1024];
        memset(block, 0, 1024);
        data_space.push_back(block);
        data_bitmap.reset(i);
    }

    return 0;
}

然后回到本文的核心内容,实现文件的创建和读写。文件的创建和读写一共涉及4个函数,分别是create、open、write和read。其中create是创建文件时被调用,open是打开文件时被调用,write和read分别数据写读的时候被调用。接下来我们分别看看代码实现。

首先要看的自然是创建文件的实现,也就是create函数的实现,具体代码如下所示。本例实现原理是在创建一个文件的时候将该文件存储在一个map数据结构中,这样后续读写文件的时候就可以找到该文件。在本例中,我们只是创建一个inode实例,并构建文件系统与inode的映射关系。我们这里实现的非常简单,相当于在根目录中增加了一个文件。

int MemoryFS::create(const char *name, mode_t mode, struct fuse_file_info *)
{
    syslog(LOG_NOTICE, "Create: %s\n", name);
    inode *i = new inode();
    memset(i, 0, sizeof(inode));
    files[name] = i;  // 存储到map中
    return 0;
}

打开文件的函数实现也是非常简单的,我们只需要查询一下map,看看要打开的文件是否存在。如果不存在需要返回ENOENT。

int MemoryFS::open(const char *name, struct fuse_file_info *)
{
    int status = 0;
    auto inode = files.find(name);
    if (inode == files.end()) {
        status = -ENOENT;
    }

    syslog(LOG_NOTICE, "Open: %s %d\n", name, status);
    return 0;
}

接下来到正题了,也就是文件写数据的功能。首先是写数据的函数原型,可以看出与Linux的write函数类似。不同的地方是Linux API第一个参数是句柄,而本函数是文件名称。当我们在根目录中向某个文件写入数据的时候就会触发给函数。该函数的核心功能是找到前面创建的文件,并且找到一个内存空间用于存储用户要写入的数据。找到具体的信息后,会将数据拷贝到内存空间,并更新inode的记录。

int MemoryFS::write(const char *name, const char *buf, size_t buf_size, off_t offset, struct fuse_file_info *)
{
    auto inode = files.find(name); // 查找要写入数据的文件
    char* content = nullptr;
    short index = 0;
    int status = 0;

    if ( inode == files.end() ) {  // 如果没有找到文件,返回相应的错误码
        status = -ENOENT;
        goto OUT;
    }

    if ( inode->second->size ) {  // 判断文件是否已经有数据
        index = inode->second->data_index;
    } else {
            for (int i = 0; i < DATA_SPACE_LEN; i++) {  // 如果没有数据,根据位图查找一个可用的空间
                if (!data_bitmap[i]) {
                    index = i;
            data_bitmap.set(i);
                    break;
                }
           }
    }

    content = data_space[index]; // 获取空间的地址
    memcpy(content, buf, buf_size); // 将数据写入内存空间
    inode->second->data_index = index; // 更新数据的位置
    inode->second->size = buf_size;       // 更新文件大小

OUT:
    syslog(LOG_NOTICE, "Write: %s %s %d\n", name, buf, buf_size);
    return buf_size;
}

读数据的实现逻辑与写数据类似,首先我们需要从map中查找到对应的文件。如果该文件存在,则会返回文件对应的inode实例。前文已述,inode中包含着文件数据的位置和大小等信息。根据inode中保存的信息,我们可以将数据拷贝到读数据的缓冲区,这样在调用者就可以看到数据了。

int MemoryFS::read(const char *name, char *buf, size_t buf_size, off_t offset, struct fuse_file_info *)
{
    auto inode = files.find(name); // 查找文件的inode信息
    char* content = nullptr;
    short index = 0;
    short file_size = 0;
    int status = 0;

    if ( inode == files.end() ) {
        status = -ENOENT;
        goto OUT;
    }

    index = inode->second->data_index; // 根据inode信息确定文件数据的位置和大小
    file_size = inode->second->size; 
    content = data_space[index];
    memcpy(buf, content, file_size);  // 将数据拷贝到读缓冲区

OUT:
    syslog(LOG_NOTICE, "Read: %s C %s B %s %d %d %d\n", name, content, buf, index, file_size, buf_size);
    return file_size;
}

虽然上述函数实现后就可以实现我们的目标功能了。但是如果我们用ls命令查看文件,则需要实现目录遍历的功能,这部分功能我们在前面文章介绍过。首先是需要实现readdir功能,用于遍历目录项。本例中是遍历map类型的变量。

int MemoryFS::readdir(const char *path, void *buf, fuse_fill_dir_t filler,
                           off_t, struct fuse_file_info *, enum fuse_readdir_flags)
{
    syslog(LOG_NOTICE, "readdir: %s\n", path);

    filler(buf, ".", NULL, 0, FUSE_FILL_DIR_PLUS);
    filler(buf, "..", NULL, 0, FUSE_FILL_DIR_PLUS);
    for (const auto& [key, value] : files) { // 实现目录项的遍历
        filler(buf, key.c_str() + 1, NULL, 0, FUSE_FILL_DIR_PLUS);
    }

    return 0;
}

然后是实现getattr,该函数用于获取每个文件/目录的详细属性。这里我们也是偷懒了,很多属性是写死的。这个函数的实现并不复杂,大家可以自行阅读一下相关代码。

int MemoryFS::getattr(const char *path, struct stat *stbuf, struct fuse_file_info *)
{
    int res = 0;

    memset(stbuf, 0, sizeof(struct stat));
    if (path == root_path) {
        stbuf->st_mode = S_IFDIR | 0755;
        stbuf->st_nlink = 2;
    } else if (files.find(path) != files.end()) {
        auto inode = files.find(path);
        stbuf->st_mode = S_IFREG | 0755; // 我们这里模式是写死的,
        stbuf->st_nlink = 1;
        stbuf->st_size = inode->second->size;
        syslog(LOG_NOTICE, "getattr file: %s %d\n", path);
    } else {
        res = -ENOENT;
        syslog(LOG_NOTICE, "getattr error: %s\n", path);
    }

    syslog(LOG_NOTICE, "getattr: %s %d\n", path, res);
    return res;
}

至此,我们完成了所有函数的介绍。相关代码已经更新到作者的github空间,大家可以自行下载编译实验一下。接下来我们将进一步丰富功能,实现一个可以持久化的文件系统。

注: 本文配套的源代码可以在github的SunnyZhang-IT/fs-from-zero库中找到。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,830评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,992评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,875评论 0 331
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,837评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,734评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,091评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,550评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,217评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,368评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,298评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,350评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,027评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,623评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,706评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,940评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,349评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,936评论 2 341

推荐阅读更多精彩内容