Facebook：BigGraph 中文文档-I/O格式化（PyTorch）

图嵌入是一种从图中生成无监督节点特征（node features）的方法，生成的特征可以应用在各类机器学习任务上。现代的图网络，尤其是在工业应用中，通常会包含数十亿的节点（node）和数万亿的边（edge）。这已经超出了已知嵌入系统的处理能力。Facebook开源了一种嵌入系统，PyTorch-BigGraph（PBG），系统对传统的多关系嵌入系统做了几处修改让系统能扩展到能处理数十亿节点和数万亿条边的图形。

本系列为翻译的pytouch的官方手册，希望能帮助大家快速入门GNN及其使用，全文十五篇，文中如果有勘误请随时联系。

（一）Facebook开源图神经网络-Pytorch Biggraph

（二）Facebook：BigGraph 中文文档-数据模型（PyTorch）

（三）Facebook：BigGraph 中文文档-从实体嵌入到边分值（PyTorch）

（四）Facebook：BigGraph 中文文档-I/O格式化（PyTorch）

源链接 - I/O format 输入输出格式：

https://torchbiggraph.readthedocs.io/en/latest/input_output.html

Entity and relation types 实体和关系类型

配置文件中需要包含实体字典，文件内容是实体类型（每个类型都由字符串标识）以及别的有关的信息。配置文件的relations key是关系类型的列表（每个类型都由其在该列表中的索引标识）以及别的数据如左右两侧的实体类型。

Entities 实体

需要提供的关于实体的唯一信息是每个实体类型的分区中有多少个实体。这是通过将名为entity_count_type_part.txt的文件放在entity_path config参数指定的目录中，用于由类型标识的每个实体类型和每个分区。这些文件必须包含一个整数（文本），即该分区中的实体数。必须将所有这些文件所在的目录指定为配置文件的entity_path路径。

我们可以通过在init_path配置项中设置特定的值来为embeddings初始化，配置项的值为包含文件内容格式类似于Checkpoint文件的路径，输出格式在Checkpoint中详细介绍。

如果没有提供初始值，每个维度都从中心正态分布中取样来自动生成，标准偏差可以使用init_scale配项键进行配置。出于性能原因，特定类型的所有实体的样本将不独立。

Edges边

对于每个bucket必须有一个文件来存储属于该bucket的所有边和所有关系类型。这代表文件只能由两个整数来标识，即其左侧和右侧实体的分区。它必须命名为edges_lhs_rhs.h5（其中lhs和rhs是上面的整数），文件必须是hdf5格式，包含三个长度相同的一维数据集，称为rel、lhs和rhs。每个元素中第i个位置的元素定义了第i个边缘：rel标识关系类型（从而标识左侧和右侧实体类型），lhs和rhs给出了各自分区中左侧和右侧实体的索引。

为了方便将来格式更新，每个文件需要在顶级组的format_version属性中包含格式版本，当前版本为1。

如果一个实体类型是未分区的（即所有实体都属于同一分区），那么这些实体的边必须均匀分布在所有存储桶中。

这些文件，对于所有的桶，必须存储在同一目录中，该目录通过edge_paths来配置。这个配置实际上可以包含一个路径列表，每个路径指向上面描述的格式的目录：如果这样配置图形将包含所有边的并集。

Checkpoint 检查点

训练的数据，也就是检查点被写入在checkpoint_path中配置的目录中。checkpoint 由连续的正整数（从1开始）标识，并且属于某个checkpoint 的所有文件在其名称和扩展名之间都有一个额外的组件.vversion（例如，对于版本42为.v42.h5）。

最新的完整checkpoint版本存储在同目录下名为checkpoint_version.txt文件中，其中包含一个整数，即当前版本。

每个checkpoint都包含一个配置的JSON转储文件，用于存储在config.json文件中的配置

保存新版本checkpoint后，将自动删除以前的版本。为了定期保留其中一些版本，请将checkpoint_preservation_interval 配置设置为所需的周期（以epoch数表示）。

Model parameters 模型参数

模型参数存储在名为model.h5的文件中，文件格式是一个hdf5文件，其中包含每个参数的一个数据集，所有数据集都位于model 组中。目前提供的参数有：

model/relations/idx/operator/side/param 存储了每个操作器的关系参数

model/entities/type/global_embedding 存储了每个预训实体类型的全局嵌入

这些数据集中的每一个还包含存储在模型状态字典，用state-dict-key属性配置。另外还可能有另一个数据集optimizer/state_dict，包含模型优化器状态字典的二进制文件（可以通过torch.save（）获取）。

最后，文件的顶级组包含包含了一些附加元数据的属性。主要包括格式版本、配置的JSON转储和一些有关生checkpoint的迭代的信息。

Embeddings 嵌入

对于每个实体类型及其分区，都有一个文件embeddings_type_part.h5（其中type是类型的名称，part是分区的基于0的索引）。该文件是包含两个数据集的HDF5文件——嵌入，包含实体的嵌入：一个二维数据集，第一个维度是实体数，第二个维度是嵌入的维度。

与模型参数文件一样，优化器状态dict和其他元数据也包含在里面。

图嵌入是一种从图中生成无监督节点特征（node features）的方法，生成的特征可以应用在各类机器学习任务上。现代的图网络，尤其是在工业应用中，通常会包含数十亿的节点（node）和数万亿的边（edge）。这已经超出了已知嵌入系统的处理能力。我们介绍了一种嵌入系统，PyTorch-BigGraph（PBG），系统对传统的多关系嵌入系统做了几处修改让系统能扩展到能处理数十亿节点和数万亿条边的图形。