作者以及单位

Yuntao Du, Xinjun Zhu, Lu Chen, Ziquan Fang, Yunjun Gao
ZJU-DAILY/MetaKG: Source code for MetaKG: Meta-learning on Knowledge Graph for Cold-start Recommendation. TKDE 2022. (github.com)

解决问题

Challenge I:现有的KG依赖大量的用户-项目的反馈，但是当用户-项目稀缺，KG的性能就下降。所以设计了meta结构捕获了高阶用户-项目交互信息。
Challenge II:在冷启动如何通过KG捕获更准确的先验知识，现有的方法都是通过语义embedding，但是只能挖掘有限的meta实体。如何在meta学习利用KG提供的信息，也是挑战。

研究动机

为了解决第一个挑战，定义了一个collaborative knowledge graph (CKG) 的协同KG的learner来学习用户偏好，起到局部聚合每个用户偏好作用。
为了姐姐第二个挑战，设计了一个knowledge-aware meta learner知识感知元学习器，可以跨层获取KG的语义，起到全局概化不同用户偏好作用。

创新点

作者写了4个，排出模型架构能够解决冷启动和实验场景可以扩展外，核心就是2个：
1.设计了两个meta learners（collaborative-aware meta learner and knowledge-aware meta learner）可以有效地捕获冷启动中具有有限用户-项目交互的高阶协作关系和语义表示场景（图1后面两部分）。
PROP代表传播propagation，而AGG代表了聚合aggregation。
即，这两个公式表达的是当PROP将信息从相邻的边和节点传播到源节点时，AGG同时将实体嵌入转换为更好的实体嵌入。关于gnn的更多细节可以参考[39]。（这个文献39是2018年ICLR的一篇关于 Graph attention networks的文章）

gnn部分

2.自适应任务调度程序。核心就抗噪，可以通过任务采样的概率来决定调度任务的先后，以及两个learner的优化（上下红黑线）。

图1：metakg

研究方法

研究方法主要针对在第三章，一个是图神经网络 Graph Neural Networks (GNNs，即这个地方是KG)二个是 Optimization-based Meta-learning（即这个地方Meta）
因为作者通过使用图注意力网络GNNs嵌入知识图来设计基础模型。然后，利用基于优化的元学习支持嵌入式 KG 的冷启动建议。

1.关于GNN优化文章中的原话是：There are lots of propagation methods to choose, including convolution [21], self-attention [39], and knowledge-aware attention [45]. As for the aggregation methods, we can use GCN aggregator [21], GraphSage aggregator [12], and bi-interaction aggregator [45]. In this paper, we utilize knowledge-aware attention and bi-interaction aggregator for its simplicity and good performance.
这个地方可以用的很多，他们用的感知注意力和双向交互聚合器，原因是简单好用。这个地方未来优化的空间还是蛮多的。

GNN的解释，我觉得知乎这个综述文章说的通俗易懂：
Graph Neural Networks （GNN）综述 简介 - 知乎 (zhihu.com)

2.关于meta-learning作者在相关工作提到 很多工作的问题就是这些方法只考虑一个meta leaner 学习一个优化目标（即评级loss），这对于基于 KG 的推荐是不可行的。因为有必要同时捕获用户偏好的先验协作和知识信息学习，并且这些方法的简单模型架构无法捕获之间的高阶关系用户和物品。
关于使用Optimization-based Meta-learning的原话是： Finally, the optimization-based methods learn parameters that are conducive to fast gradient-based adaptation to new tasks, which achieve the state-of-the-art performance. In this category, MAML [5] learns a good initialization from a base model.
即用的文献5MAML。

结论