NeurIPS 2022 | 基于实例等价性的知识图谱补全
©PaperWeekly 原创 · 作者 | 陈星然、崔万云
单位 | 密歇根大学、上海财经大学
研究方向 | 知识图谱、知识推理
摘要
令人惊讶的是，尽管这类规则只占据整个规则空间的一小部分，利用它们在 4 个标准知识图谱补全数据集上的推理效果都超过了其它所有规则的效果。这表明，规则推理模型之所以有效，很大程度上是因为该实例等价性，而非语义一致性。这一发现对规则推理模型的工作机制提供了新的洞察。
基于该洞察，我们提出了一种知识图谱补全新方法：基于实例的学习（instance-based learning）。例如，为了回答（Jill Biden, lived city, ? ），我们不直接找到答案实体 Washington D.C.，而是找到原型实体Joe Biden，因为他与 Jill Biden 有相同的 lived city。我们基于翻译模型（translational model）发展了实例等价性的理论，并与原有翻译模型相结合。我们在多个数据集上验证了所提出模型的有效性和可解释性。
本文已被 NeurIPS 2022 接收。
论文链接：
代码链接：
2.1 规则推理（rule-based reasoning）的一般认知
2.2 一类特殊规则的发现
有趣的是，我们的进一步研究发现了 *-rules 具有理论合理性和实验有效性。
理论合理性：我们通过翻译模型（translational model）来为 *-rules 提供理论支持。以 TransE 为例，在定理 1 中，我们证明了在翻译模型的假设下，这一类特殊的规则总是成立。详细证明可以见论文附录 C。
▲ 表1
结果是令人惊讶的。尽管 *-rules 只覆盖了整个规则空间的一小部分，但在所有四个数据集中，基于 *-rules 的推理效果都优于非 *-rules。在 Kinship 和 UMLS 数据集上，基于 *-rules 的推理效果几乎与使用所有规则的推理效果一致。这些实验结果表明，少量的 *-rules 甚至比其它所有非 *-rules 更重要。
2.3 基于实例等价性的*-rules解释
▲ 图1
图 1 展示了一条 *-rules：
我们强调 *-rules 与之前文献普遍认为的规则的差别。根据上述分析，*-rules 建立了实例在某一属性上的等价关系，本文中，我们将其称为实例等价性。而正如本章开头所讨论的，在之前的研究中，规则通常被认为建立了前提和假设间的语义一致关系。
我们的发现挑战了之前对规则推理工作机制的普遍认知。虽然 *-rules 仅占整个规则空间的一小部分，但对推理效果至关重要。表 2 的实验结果表明，基于规则推理的知识图谱补全之所以有效，是因为它能够通过 *-rules 表示实例间的等价关系，为目标查询寻找原型实体。
本章我们介绍由实例等价性启发的知识图谱补全模型。我们首先在 3.1 节给出问题定义和翻译模型背景知识。在 3.2 节，我们做出理论分析，给出了基于翻译模型的实例等价性建模的解析表示。在 3.3 节，我们联合实例等价性与翻译模型。模型效果验证和解释性分析在第 3.4 节。
3.1 基于翻译模型的知识图谱补全
翻译模型（translational model）是链接预测的主流方法之一，其主要思想是将实体之间的关系建模为在向量空间上从 head 到 tail 的映射。对于一个新的候选事实，其可能性可以通过映射后的头实体和尾实体之间的距离来计算。我们将 (h, r, t) 的可行性表示如下。
3.2 基于翻译模型的实例等价性建模
对于查询 ，我们考虑所有关系 r 已知的实体作为候选原型。根据上述公式中的可信度来汇总这些原型。即，一个候选实体 t 的得分是其相应候选原型的得分之和：
3.3 联合实例等价性与翻译模型
3.4 实验结果
3.4.1 有效性
3.4.2 基于实例等价性的模型解释
▲ 表3
我们发现，该可视化提供了关于 CIBLE 的预测行为的丰富信息：
1. 具有相同官方语言的实体表现出聚类特征；
2. 实体之间的距离反映了目标值之外的知识相关性。例如，阿根廷（西班牙语）和巴西（葡萄牙语）彼此相近，因为它们共享其它关系；
3. 实体间的距离可以表达 1 对 N 的关系。例如，英语、普通话和泰米尔语都是新加坡的官方语言，因此，新加坡靠近中国（普通话），印度（英语）和斯里兰卡（泰米尔语）。
本文的主要贡献如下：
1. 我们更新了对规则推理的工作机制的一般认知。我们发现，基于规则推理的知识图谱补全模型，主要依赖使用一类特殊规则来表示实例等价性，而非一般认为的前提和假设的语义一致性。
2. 我们发展了基于翻译模型的实例等价性表示理论，并据此提出了 IBL/CIBLE 模型。实验表明，模型在一些数据集上表现出了 SOTA 的效果，并可以提供基于实例等价性的模型解释。
在本文的叙述中，我们修改了 NeurIPS 原文的阐述顺序。即从“先方法后洞察”改为了“先洞察后方法”。整个行文逻辑也从原文的围绕方法（即 instance-based learning），改为了现在的围绕洞察（即 *-rules 和实例等价性的发现）。我们认为，新的叙述框架能帮助读者更好的理解本文的贡献。阅读 NeurIPS 原文的读者也可以注意与本文的行文区别。
参考文献
[1] Meng Qu, Junkun Chen, Louis-Pascal Xhonneux, Yoshua Bengio, and Jian Tang. Rnnlogic: Learning logic rules for reasoning on knowledge graphs. In ICLR, 2020.
[2] Fan Yang, Zhilin Yang, and William W Cohen. Differentiable learning of logical rules for knowledge base reasoning. In NeurIPS, 2017.
[3] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In NeurIPS, 2013.
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧