动机
方法
- 基本想法
- 关系基数边界
- 基于基数的正则化
- 下界估计
- 求和估计
- - Importance Sampling
  - Bernoulli Sampling
实验
- 数据集
- 评估
- - 链接预测
  - 采样方法
  - 加入正则化的有效性
  - 正向影响
  - 正则化不同权重的影响
结论

动机

动机：现有预测主要是设计新的得分函数或者训练过程融入外部信息提升知识表示，它们忽略了图中的常识或者schema知识。比如cardinality信息，即基数信息，它限制了关系给出的预测数在最小和最大频率之间。[例子：一只手有五个手指，汽车有四个轮子，这些都可以认为是常识知识]

方法

本文提出了一种正则化方法，将关系基数约束合并到任何现有的神经链接预测模型，而不影响它们的效率或可伸缩性。

基本想法

当预测结果违背cardinality约束时对模型进行惩罚，约束表示为给定关系类型基数的上界或下界，在训练时捕获关系的cardinality概念，让链接预测模型符合先验知识学到更好的实体和关系表示。

关系基数边界

∀h∈ϵ,(φr↓≤count(r,h)≤φr↑)\forall h \in \epsilon, (\varphi^\downarrow_r \leq count(r, h) \leq \varphi^\uparrow_r)∀h∈ϵ,(φr↓≤count(r,h)≤φr↑)

对于三元组 (edgar_allan_poe, hasParent, t)，约束可以表示为：
0≤∑t∈ϵp(yhrt=1∣Θ)≤20 \leq \sum_{t\in \epsilon} p(y_{hrt} = 1 | \Theta) \leq 20≤t∈ϵ∑p(yhrt=1∣Θ)≤2

基于基数的正则化

给定h和r，可能的三元组集合表示为：
Ahr[ϵ]≜(h,r,t):∀t∈ϵA_{hr}[\epsilon] \triangleq {(h, r, t): \forall t\in \epsilon}Ahr[ϵ]≜(h,r,t):∀t∈ϵ
在Ahr_{hr}hr[ϵ\epsilonϵ]三元组的条件概率上可以定义以下的硬约束：
φr↓≤(Xhr[ϵ]≜∑xhrt∈Ahr[ϵ]p(yhrt=1∣Θ))≤φr↑\varphi^\downarrow_r \leq \Bigg(X_{hr}[\epsilon] \triangleq \sum_{x_{hrt}\in A_{hr}[\epsilon]} p(y_{hrt} = 1 | \Theta)\Bigg) \leq \varphi^\uparrow_rφr↓≤(Xhr[ϵ]≜xhrt∈Ahr[ϵ]∑p(yhrt=1∣Θ))≤φr↑
不等式约束不可以直接融合到链接预测模型，我们通过定义惩罚违背约束的损失函数转化成软约束，定义函数Ghr_{hr}hr当违背约束时为正，否则为0，函数定义如下 (下界设为0可以避免知识图谱不完整的情况)：
Ghr[ϵ;Φ]=max(0,φr↓−Xhr[ϵ])+max(0,Xhr[ϵ]−φr↑)G_{hr}[\epsilon; \Phi] = max(0, \varphi^\downarrow_r-X_{hr}[\epsilon]) + max(0, X_{hr}[\epsilon]-\varphi^\uparrow_r)Ghr[ϵ;Φ]=max(0,φr↓−Xhr[ϵ])+max(0,Xhr[ϵ]−φr↑)
最终的目标函数定义：
LC(Θ)=L(Θ)+λ∑ΦGhr[ϵ;Φ]L^{C}(\Theta) = L(\Theta) + \lambda\sum_{\Phi}G_{hr}[\epsilon;\Phi]LC(Θ)=L(Θ)+λΦ∑Ghr[ϵ;Φ]

下界估计

随着Ahr[ϵ]_{hr}[\epsilon]hr[ϵ]集合变大获取概率的和非常耗时，本文提出使用采样方法近似概率的和，在所有实体中采样一个子集S，得到下界：
Xhr[S]≤Xhr[ϵ]X_{hr}[S] \leq X_{hr}[\epsilon]Xhr[S]≤Xhr[ϵ]
对实体的选择将会影响这个边界，本文考虑uniform sampling得到下界
∑xhrt∈Ahr[S]p(yhrt=1∣Θ≤Xhr[ϵ]\sum_{x_{hrt}\in A_{hr}[S]} p(y_{hrt} = 1 | \Theta \leq X_{hr}[\epsilon]xhrt∈Ahr[S]∑p(yhrt=1∣Θ≤Xhr[ϵ]

求和估计

直接通过采样近似Xhr[ϵ]_{hr}[\epsilon]hr[ϵ]，采用了两种通过蒙特卡罗估计近似求和的方法：importance sampling和bernoulli sampling。c表示采样的三元组个数

Importance Sampling

定义 Z = ∑cq(c)zcq(c)\sum_c \frac{q(c)z_c} {q(c)}∑cq(c)q(c)zc，通过分布q选择索引集并得到以下近似：
Z≈1S∑s∈Szsq(s)Z \approx \frac{1}{S} \sum_{s\in S} \frac{z_s}{q(s)}Z≈S1s∈S∑q(s)zs
q(s)表示从S中采样s的概率

Bernoulli Sampling

Z=∑czc=Es∼b(∑cscbczc)Z = \sum_cz_c=\mathbb{E}_{s\sim b}\Bigg(\sum_c\frac{s_c}{b_c}z_c\Bigg)Z=c∑zc=Es∼b(c∑bcsczc)
变量sc∈_c\inc∈{0, 1}表示zc_cc要不要被采样，p(sc_cc=1)=bc_cc表示采样zc_cc的概率

实验

数据集

列举之前工作挖掘得到的cardinality的例子

评估

包含三个方面：评估正则化在链接预测的作用；评估不同采样方法的作用；评估正则化前后对基数约束的违反

链接预测

实验结果

采样方法

加入正则化的有效性

正向影响

减小中位数和长尾分布

正则化不同权重的影响

结论

为链接预测模型提出了一种基于基数的正则化项，减少了模型预测时违背约束的预测数，使预测更准确。

Embedding Cardinality Constraints in Neural Link Predictors (SAC 2019)相关推荐

AMiner会议论文推荐第三十五期
AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权.平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价.专家发现.智能指派.学术地图等科技情报专业化服务.系统2 ...
百里挑一：ICLR 2021杰出论文奖出炉！
北京时间 2021年4月1日,ICLR 2021 杰出论文新鲜出炉了!在本届 ICLR 上被接收的 860 篇高质量论文中,有 8 篇论文脱颖而出,被授予 ICLR 2021 杰出论文奖. 本次杰出论 ...
ICLR 2021杰出论文奖公布，DeepMind是最大赢家
萧箫发自凹非寺量子位报道 | 公众号 QbitAI ICLR 2021杰出论文奖出炉! 今年共有2997篇投稿,接收860篇,最后共有8篇获得杰出论文奖. 这8篇论文中,谷歌成最大赢家,共有4 ...
ICLR 2021杰出论文公布：清华、上财校友一作获奖
来源:机器之心 ICLR 2021 距正式召开还有一个月的时间,今日公布了八篇杰出论文,主题涵盖复杂查询应答.图网络网格模拟以及基于随机微分方程的分数生成式建模等.此外,这八篇杰出论文中也有多位华人学 ...
【论文解读 AAAI 2020 | GNTP】Differentiable Reasoning on Large Knowledge Bases and Natural Language
论文题目:Differentiable Reasoning on Large Knowledge Bases and Natural Language 论文来源:AAAI 2020 伦敦大学, Fac ...
A Comprehensive Survey on Graph Neural Networks(图神经网络综合研究)
A Comprehensive Survey on Graph Neural Networks 图神经网络综合研究 Zonghan Wu, Shirui Pan, Member, IEEE, Feng ...
20-Joint entity and relation extraction based on a hybrid neural network(LSTM-ED+CNN),考虑长距离的实体标签之间的关
文章目录 abstract 1.introduction 2.相关工作 2.1. Named entity recognition 2.2. Relation classiﬁcation 2.3 联合 ...
A Comprehensive Survey on Graph Neural Networks--图神经网络综合研究
文章目录一.图神经网络简史二.现阶段研究现状三.引言四.本文作出的贡献五.定义六.分类与框架 1.分类 1.1图卷积网络(GCN) 1.2.图注意力网络 1.3.图自动编码器 1.4.图生 ...
Paper：《Graph Neural Networks: A Review of Methods and Applications—图神经网络:方法与应用综述》翻译与解读
Paper:<Graph Neural Networks: A Review of Methods and Applications-图神经网络:方法与应用综述>翻译与解读目录 < ...

Embedding Cardinality Constraints in Neural Link Predictors (SAC 2019)

目录

动机

方法