【自然语言处理】【知识图谱】知识图谱表示学习(三)：SE、SME、LFM、RESCAL、HOLE

知识图谱表示学习(三)

SE、SME、LFM、RESCAL、HOLE

【自然语言处理】【知识图谱】知识图谱表示学习(一)：TransE、TransH、TransR、CTransR、TransD
【自然语言处理】【知识图谱】知识图谱表示学习(二)：TranSparse、PTransE、TransA、KG2E、TransG
【自然语言处理】【知识图谱】知识图谱表示学习(三)：SE、SME、LFM、RESCAL、HOLE
【自然语言处理】【知识图谱】知识图谱表示学习(四)：【RotatE】基于复数空间关系旋转的知识图谱嵌入
【自然语言处理】【知识图谱】知识图谱表示学习(五)：【PairRE】基于成对关系向量的知识图谱嵌入

一、符号

使用 $G = (E, R, T)$ 来表示完整的知识图谱，其中 $E={e1,e2,…,e∣E∣}E=\{e_1,e_2,\dots,e_{|E|}\}$ 表示实体集合， $R={r1,r2,…,r∣R∣}R=\{r_1,r_2,\dots,r_{|R|}\}$ 表示关系集合， $T$ 表示三元组集合， $∣ E ∣$ 和 $∣ R ∣$ 表示实体和关系的数量。
知识图谱以三元组 $⟨h,r,t⟩\langle h,r,t\rangle$ 的形式表示，其中 $h∈Eh\in E$ 表示头实体， $t∈Et\in E$ 表示尾实体， $r∈Rr\in R$ 表示 $h$ 和 $t$ 间的关系。

二、SE

$Embedding)\text{SE(Structured Embedding)}$ 会将每个实体投影至 $d$ 维向量空间。具体来说， $SE\text{SE}$ 会为每个关系设计两个矩阵 $Mr,1,Mr,2∈Rd×d\textbf{M}_{r,1},\textbf{M}_{r,2}\in\mathbb{R}^{d\times d}$ ，然后使用者两个矩阵将头实体和尾实体投影至相同的语义空间并计算相似度。 $SE\text{SE}$ 的评分函数定义为
$E(h,r,t)=∥Mr,1h−Mr,2t∥1\mathcal{E}(h,r,t)=\parallel \textbf{M}_{r,1}\textbf{h}-\textbf{M}_{r,2}\textbf{t}\parallel_1$
其中， $h\textbf{h}$ 和 $t\textbf{t}$ 都会被投影至相应的关系空间中。

不同于 $TransE\text{TransE}$ 这样基于翻译的模型， $SE\text{SE}$ 会将实体建模为嵌入向量，关系建模为投影矩阵。

三、SME

不同于 $SE\text{SE}$ ， $Energy)\text{SEM(Semantic Matching Energy)}$ 会将实体和关系都看作是低维向量。对于任一三元组 $⟨h,r,t⟩\langle h,r,t\rangle$ ， $h\textbf{h}$ 和 $r\textbf{r}$ 会被一个投影函数 $g$ 合并为新嵌入向量 $Ih,r\textbf{I}_{h,r}$ ， $t\textbf{t}$ 和 $r\textbf{r}$ 也同样会被合并 $It,r\textbf{I}_{t,r}$ 。然后，通过一个point-wise乘积将两个嵌入向量 $Ih,r\textbf{I}_{h,r}$ 和 $It,r\textbf{I}_{t,r}$ 进行合并，得到整个三元组的评分。 $SME\textbf{SME}$ 提出了两个不同的合并投影函数 $g$ :

线性形式
$E(h,r,t)=(M1h+M2r+b1)⊤(M3t+M4r+b2)\mathcal{E}(h,r,t)=(\textbf{M}_1\textbf{h}+\textbf{M}_2\textbf{r}+\textbf{b}_1)^\top(\textbf{M}_3\textbf{t}+\textbf{M}_4\textbf{r}+\textbf{b}_2)$
其中， $M1h+M2r+b1\textbf{M}_1\textbf{h}+\textbf{M}_2\textbf{r}+\textbf{b}_1$ 就是 $Ih,r\textbf{I}_{h,r}$ ， $M3t+M4r+b2\textbf{M}_3\textbf{t}+\textbf{M}_4\textbf{r}+\textbf{b}_2$ 是 $It,r\textbf{I}_{t,r}$ 。
双线性形式
$E(h,r,t)=((M1h⊙M2r)+b1)⊤((M3t⊙M4r)+b2)\mathcal{E}(h,r,t)=((\textbf{M}_1\textbf{h}\odot\textbf{M}_2\textbf{r})+\textbf{b}_1)^\top((\textbf{M}_3\textbf{t}\odot\textbf{M}_4\textbf{r})+\textbf{b}_2)$
其中， $(M1h⊙M2r)+b1(\textbf{M}_1\textbf{h}\odot\textbf{M}_2\textbf{r})+\textbf{b}_1$ 是 $Ih,r\textbf{I}_{h,r}$ ， $(M3t⊙M4r)+b2(\textbf{M}_3\textbf{t}\odot\textbf{M}_4\textbf{r})+\textbf{b}_2$ 是 $It,r\textbf{I}_{t,r}$ 。

其中， $⊙\odot$ 是element-wise(Hadamard)积； $M1,M2,M3,M4\textbf{M}_1,\textbf{M}_2,\textbf{M}_3,\textbf{M}_4$ 是投影函数的权重矩阵， $b1,b2\textbf{b}_1,\textbf{b}_2$ 是偏置。

四、LFM

$Model)\text{LFM(Latent Factor Model)}$ 是用于建模大型多关系数据集的。 $LFM\textbf{LFM}$ 是双线性结构，其将实体建模为嵌入向量、关系建模为矩阵。该方法在不同关系间共享相同的隐因子，从而极大的降低计算复杂度。 $LFM\text{LFM}$ 的评分函数为
$E(h,r,t)=h⊤Mrt\mathcal{E}(h,r,t)=\textbf{h}^\top\textbf{M}_r\textbf{t}$
其中， $Mr\textbf{M}_r$ 是关系 $r$ 的矩阵表示。

五、RESCAL

$RESCAL\text{RESCAL}$ 是一种基于矩阵分解的知识图谱表示学习。 $RESCAL\text{RESCAL}$ 为了表示知识图谱中的所有三元组，提出了三维张量的方式 $X⃗∈Rd×d×k\vec{\textbf{X}}\in\mathbb{R}^{d\times d\times k}$

∈Rd×d×k，其中

d

是实体的维度，

k

是关系的维度。在三维张量

X⃗\vec{\textbf{X}}

中，前两个mode分别表示头、尾实体，第三个mode表示关系。

X⃗\vec{\textbf{X}}

中的每个分量都代表对应的三元组是否存在。例如，若三元组

⟨ithentity,mthrelation,jthentity⟩\langle ith \;entity,mth\;relation,jth\;entity\rangle

在训练集中存在则

X⃗ijm=1\vec{\textbf{X}}_{ijm}=1

，否则

X⃗ijm=0\vec{\textbf{X}}_{ijm}=0

。

为了捕获所有三元组的内在结构，提出一个称为 $RESCAL\text{RESCAL}$ 的张量分量模型。设 $X⃗={X1,…,Xk}\vec{\textbf{X}}=\{\textbf{X}_1,\dots,\textbf{X}_k\}$

={X1,…,Xk}，那么对于每个slice

Xn\textbf{X}_n

，其

r

秩分解为

Xn≈ARnA⊤\textbf{X}_n\approx\textbf{AR}_n\textbf{A}^\top

其中，

A∈Rd×r\textbf{A}\in\mathbb{R}^{d\times r}

是

r

维的实体表示，

Rn\textbf{R}_n

则是第

n

个关系

r

个隐组件的交互。该分解的形式与

LFM\text{LFM}

非常类似，但是

RESCAL\text{RESCAL}

不但能优化正三元组，也能同时优化不存在的三元组，即

X⃗ijm=0\vec{\textbf{X}}_{ijm}=0

。

基于这个张量分量的假设， $RESCAL\text{RESCAL}$ 的损失函数定义为
$L=12(∑n∥Xn−ARnA⊤∥F)+12λ(∥A∥F2+∑n∥Rn∥F2)\mathcal{L}=\frac{1}{2}\Big(\sum_n\parallel\textbf{X}_n-\textbf{AR}_n\textbf{A}^\top\parallel_F\Big)+\frac{1}{2}\lambda\Big(\parallel\textbf{A}\parallel_F^2+\sum_n\parallel\textbf{R}_n\parallel_F^2\Big)$
其中，第2项是正则化项， $λ\lambda$ 是超参数

六、HOLE

$RESCAL\text{RESCAL}$ 虽然在多关系数据集上表现的很好，但是计算复杂度太高。为了提高 $RESCAL\text{RESCAL}$ 的效率，提出了其增强版本 $Embeddings)\text{HOLE(Holographic Embeddings)}$ 。

$HOLE\text{HOLE}$ 利用了一种称为“循环关联”(circular correlation)的操作来生成组合表示，其类似于联合存储中的holographic模型。循环关联操作 $★:Rd×Rd→Rd\bigstar:\mathbb{R}^d\times\mathbb{R}^d\rightarrow\mathbb{R}^d$ 介于实体 $h$ 和 $t$ 之间
$h★tk=∑i=0d−1hit(k+i)modd\textbf{h}\bigstar\textbf{t}_k=\sum_{i=0}^{d-1}h_it_{(k+i)mod\;d}$
上图展示了这个操作的简单例子。

三元组 $⟨h,r,t⟩\langle h,r,t\rangle$ 的概率定义为
$P(ϕr(h,t)=1)=Sigmoid(r⊤(h★t))P(\phi_r(h,t)=1)=\text{Sigmoid}(\textbf{r}^\top(\textbf{h}\bigstar\textbf{t}))$
“循环关联”操作能够带来许多优点：(1) 不同于乘或者卷积的操作，循环关联是不具有交换性的(例如 $h★t≠t★h\textbf{h}\bigstar\textbf{t}\neq\textbf{t}\bigstar\textbf{h}$ )，其能够建模知识图谱中的非对称关系；(2) 循环关联的计算复杂度低。此外，“循环关联“操作还能够利用快速傅里叶变换进行进一步的加速。

引用文献

[1]. Zhiyuan Liu, Yankai Lin and Maosong SUn. Representation Learning for Natural Language Processing.