论文标题：Learning from History: Modeling Temporal Knowledge Graphs with Sequential Copy-Generation Networks

论文来源：AAAI 2021

文章目录

1. 开篇
2. 模型
- 2.1. 整体结构
- 2.2. Copy Mode
- 2.3. Generation Mode
- 2.4. Inference and Learning Objective
3. 实验结果
4. 作者的展望
5. 个人想法

1. 开篇

文章提出了一种新的时序知识图谱表示学习模型CyGNet，不仅能够利用全局图谱结构去预测三元组（Generation Mode），而且能够利用过去重复发生的事实（facts）去预测未来（Copy Mode）。

2. 模型

2.1. 整体结构

图1. CyGNet整体结构图

2.2. Copy Mode

Copy Mode使用过去重复发生的facts对未来的facts进行预测。

对于一个待预测的query $s,p,?,t_k)$ ，首先构建一个historical vocabulary（如图2所示意）：
$\{h^{(s,p)}_{t_1},h^{(s,p)}_{t_2},h^{(s,p)}_{t_3},......,h^{(s,p)}_{t_{k-1}}\}$ 其中 $h^{(s,p)}_{t_i}$ 是一个N维向量（N是实体总数），向量中为1的元素表示训练集中存在以对应实体为objective（客体、宾语）的fact（且时间为 ${t_i}$ ），反之则为0。（注意：对每个query只会用到在其之前的历史信息）

图2. historical vocabulary构建示意图
然后将这些历史信息汇总：
$H^{(s,p)}_{t_k} = h^{(s,p)}_{t_1}+h^{(s,p)}_{t_2}+h^{(s,p)}_{t_3}+......+h^{(s,p)}_{t_{k-1}}$
随后用一个MLP接入query信息：
$v_q=tanh(W_c[s,p,t_k]+b_c)$ 其中 $W_c$ 是模型参数； $s,p,t_k$ 都是embedding向量，值得注意的是 $t_k$ 的embedding方式（之后再补充）。
最后将query信息与history信息融合
$p_c=softmax(v_q+H_{t_k}^{(s,p)})$ 其中 $p_c$ 是一个长度为N的向量，每个元素代表预测客体为对应（索引编号）实体的概率。

2.3. Generation Mode

Generation Mode利用全局的结构信息进行预测。
$g_q=tanh(W_g[s,p,t_k]+b_g)$ $p_g=softmax(g_q)$

2.4. Inference and Learning Objective

作者将query $s,p,?,t_k)$ 的预测问题看作一个N分类问题，Copy Mode和Generation Mode会产生两个概率分布向量 $p_c$ 和 $p_g$ ，将两者加权求和得到最终的概率分布： $p=\alpha*p_c+(1-\alpha)*p_g$ 其中 $\alpha\in[0,1]$ 是超参数；而最终的预测客体编号为 $a r g ma x (p)$ 。
模型的前向推断过程如图3所示：

图3. 模型的前向推断过程
损失函数为概率分布向量的交叉熵（原文中的loss有些看不懂，这个是从源码中看出来的，就是多分类问题的交叉熵损失） $loss=Cross Entropy(p,truethlabels)+regularization\_loss$

3. 实验结果

作者在5个时序知识图谱数据集（ICEWS18,ICEWS14, GDELT, WIKI and YAGO）上进行实验。
数据集规模

与baseline的对比实验。CyGNet在ICEWS18，ICEWS14，GDELT这三个数据集上都达到了最好的性能；在WIKI数据集上性能比RE-NET模型要差；在YAGO数据集上与RE-NET难分高下。
作者还分析了CyGNet模型在WIKI数据集上性能较差的原因，因为WIKI数据集上subjects和objects在历史中重复的比例不平衡。作者为此提出了一个改进方向：how to tackle this shortcoming of CyGNet with a more robust meta-learning framework is a meaningful direction for further studies.

消融实验

4. 作者的展望

For future work,we plan to improve the sequential copy mechanism by identifying globally salient entities and events.

5. 个人想法

融入历史信息的方式可以改进

CyGNet论文阅读笔记相关推荐

全卷积（FCN）论文阅读笔记：Fully Convolutional Networks for Semantic Segmentation
论文阅读笔记:Fully Convolutional Networks forSemantic Segmentation 这是CVPR 2015拿到best paper候选的论文. 论文下载地址:Fu ...
DnCNN论文阅读笔记【MATLAB】
DnCNN论文阅读笔记论文信息: 论文代码:https://github.com/cszn/DnCNN Abstract 提出网络:DnCNNs 关键技术: Residual learning an ...
Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...
FCGF论文阅读笔记
FCGF论文阅读笔记 0. Abstract 从三维点云或者扫描帧中提取出几何特征是许多任务例如配准,场景重建等的第一步.现有的领先的方法都是将low-level的特征作为输入,或者在有限的感受野上提 ...
PointConv论文阅读笔记
PointConv论文阅读笔记 Abstract 本文发表于CVPR. 其主要内容正如标题,是提出了一个对点云进行卷积的Module,称为PointConv.由于点云的无序性和不规则性,因此应用卷积比 ...
DCP（Deep Closest Point）论文阅读笔记以及详析
DCP论文阅读笔记前言本文中图片仓库位于github,所以如果阅读的时候发现图片加载困难.建议挂个梯子. 作者博客:https://codefmeister.github.io/ 转载前请联系作者 ...
2019 sample-free（样本不平衡）目标检测论文阅读笔记
点击我爱计算机视觉标星,更快获取CVML新技术本文转载自知乎,已获作者同意转载,请勿二次转载 (原文地址:https://zhuanlan.zhihu.com/p/100052168) 背景 < ...
keras cnn注意力机制_2019 SSA-CNN（自注意力机制）目标检测算法论文阅读笔记
背景 <SSA-CNN Semantic Self-Attention CNN for Pedestrian Detection>是2019 的工作,其作者来自于南洋理工.这篇文章主要是做 ...
ResNet 论文阅读笔记
ResNet 论文阅读笔记 #机器学习/深度学习文章介绍论文地址:https://arxiv.org/pdf/1512.03385.pdf 原文题目:Deep Residual Learning ...

CyGNet论文阅读笔记

文章目录

1. 开篇

2. 模型

2.1. 整体结构

2.2. Copy Mode

2.3. Generation Mode

2.4. Inference and Learning Objective

3. 实验结果

4. 作者的展望

5. 个人想法

CyGNet论文阅读笔记相关推荐

最新文章

热门文章