ConvE，知识图谱嵌入（KGE）论文复现（Ubuntu 20.04）

Paper：Convolutional 2D Knowledge Graph Embeddings

准备工作

GitHub地址，打开如下，下拉按照说明来复现模型

克隆项目到本地

git clone git@github.com:TimDettmers/ConvE.git

操作步骤

一. 安装与配置

1. Install PyTorch using Anaconda.

参照我的两篇博文：

1. WIN 11 安装 Ubuntu 20.04 （双系统）（2022.02.28）
2. Ubuntu 20.04 系统下（子系统）深度学习环境配置（Pytorch + GPU）

对于anaconda的安装，可以参考如下博文中安装anaconda3和环境变量部分的内容，其他不要多看，因为我的环境是双系统下的Ubuntu系统，而不是在虚拟机中进行的：

VMware 中 Ubuntu 20.04 安装和 Pytorch 1.10.2 环境配置（2022.02.10）

2. Install the requirements pip install -r requirements.txt

执行以下命令：

cd ConvE
pip install -r requirements.txt

出现错误，执行以下命令，大家根据自己情况而定：

pip install --upgrade pip
pip install PyHamcrest
pip install --upgrade pip

再转头来执行命令：pip install -r requirements.txt，显示安装成功，图太长，截最后一部分：

3. Download the default English model used by spaCy, which is installed in the previous step `python -m spacy download en_core_web_sm`

首先，手动下载需要的语言模型：点击进入，如下图所示，点击 tag
使用 next 翻页找到 en_core_web_sm-3.2.0 这个包，点进去：
选择 en_core_web_sm-3.2.0.tar.gz 下载：

下载后，执行命令：pip install en_core_web_sm-3.2.0.tar.gz，如下图所示

然后，对应下载合适的 spacy 版本，我安装的是3.2.0版本，在自己的 conda 虚拟环境中执行命令（我默认的清华源安装，其他的应该也可以）：

pip install spacy==3.2.0

4. Run the preprocessing script for WN18RR, FB15k-237, YAGO3-10, UMLS, Kinship, and Nations: sh preprocess.sh

执行以下命令：

cd ConvE
sh preprocess.sh

二. 在 FB15k-237 数据集上跑 ConvE 模型

执行以下命令：

CUDA_VISIBLE_DEVICES=0 python main.py --model conve --data FB15k-237 \--input-drop 0.2 --hidden-drop 0.3 --feat-drop 0.2 \--lr 0.003 --preprocess

报错：
原因：

从 Spacy V3.0 开始，该导入模块的方式已被弃用，因此要使用 spacy 模型，需要更改代码

解决：

import spacy 替换为 from spacy.lang.en import English
nlp=spacy.load('en') 替换为 nlp = English()

再次执行以下命令，成功：

CUDA_VISIBLE_DEVICES=0 python main.py --model conve --data FB15k-237 \--input-drop 0.2 --hidden-drop 0.3 --feat-drop 0.2 \--lr 0.003 --preprocess

中间部分过程，截图如下：
历经最少 12 小时吧，结果如下：

三. 在其它数据集上跑 ConvE 及其它两个模型

CUDA_VISIBLE_DEVICES=0 python main.py --model conve --data FB15k-237 \--input-drop 0.2 --hidden-drop 0.3 --feat-drop 0.2 \--lr 0.003 --preprocess

改变 --data 后的 FB15k-237 为下列数据集的任何一个:

WN18RR
YAGO3-10
umls
kinship
nations

改变 --model 后的 convE 为下列数据集的任何一个:

distmult
complex

四. 参数使用和注意事项

关于知识图谱的链接预测任务，在训练时的可选参数及含义：

 -h, --help            show this help message and exit--batch-size BATCH_SIZEinput batch size for training (default: 128)--test-batch-size TEST_BATCH_SIZEinput batch size for testing/validation (default: 128)--epochs EPOCHS       number of epochs to train (default: 1000)--lr LR               learning rate (default: 0.003)--seed S              random seed (default: 17)--log-interval LOG_INTERVALhow many batches to wait before logging trainingstatus--data DATA           Dataset to use: {FB15k-237, YAGO3-10, WN18RR, umls,nations, kinship}, default: FB15k-237--l2 L2               Weight decay value to use in the optimizer. Default:0.0--model MODEL         Choose from: {conve, distmult, complex}--embedding-dim EMBEDDING_DIMThe embedding dimension (1D). Default: 200--embedding-shape1 EMBEDDING_SHAPE1The first dimension of the reshaped 2D embedding. Thesecond dimension is infered. Default: 20--hidden-drop HIDDEN_DROPDropout for the hidden layer. Default: 0.3.--input-drop INPUT_DROPDropout for the input embeddings. Default: 0.2.--feat-drop FEAT_DROPDropout for the convolutional features. Default: 0.2.--lr-decay LR_DECAY   Decay the learning rate by this factor every epoch.Default: 0.995--loader-threads LOADER_THREADSHow many loader threads to use for the batch loaders.Default: 4--preprocess          Preprocess the dataset. Needs to be executed onlyonce. Default: 4--resume              Resume a model.--use-bias            Use a bias in the convolutional layer. Default: True--label-smoothing LABEL_SMOOTHINGLabel smoothing value to use. Default: 0.1--hidden-size HIDDEN_SIZEThe side of the hidden layer. The required sizechanges with the size of the embeddings. Default: 9728(embedding size 200).

注意事项：--preprocess 只执行一次就可以了。例如，第二步的命令执行时，已经带上了这个参数，以后的训练就不必再添加这个参数了：

--preprocess          Preprocess the dataset. Needs to be executed onlyonce. Default: 4

五. 关于论文复现

执行下列命令，选择数据集替换 DATASET_NAME，其余使用默认值，可还原论文：

CUDA_VISIBLE_DEVICES=0 python main.py --data DATASET_NAME

六. 论文复现中还可能遇到的问题