小样本关系分类：STAD: Self-Training with Ambiguous Data for Low-Resource Relation Extraction Extraction

论文核心

对于模型在无标注数据集的预测结果，根据预测概率分为3部分，置信度比较高，置信度中等的和置信度较低的。对于置信度较高的部分，可以认为和人工标注数据集相同，质量可观。对于置信度中等的部分，论文中的创新点是这部分怎么使用的问题？

着重于模糊集，并提出了一种利用模糊实例和有把握的实例来改进低资源RE系统的方法。

存在问题：1）如何识别模棱两可的实例的候选标签；2）如何用模棱两可的实例训练一个新模型

总体感觉，还是在于如何讲好一个故事。

任务形式：小样本关系分类任务。

模型结构

使用自训练方式，self training，利用人工标注数据训练一个teacher model，让labeled data 和置信度高的data训练一个student model。

文章的不同是在于使用confident data和ambiguous data训练一个student model。

如图2所示，常用的自我训练的流程是按以下步骤进行的。(1) 使用人类标注的数据来训练教师模型；(2)
使用教师模型对未标注的数据进行标签预测；(3)
通过预先定义的概率阈值（在第2.2节中描述）选择有把握的自动标注实例，其余为不确定的实例；(4)
结合有把握的自动标注数据和人类标注的数据来训练学生模型（图2中红色虚线矩形）。

关系抽取

1 labeled data and confidence data

(‘[E1]头部实体[/E1]‘和’[E2]尾部实体[/E2]’)被插入到输入标记中以包住实体。具体来说，两个起始实体标记（‘[E1]‘和’[E2]’）的输出表示被串联起来作为实体的表示

损失函数：交叉熵

2 模糊数据集

模糊数据集的构建：
看下就能看懂，不难。

模糊数据集的训练：使用的是negtive training的方式，
虽然不能保证是哪个类别，但一定一个保证不属于哪个类别。构建负例样本，采用的那个概率最低的类别作为负例。

标签体系：采用软标签，partial label，概率最低的label为反标签，之后，概率相当的标签作为正标签。

损失函数：交叉熵

联合训练

统一labeled data和人工标注数据集&模糊数据集（反向训练）的训练任务：
z-p是绝对值。

奇怪，数据集没有在fewrel上做。

怎么吧故事讲好呢？