论文浅尝 | 弱监督关系抽取的深度残差学习方法

Citation: Pawar, S., Palshikar, G. K., & Bhattacharyya, P. (2017).Relation Extraction : A Survey, 1–51. Retrieved from http://arxiv.org/abs/1712.05191

动机

近年来基于深度学习方法的远程监督模型取得了不错的效果，但是现有研究大多使用较浅的 CNN 模型，通常一个卷基层加一个全连接层，更深的 CNN 模型是否能够更好地解决以有噪声的标注数据为输入的远程监督模型没有被探索。为了探索更深的 CNN 模型对远程监督模型的影响，本文设计了基于残差网络的深层 CNN 模型。实验结果表明，较深的 CNN 模型比传统方法中只使用一层卷积的简单 CNN 模型具有较大的提升。

方法

本方法的模型结构如下图所示：

1. 输入层。每个单词使用词向量和位置向量联合表示。

2. 卷基层。为了得到句子更高级的表示，采用多个卷基层堆叠在一起。为了解决训练时梯度消失的问题，在低层和高层的卷基层之间建立捷径连接。

3. 池化层和 softmax 输出层。

实验

实验在远程监督常用的数据集 NYT-Freebase 上进行。实验结果表明：

· 本文提出的方法采用 9 个卷基层时达到最好的效果，这时不适用注意力机制和 piecewise pooling 性能也接近了使用注意力和 piecewise pooling 的方法。结果如下表所示。

· 不使用残差网络的深层 CNN 模型，当层数较深时效果变差。使用残差网络可以解决其无法传播的问题，效果改善很多；结果如下图所示。

笔记整理：刘兵，东南大学在读博士，研究方向为自然语言处理。

OpenKG.CN

中文开放知识图谱（简称OpenKG.CN）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

转载须知：转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题，请注明原标题。

点击阅读原文，进入 OpenKG 博客。

论文浅尝 | 弱监督关系抽取的深度残差学习方法相关推荐

论文浅尝 | 远程监督关系抽取的生成式对抗训练
动机远程监督关系抽取方法虽然可以使用知识库对齐文本的方法得到大量标注数据,但是其中噪声太多,影响模型的训练效果.基于 bag 建模比基于句子建模能够减少噪声的影响,但是仍然无法克服 bag 全部是错 ...
ACL 2018论文解读 | 基于排序思想的弱监督关系抽取选种与降噪算法
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
Achuan读论文：用于远程监督关系抽取的微调预训练transformer语言模型
Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction 用于远程 ...
论文浅尝 - ICML2020 | 通过关系图上的贝叶斯元学习进行少样本关系提取
论文笔记整理:申时荣,东南大学博士生. 来源:ICML 2020 链接:http://arxiv.org/abs/2007.02387 一.介绍本文研究了少样本关系提取,旨在通过训练每个关系少量带有 ...
论文浅尝 - ACL2020 | 用于关系三元组抽取的级联二进制标记框架
论文笔记整理:王中昊,天津大学. 来源:ACL2020 链接:https://arxiv.org/pdf/1909.03227.pdf 摘要从非结构化文本中提取关系三元组是构建大规模知识图的关键.然 ...
论文浅尝 - JWS2020 | FEEL: 实体抽取和链接的集成框架
论文笔记整理,谭亦鸣,东南大学博士生. 来源:JWS 2020 链接:https://www.sciencedirect.com/science/article/pii/S15708268203001 ...
论文浅尝 | 面向单关系事实问题的中文问答模型
来源:NLPCC 2017 论文下载地址:http://tcci.ccf.org.cn/conference/2017/papers/2003.pdf 动机开放领域的QA问题是一个被广泛研究的问题, ...
论文浅尝 | DKN: 面向新闻推荐的深度知识感知网络
笔记整理:仲亮靓,东南大学硕士研究生,研究方向是基于知识图谱的推荐系统动机新闻文本的语言非常凝练,其中包含了很多实体和常识知识.但目前的新闻个性化推荐方法都没有利用这些外部知识,也没有使用新闻之间 ...
ACL 2018 论文解读 | 基于深度强化学习的远程监督关系抽取
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...

论文浅尝 | 弱监督关系抽取的深度残差学习方法

论文浅尝 | 弱监督关系抽取的深度残差学习方法相关推荐

最新文章

热门文章