基于级联双向胶囊网络的鲁棒三元组知识抽取
每天给你送来NLP技术干货!
来自:浙大KG
论文题目:Robust Triple Extraction with Cascade Bidirectional Capsule Network
本文作者:张宁豫(浙江大学)、邓淑敏(浙江大学)、叶宏彬(浙江大学)、张伟(阿里巴巴),陈华钧(浙江大学)
接收期刊:Expert Systems With Applications
论文链接:https://www.sciencedirect.com/science/article/pii/S095741742101174X
一、研究背景
三元组抽取,即从自然语言文本中,抽取出特定的事实三元组信息, 这些信息通常包括实体(entity)、关系(relation)。一般来说,实体关系抽取采用基于管道的方法,也就是采用两个模型分别抽取实体和实体之间的关系。由于管道的方法存在误差传递,学者们又提出了诸多端到端的实体关系抽取方法,如PURE[1]、CasRel[2]、TPLinker[3]、CopyRE[4]、CopyMTL[5]、CGT[6],更加详细的方法分类可以查看[7]。
二、动机
我们在分析端到端实体关系抽取错误案例的时候发现,大多数错误可以被归类为以下两种类型。首先,我们发现大多数被被误判的关系是由于上下文存在较大的歧义性。例如,对于关系cities_of_residence和 countries_of_residence,由于这两类关系的上下文非常类似,仅仅是头尾实体类型有略微的区别(city和country)。这些语义相似的上下文容易引起模型的误判,进而抽取出错误的三元组。其次,我们发现模型会犯一些低级错误,抽取出违反既定schema的三元组知识。例如,has_religion关系的头实体和尾实体必须分别是人和信仰而不能是其他类型的实体。一般来说,实体关系之间存在一定的约束,实体的类型能促进关系的判别,而关系的类型也能约束实体的抽取。
三、方法
基于以上发现,我们提出了级联双向胶囊网络(CBCapsule)来进行实体关系三元组抽取。我们的模型主要通过多个胶囊网络层进行不同粒度(词、实体、关系)的信息聚合,并通过双向信息传递机制来隐式建模实体关系之间的约束。我们的模型主要分为词胶囊层、实体胶囊层和关系胶囊层。词胶囊层通过编码器的向量进行重组编码,并构建若干词胶囊作为实体胶囊层的输入。实体胶囊层由不同的细粒度实体类型构成,每个胶囊都代表了一种类型的细粒度实体。关系胶囊层由不同的关系组成。模型在不同的胶囊层之间存在双向的信息传递。一方面,会基于动态路由算法将信息由词胶囊层传递到实体胶囊层进而传递到关系胶囊层。另一方面,为了通过关系类型约束实体信息,模型增加了一个反向的信息链路来通用关系胶囊层来约束词胶囊层。下图是模型的总体架构:
四、实验
我们分别对三个基准数据集进行了实验:NYT,WebNLG和TACRED。我们在三个数据集上都取得了较好和可比的效果。此外我们还进行了鲁棒性实验。我们将测试集中的实体随机替换成其他类型的实体(Entity permutation),或将实体间的上下文进行扰动(Context permutation)分析。实验结果表明,我们的模型具备一定程度的鲁棒性。
详细的技术细节可以阅读我们的论文。
[1]A Frustratingly Easy Approach for Joint Entity and Relation Extraction
[2]A Novel Cascade Binary Tagging Framework for Relational Triple Extraction
[3]TPLinker : Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking
[4]Extracting Relational Facts by an End-to-end Neural Model with Copy Mechanism
[5]CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-Task Learning
[6]Contrastive Triple Extraction with Generative Transformer
[7]NLP中的实体关系抽取方法总结https://zhuanlan.zhihu.com/p/77868938
投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
整理不易,还望给个在看!
基于级联双向胶囊网络的鲁棒三元组知识抽取相关推荐
- 【源头活水】IEEE TIFS 2022 | 基于不确定因素感知的鲁棒虹膜识别
"问渠那得清如许,为有源头活水来",通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉.为此,我们特别精选论文阅读笔记,开辟 ...
- 深度学习-Resolution-robust Large Mask Inpainting with Fourier Convolutions基于傅里叶卷积的对分辨率鲁棒的掩模修复
Resolution-robust Large Mask Inpainting with Fourier Convolutions基于傅里叶卷积的对分辨率鲁棒的掩模修复 0.摘要 1.概述 2.方法 ...
- Patchwork++论文阅读——基于3D点云的快速鲁棒地面分割算法
文章目录 摘要 1. 介绍 2. 相关工作 A. 基于学习的地面分割方法 B. 传统的地面分割方法 C. 地面分割的应用 3. PATCHWORK++:快速.稳健.自适应的地面分割 A. 问题定义 B ...
- 基于pytorch的胶囊网络minst图像分类实现
关于<Dynamic Routing Between Capsules>这篇论文的代码复现网上有很多,基本都是做图像重构的.我修改了其中一部分代码,实现了minst图像分类. 参考:基于p ...
- 关于矩阵胶囊与EM路由的理解(基于Hinton的胶囊网络)
本文介绍了Hinton的第二篇胶囊网络论文"Matrix capsules with EM Routing",其作者分别为Geoffrey E Hinton.Sara Sabour ...
- 关于胶囊之间的动态路由的理解(基于Hinton的胶囊网络)
原文章:https://blog.csdn.net/bhneo/article/details/79391469 本文介绍了由Sara Sabour,Nicholas Frosst和Geoffrey ...
- 孪生神经网络_基于局部和全局孪生网络的鲁棒的人脸跟踪
论文名称 Siamese local and global networks for robust face tracking 引用:Qi, Yuankai, et al. "Siamese ...
- 【论文摘要】基于多数投票模式和超混沌加密的彩色图像鲁棒安全零水印算法
Robust and secure zero-watermarking algorithm for color images based on majority voting pattern and ...
- 解读ICDE‘22论文:基于鲁棒和可解释自编码器的无监督时间序列离群点检测算法
摘要:本文提出了两个用于无监督的具备可解释性和鲁棒性时间序列离群点检测的自动编码器框架. 本文分享自华为云社区<解读ICDE'22论文:基于鲁棒和可解释自编码器的无监督时间序列离群点检测算法&g ...
- 基于胶囊网络的轴承故障诊断(代码实现)
1 简介 胶囊网络(CapsNet)由 Hinton 于2017年10月在<Dynamic Routing Between Capsules>中提出,目的在于解决 CNN 只能提取特征,而 ...
最新文章
- Openfire 的安装和配置
- js跳转页面时添加header_鸿蒙应用开发踩坑记之路由跳转
- Hibernate懒加载
- 2020中国奢侈品消费者数字行为洞察报告
- matlab最小二乘法_基于最小二乘法的线性回归拟合
- 理解T-SQL: 触发器
- 动态添加和删除 ListView 项
- Ubuntu 20.04 安装 php 并配置 OpenResty
- 大话设计模式笔记(十二)の抽象工厂模式
- 深度学习简明教程系列 —— 基础知识(合集)
- 自备一个刷BIOS神器
- 关于游戏运营策划管理相关必备知识
- Windows两台服务器之间实现文件共享
- AidLearning上手使用经验谈
- 流量分析和强制执行ntopng
- 计算机演示文稿操作,计算机操作与应用 PowerPoint 演示文稿的设计与制作.ppt
- 道与术丨华为云数据库战略启示录
- FPGA芯片内两种存储器资源
- 二、T100库存杂收、杂发、报废管理篇
- 电脑连上了WIFI,但是却没有网(前提WIFI没有问题)
热门文章
- FreeRTOS之源码 及 移植详解
- 使用console进行 性能测试 和 计算代码运行时间
- asp.net MVC Views-----Controller传递数据方法
- 如何将自己在github写的android library开源,让大家依赖使用
- Exception.ToString()使用及其他方法比较
- list()的相关问题
- Cortex M3/M4 学习摘要(一)
- javascript 忍者秘籍读书笔记(二)
- 机器学习(3)——K-近邻算法改进约会网站的配对效果实例
- iOS 25个性能优化/内存优化常用方法