论文解读丨Zero-Shot场景下的信息结构化提取
摘要:在信息结构化提取领域,前人一般需要基于人工标注的模板来完成信息结构化提取。论文提出一种zero-shot的基于图卷积网络的解决方案,可以解决训练集和测试集来自不同垂直领域的问题。
本文分享自华为云社区《论文解读系列十六:Zero-Shot场景下的信息结构化提取》,作者:一笑倾城。
摘要
在信息结构化提取领域,前人一般需要基于人工标注的模板来完成信息结构化提取。论文提出一种zero-shot的基于图卷积网络的解决方案,可以解决训练集和测试集来自不同垂直领域的问题。
Figure 1. 训练和推理数据来源的垂直领域不一样。
问题定义
Figure 2. OpenIE和ClosedIE的直观理解。
Relatin Extraction
- Close Relation Extraction (ClasedIE)
RR表示类别集合,包含无类别,模型直接为每个实体分配类别即可。 - Open Relation Extraction(OpenIE)
RR表示类别集合,模型作两类分类,判断一个实体是否是另一个实体的key。
Zero-Shot Extraction
Zero-Shot按难度分可以区分如下:
- Unseen-Website Zero-shot Extraction
即同一垂直领域的不同版式,比如,都是来自电影的网页。只是推理测试的时候使用的网页排版与训练不一样。 - Unseen-Websiste Zero-shot Extraction
即不同垂直领域的不同版式,比如,训练是来自电影的网页,而推理测试的时候使用的可能是招聘类网站的网页。
论文提出的解决方案其实是发掘出图网络中全部的key-value对,由于发掘key-value这个任务本身是版式不依赖的,从而起到了跨领域的版式结构解析。
概念
- relation: 指key
- object:指value
- relationship: 指key -> value
编码器(特征构建)
节点信息的构建由图GG来完成,包括一系列的节点NN(实体),和节点之间的边E(Edges)。
基于设计的规则来构建实体之间的关系
以下情况下,会构建节点之间的边(key-value对经常是上下关系或左右关系):
- 水平情况:水平邻居,而且中间没有其它节点;
- 垂直情况:垂直邻居,而且中间没有其它节点;
- 同级情况:同级节点;
使用图网络来实体之间的关系进进建模
基于Graph Attention Network (GAT)来对节点关系进行建模,节点初始(输入)特征:
- 视觉特征:网页中对节点的视觉类描述;
- 文本特征:OpenIE是对预训练Bert进行特征平均,CloseIE则是统计该节点字符串出现的频率(似乎对跨领域更友好);
预训练机制
论文设计了辅助的损失函数L_{pre}Lpre进行三类分类的监督:{key, value, other}。同时为了防止训练过程过拟合,预训练完成后,OpenIE任务中的图网络权重不会更新。
关系预测网络
OpenIE
判断一对节点是否满足第一个节点字符串内容是第二个节点字符串内容的key:
- 使用the candidate pair identification algorithm来获取潜在的字符串对;
- 两个节点的原始输入特征+GNN输出特征+两个节点的关系特征作为分类器输入;
- 全连接网络进行分类;
ClosedIE
交叉熵多类分类
实验
- 确实是跨领域任务更加困难。
- CloseIE:确实是网址越多,效果越好。
- 确认各个因素对网络模型效果的影响。
点击关注,第一时间了解华为云新鲜技术~
论文解读丨Zero-Shot场景下的信息结构化提取相关推荐
- 论文解读丨图神经网络应用于半结构化文档的命名实体识别和关系提取
摘要: 随着用于传递和记录业务信息的管理文档的广泛使用,能够鲁棒且高效地从这些文档中自动提取和理解内容的方法成为一个迫切的需求.本次解读的文章提出利用图神经网络来解决半结构化文档中的实体识别(NER) ...
- 论文解读丨LayoutLM: 面向文档理解的文本与版面预训练
摘要:LayoutLM模型利用大规模无标注文档数据集进行文本与版面的联合预训练,在多个下游的文档理解任务上取得了领先的结果. 本文分享自华为云社区<论文解读系列二十五:LayoutLM: 面向文 ...
- 论文解读丨无参数的注意力模块SimAm
摘要:本文提出了一个概念简单但对卷积神经网络非常有效的注意力模块. 本文分享自华为云社区<论文解读系列三十:无参数的注意力模块SimAm论文解读>,作者:谷雨润一麦. 摘要 本文提出了一个 ...
- 论文解读丨文档结构分析
摘要:一个端到端的文档结构分析方案(DocParser),对文档(扫描版.图片版等)进行结构提取,包括实体识别(这里实体指所有需要检测的元素,包括文本.行.列.单元格等)和关系分类. 本文分享自华为云 ...
- 论文解读丨基于局部特征保留的图卷积神经网络架构(LPD-GCN)
本文分享自华为云社区<论文解读:基于局部特征保留的图卷积神经网络架构(LPD-GCN)>,原文作者:PG13 . 近些年,很多研究者开发了许多基于图卷积网络的方法用于图级表示学习和分类应用 ...
- 论文解读丨【CVPR 2022】不使用人工标注提升文字识别器性能
摘要:本文提出了一种针对文字识别的半监督方法.区别于常见的半监督方法,本文的针对文字识别这类序列识别问题做出了特定的设计. 本文分享自华为云社区<[CVPR 2022] 不使用人工标注提升文字识 ...
- AI论文解读丨融合视觉、语义、关系多模态信息的文档版面分析架构VSR
摘要:文档版式分析任务中,文档的视觉信息.文本信息.各版式部件间的关系信息都对分析过程具有很重要的作用.本文提出一种融合视觉.文本.关系多模态信息的版式分析架构VSR. 本文分享自华为云社区<论 ...
- 论文解读丨空洞卷积框架搜索
摘要:在通用目标检测算法,空洞卷积能有效地提升网络的感受野,进而提升算法的性能.本次解读的文章提出了一种空洞卷积变体及对应的空洞卷积搜索方法,充分探索空洞卷积的潜力,进一步提升网络模型的性能. 本文分 ...
- 供应商寄售库存管理_【论文解读】物流联合外包下库存管理模式对供应链运作的影响...
物流联合外包下库存管理模式对供应链运作的影响 作者:冯颖,林晴,张景雄,张炎治 目录 1 引言 2 问题描述 3 数学模型 4 协调模型 5 数值算例 6 结论 1 引言 传统库存管理模式下,供应 ...
最新文章
- mysql三表查询数据重复_解决mybatis三表连接查询数据重复的问题
- Maven教程(3)--Maven导入工程常见问题(编码、MavenArchiver、Lifecycle Mapping、maven install 没有反应)...
- Python 开发面试题
- 回归分析结果表格怎么填_手把手教绘制回归分析结果的森林图GraphPad Prism和Excel...
- python 数字证书模拟登录_用于生成WebService使用的数字证书及签署证书.python脚本...
- 使用通用mapper实现条件查询_【微服务】152:Stream流和通用mapper批量查询的使用...
- C语言文件系统模拟器
- Css学习总结(1)——20个很有用的CSS技巧
- signature=d66576fde8d472a0c1dddd8b37be6b72,Signature process
- easypoi 语法_知识点总结及语法学习资料及视频
- c语言输出所有英文字母,菜鸟求助,写一个随机输出26个英文字母的程序
- sdl android rtp h264,使用RTP协议发送和接收H264的例子(支持解码、播放)
- 怎么更改wifi频段_wifi信道和频段怎么设置?
- 利用千人基因组数据库查看SNP在不同地区、国家、洲的频率及个数
- 11、异常 异常解决方案
- java实现生成水印照片
- 十月的秋风还没有来到...
- 【山大智云开发日志】项目安装与部署
- css-doodle学习第四天 属性
- 使用 Kotlin 写一段函数式的递归遍历树结构,处理节点的代码
热门文章
- 测试 | 测试:你会这些命令吗?
- HTML5 Canvas中处理图像和视频
- Bootstrap 折叠插件
- CSS3 背景裁剪区域 background-clip属性
- es6 Promise.race()方法
- roboware使用过程中出出现找不到功能包的解决办法
- mysql设置本机可被访问_怎么设置MySQL就能让别人访问本机的数据库了?
- ios 获取固件版本_觉得iOS测试版本BUG太多?系统降级试一试?
- python3项目源代码下载_python3中文版下载
- coderfoces D. Gourmet choice