带你看论文丨全局信息对于图网络文档解析的影响

2024-06-04 04:36:35

摘要：文档理解着重于从非结构化文档中识别并提取键值对信息，并将其输出为结构化数据。在过往的信息提取中，大多数工作仅仅只关注于提取文本的实体关系，因此并不适用于直接用于文档理解上。

本文分享自华为云社区《论文解读系列十三：全局信息对于图网络文档解析的影响》，作者：一笑倾城。

1 背景介绍

文档理解着重于从非结构化文档中识别并提取键值对信息，并将其输出为结构化数据。在过往的信息提取中，大多数工作仅仅只关注于提取文本的实体关系，并不适用于直接用于文档理解上。

在ICDAR2019的比赛上，参赛者被要求从发票收据等文档中提取键值对信息。因此本文提出了一种包含了全局信息，并且结合了视觉信息的图网络结构，来完成从非结构化文档中提取关键信息的任务。

2 网络结构

本文将文档理解任务转化为图节点分类任务。对于文本的全局和局部信息获取：

使用CLS抓取全局文本序列的分类信息，生成w0，并将其与每个单独文本(w1,w2…,wn)放在同一输入向量中。经过BERT模型，独立地对每个元素进行编码，这样模型拥有了局部和全局信息，同时也能对全局和局部文本进行embedding

对于图片的全局和局部信息获取：使用的是相似的方法，不过是基于CNN网络来捕捉全局和局部的图像特征

文本和图像特征拼接：将图像特征和文本特征进行特征融合（concat）

网络构建：

给定文档内的一组文本段，构建一个虚拟的全局节点作为信息沟通枢纽，这样每两个非相邻节点之间也是two-hop neighbors, 减少信息沟通损失的同时全局信息也能很直接输出到局部节点上。

聚合邻居使得每一个节点与two-hop neighbors两两之间通过激活函数（leaky-relu）进行模型参数更新，并且使用了K-attention来提高模型的能力（通过多个attention然后合并所有attention的机制）

信息提取：

3 实验结果

在阿里巴巴天池竞赛的数据及上效果。

相关消融实验：移除视觉特征后，在天池数据以及SROIE上，能明显看出视觉特征可以在提取结构化信息的问题上发挥重要的作用。同理，删除全局节点也降低了模型精度，也验证了全局连接在图结构中的重要性。

点击关注，第一时间了解华为云新鲜技术~

带你看论文丨全局信息对于图网络文档解析的影响相关推荐

第一次网络信息基础作业记录文档
第一次网络信息基础作业记录文档这是我第一次网信作业的记录,欢迎大家讨论与指正任务要求:写个网页主题:自选,健康: 实现方法: a) 使用HTML5编写,用文字编辑器,不要使用Frontpage之 ...
基于Java毕业设计毕业生论文管理系统源码+系统+mysql+lw文档+部署软件
基于Java毕业设计毕业生论文管理系统源码+系统+mysql+lw文档+部署软件基于Java毕业设计毕业生论文管理系统源码+系统+mysql+lw文档+部署软件本源码技术栈: 项目架构:B/S架构 ...
java计算机毕业设计论文评审系统源代码+数据库+系统+lw文档
java计算机毕业设计论文评审系统源代码+数据库+系统+lw文档 java计算机毕业设计论文评审系统源代码+数据库+系统+lw文档本源码技术栈: 项目架构:B/S架构开发语言:Java语言开发软 ...
PHP实习之路—NO.1（看LINUX、APACHE、MYSQL、PHP文档）
PHP实习之路-NO.1(看LINUX.APACHE.MYSQL.PHP文档): 基本功一定要扎实! 本文转自 Lee_吉博客,原文链接: http://blog.51cto.com/121 ...
[css] 你有去看过或者了解过css的标准文档吗？
[css] 你有去看过或者了解过css的标准文档吗? 当然,CSS 中可以研究的太多了,比如 css2 的层叠上下文极其诡异,比如 body 的默认值与普通 dom 的不同,flex-shrink 的 ...
带你读论文丨基于视觉匹配的自适应文本识别
摘要:ECCV2020 通过视觉匹配的方法来做文本识别,解决文档识别中的文本识别多样性和泛化性问题本文分享自华为云社区<论文解读二十三:基于视觉匹配的自适应文本识别>,作者: woohe ...
计算机基础课程教学创新,计算机基础课程教学学生创新能力的培养-计算机基础论文-计算机论文（12页）-原创力文档...
计算机基础课程教学学生创新能力的培养-计算机基础论文-计算机论文 --文章均为WORD文档,下载后可直接编辑使用亦可打印-- 摘要:作为高校教育中一门具有基础性的重要课程,计算机基础课程对于发展学生综 ...
京东：网传通过 Bug 抢茅台是假消息；罗永浩回应带货价格非「全网最低」；Rust 文档团队解散 | 极客头条...
整理 | 屠敏头图 | CSDN 下载自东方 IC 「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧. 一分钟 ...
计算机辅助设计技术认识的论文,计算机辅助设计论文（7页）-原创力文档
学号广州大学计算机辅助设计论文题目:计算机在室内设计中的应用与影响专业: 硕士姓名: 研究生指导老师 : 广州大学美术与设计学院计算机在室内设计中的应用与影响摘要: ...

最新文章

热门文章