NAACL最佳方法论文:课本上的A*搜索算法可以提升文本生成效果!
文 | Yimin_饭煲
相信大多数学习过人工智能课程的读者,当听到算法的时候,都会有一种既熟悉又陌生的感觉。说算法熟悉,是因为一听到这个算法,就想起那本厚厚的《人工智能——一种现代的方法》,想起这个算法似乎是人工智能课程考试的重点;说算法陌生,是因为大家现在在从事人工智能相关的研究和开发工作时,似乎又很少用到这个算法,大部分时间都花在了研究数据处理和处理实验设置上面。而在NAACL2022上,一群来自AI2的自然语言处理研究者们 利用算法开发了一种新的自然语言生成解码方式,还被授予了NAACL2022 Best New Method paper。看起来已经过时的A*算法,居然能在深度学习时代有如此的妙用,看完这篇论文,笔者情不自禁地打开了《人工智能——一种现代的方法》,想看看还有什么经典算法可以深挖一下!
论文标题:
NEUROLOGIC A*esque Decoding: Constrained Text Generation with Lookahead Heuristics
论文链接:
https://arxiv.org/pdf/2112.08726.pdf
问题背景
自然语言生成任务一般指给定一个输入序列,生成一个输出序列。目的是解出使得目标函数最大化的序列,其中, , 而衡量对约束条件的满足。传统的Beam Search不考虑全局的最优,而是最优化当前步骤添加的Token.
402 Payment Required
为了达到全局最优的效果,需要满足如下的优化目标
主要方法
前向启发算法
直接优化全局最优目标面临着搜索空间过大的问题。而A算法可以被用来解决这个搜索问题。A算法是一个最优优先的搜索算法,可以解决这样形式的搜索问题:
其中是迄今为止的分数,是对于未来分数的启发式估计。因此我们将优化目标修改为如下形式
同时,需要限制前向搜索的长度为,避免模型无限制地向前搜索
402 Payment Required
在前向生成的过程中有几种不同的方法。方法只生成一个序列,从开始,每次选择概率最大的Token 。方法采用插值的思想,混合方法和随机选择一个Token的概率分布。方法从开始进行步的Beam Search,选择前个概率最大的序列, 而方法则是直接从按照概率进行采样。
无限制生成
在无限制生成的场景下,使用的优化函数为
其中控制的是对未来估计的重视程度,类似于加权算法
受限制生成
在受限制生成任务上,作者们基于之前的工作NeuroLogic进行改进。首先我们简要介绍一下NeuroLogic方法。首先,将对生成文本的限制表示为合取范式。其中每一个表示一个限制条件,。NeuroLogic的优化目标可以写为
其中远大于0,用来惩罚不满足的约束。在每一步搜索时,NeuroLogic利用如下的打分函数进行计算
其中是约束条件的前缀,这个优化函数的目标是奖励那些满足约束条件的样本。接下来,作者们加入了前向启发函数
402 Payment Required
这样的前向启发函数有两个好处,如果是满足多Token约束的一个Token,前向启发函数包含了全部约束的分数,如果不是约束的一部分,如果被选中,这一前向策略能考虑到未来约束的分数。
实验结果
无限制生成
作者们在故事生成任务上开展了实验,可以发现提出的方法不论是在流畅性,丰富性还是人工评估上都有着很好的表现。
受限制生成
在受限制生成方面,作者们在常识生成,机器翻译,表格到文本生成,问题生成等任务上开展了实验。在这里展示常识生成方面的结果。这一任务的主要内容是给定一系列概念,利用全部概念生成一个合理的句子.可以发现,作者们提出的方法在多个指标上都明显超越了基线模型,取得了很好的效果。从文章中给出的例子来看,作者们提出的方法确实有着更好的生成效果。
结语
本文的方法实现并不复杂,所用到的原理和思想也是非常经典的人工智能算法,但却取得了非常不错的性能,一举摘得了NAACL2022的最佳方法论文。看来,好的研究并不是追逐热点,调参魔改结构的增量式创新,而是打好数学基础,深入地思考研究问题,广泛接触各个领域的算法,才能在发现领域的关键待解决问题时取得成果~
萌屋作者:Yimin_饭煲
在微软NLC组搬砖的联培博士生,爱好摄影和运动,希望卖萌屋早日开通视频业务,我来当摄影师!
作品推荐
学完文本知识,我就直接看懂图片了!
别再Prompt了!谷歌提出tuning新方法,强力释放GPT-3潜力
大模型炼丹无从下手?谷歌、OpenAI烧了几百万刀,总结出这些方法论…
后台回复关键词【入群】
加入卖萌屋NLP、CV、搜推广与求职讨论群
NAACL最佳方法论文:课本上的A*搜索算法可以提升文本生成效果!相关推荐
- NAACL最佳方法论文 | 课本上的A*搜索算法可以提升文本生成效果!
每天给你送来NLP技术干货! 文 | Yimin_饭煲 来自 | 夕小瑶的卖萌屋 相信大多数学习过人工智能课程的读者,当听到算法的时候,都会有一种既熟悉又陌生的感觉.说算法熟悉,是因为一听到这个算法, ...
- 论文领读|基于 VQVAE 的长文本生成
欢迎关注「澜舟论文领读」专栏!关注"澜舟科技"公众号探索更多 NLP 前沿论文! 本期分享者:杨二光 北京交通大学自然语言处理实验室四年级博士生,导师为张玉洁教授,研究方向为可控 ...
- 找论文太难?试试这款「文本生成」论文搜索工具
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 子豪 发自 凹非寺 量子位 报道 | 公众号 QbitAI NLP工 ...
- 找论文太难?试试这款「文本生成」论文搜索工具丨开源
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要3分钟 Follow小博主,每天更新前沿干货 转载自:量子位 NLP工作者,尤其是文本生成领域的工作者们,你们福音来了! ArXiv Text ...
- 【200+论文】深度强化学习、对话系统、文本生成、文本摘要、阅读理解等文献列表
[导读]本文收录了深度强化学习.对话系统.文本生成.文本摘要.阅读理解.因果推理.记忆网络.推荐系统.神经表示学习等一系列领域参考文献大合集! https://cloud.tencent.com/de ...
- 不止最佳长论文,腾讯AI在ACL上还有这些NLP成果
编辑 | Jane出品 | AI科技大本营(ID:rgznai100) [导语]7 月 31 日晚,自然语言处理领域最大顶会 ACL 2019 公布了今年的八个论文奖项,其中最佳长论文的获奖者被来自中 ...
- 不止最佳长论文,腾讯AI在ACL上还有这些NLP成果(附论文链接)
来源:授权自AI科技大本营(ID:rgznai100) 本文约4600字,建议阅读10分钟. 本文带你了解腾讯在今年的 ACL 会议上还有哪些研究论文被录取. [ 导读 ] 7 月 31 日晚,自然语 ...
- 中国公司再获KDD两项最佳:松鼠AI拿下图深度学习研讨会最佳论文最佳学生论文...
特约供稿 量子位 出品 | 公众号 QbitAI KDD,国际数据挖掘与知识发现大会,全称:ACM SIGKDD Conference on Knowledge Discovery and Data ...
- seq2seq模型_推断速度达seq2seq模型的100倍,谷歌开源文本生成新方法LaserTagger
使用 seq2seq 模型解决文本生成任务伴随着一些重大缺陷,谷歌研究人员提出新型文本生成方法 LaserTagger,旨在解决这些缺陷,提高文本生成的速度和效率. 选自arXiv,作者:Eric M ...
最新文章
- 介绍一下android的事件分发机制
- 指定jdk8_动图+源码+总结:深度解析 JDK8 中的数据结构(珍藏版)
- 【atcoder】Enclosed Points [abc136F]
- css 商城 两列_CSS 居中?来一探究竟
- 累计增量备份策略_数据安全与备份解决方案ZDLRA快速恢复
- CUDA(*.cu)程序与C(*.c)源程序混合编译
- C# 给枚举类型增加一个描述特性
- 从MySQL复制功能中得到一举三得实惠
- HIVE数据导入MYSQL实现方式
- vs2017官方下载地址
- Scintilla的使用c++ build
- 【算法竞赛入门经典】习题1-4:正弦和余弦
- ad20drc错误_AD错误中英文对照
- 微信开发工具安装写入失败
- 微信小程序使用Echarts 实现世界地图(其它地图同理)
- React的受控组件和非受控组件
- windows service.bat java 内存设置_Tomcat加大内存设置从windows服务启动不生效的问题...
- 浏览器被劫持打开变成hao123 和 vs CODE编译器无法打开浏览器问题
- 谷歌浏览器 F12或右键检查 开发者工具DevTool打开慢问题
- 【媒体报道】2013eoe移动开发者大会圆满落幕