结合NAACL2022对计算语言学趋势的思考与分析
每天给你送来NLP技术干货！
译者 | 谈修泽
单位 | 东北大学自然语言处理实验室
01
引言
NAACL 会议是 ACL 的北美分会，每年举办一次，也是 NLP 领域备受关注的顶会之一。NAACL 主要涉及对话、信息抽取、信息检索、语言生成、机器翻译、多模态、统计机器学习等多个方面。
本篇文章的作者Antoine SIMOULIN协助了NAACL 2022，他结合今年一些论文的情况，就大规模预训练语言模型的应用、表现、期望等做了概述，总结并思考了当今计算语言学的发展趋势、不足与挑战。
02
原博客精华内容
2.1大规模预训练语言模型数量增多
人们越来越乐观地看待大规模预训练语言模型的潜在应用，这使人们的注意力从它们为什么以及如何工作转移到如何确保它们在现实世界中可以更好地工作。
对话是语言模型的直接应用。Amazon Alexa AI高级首席科学家Dilek Hakkani-Tur表示，由于公共数据集、语言模型和产品的蓬勃发展，对话研究正处于激动人心的阶段。她还概述了剩余的挑战：基于知识的回复生成、开放域对话中产生的事实响应、知识摄取以及收集跨长文档或多源信息。
2.2 开放对话
通过给定恰当格式的输入文本并提供相关上下文，模型可以产生符合条件的输出。这种交互对话范式可以应用在很多任务上，如问答(Sanagavarapu et al. 2022 (opens new window), Qian et al. 2022 (opens new window), You et al. 2022 (opens new window))或摘要总结(Fang et al. 2022 (opens new window), Zhao et al. 2022 (opens new window), Asi et al. 2022 (opens new window))。此外，对话数据可用于学习高效的语言表示 (Zhou et al. 2022 (opens new window))。
2.3 结构融合和常识知识
我们期望大规模预训练语言模型能够准确回答事实问题，让模型拥有如“百科全书”一般的知识。知识图谱提供了可以与神经网络一起使用的硬结构信息。可以在命名实体及其关系之间进行显式通信(Ayoola et al. 2022 (opens new window))，或者将符号和显式知识提炼成模型参数的隐式编码知识 (Moiseev et al. 2022 (opens new window))。
我们还希望大规模预训练语言模型拥有我们所有人拥有的日常知识。例如，我们希望模型不会生成“狗正在从喷气式飞机上经过”这样的句子(Seo et al. 2022 (opens new window))，或牙刷在空间上应与浴室相关而不是与客厅相关(Henlein and Mehler 2022 (opens new window))。
最后，这些事实取决于时间。如果是在模型训练后发生的事件，例如新冠肺炎大流行，那么模型并不会将其考虑在内，否则会导致时间错位 (Luu et al. 2022 (opens new window))。
2.4 推理
我们希望模型可以校对事实并推断它们之间的关系。(Sun et al. 2022 (opens new window))提出了JointLK，这是一个在LM（语言模型）和KG（知识图谱）之间进行多步联合推理的模型，可以解决问答任务。多跳问答任务也涉及推理，因为它需要推断多个间接引用来连接询问(query)中提到的实体。(Kinet al. 2022 (opens new window))提出了一种方法:对这种特定类型的问答使用知识库。
2.5 超越语言本身
模型不仅仅需要精通语言，它们还需要捕捉语言背后的含义和意图，捕捉真实世界的一些直观表述，并对实体和现有的关系进行复杂的推断。要推动大规模预训练的语言模型向前发展，关键是：仅凭文本可以训练高效且有意义的模型吗？
2.6 多模态、多语言、对比学习
我们是否需要在训练过程中引入其他模态，例如音频信息或者图像信息？事实上，婴儿在学习时会受到多种类型信息的刺激。关于多模态学习，(Zhang et al.2022 (opens new window))使用文本和图像混合信息的对比框架来构建句子编码。(Wang et al. 2022 (opens new window))提出将文本和图像结合起来，以更好地确认命名实体识别。
2.7 语言学和符号结构的地位
计算语言学见证了大规模预训练语言模型的广泛使用，但大规模预训练语言模型对语言学和符号的假设很少。在激动人心的小组会议上，Chitta Baral、Dilek Hakkani-Tür、Emily Bender和Chris Manning研究了这一观察可能如何影响未来的研究方向。科研资金通常流向研究神经网络的工作，因此人们对利用语言学进行分析并不感兴趣。但神经网络是我们应该追逐的唯一趋势吗？
Chris Manning根据经验观察到，孩子们可以在没有任何语言学专业知识的情况下学习语言。我们或许可以从语言理论和概念中汲取灵感，如复合性、系统概括、符号的稳定意义和校对相关。但是，我们应该关注意义的直接表征，而不是语言本身，因为语言是一种间接表征。
Emily Bender认为如果没有语言学，包括结构语言学、形态学、语法学、语义学、语言语用学、儿童语言习得、语言类型学和社会语言学，那么NLP就不应该作为一个领域而存在。
2.8 文本内涵的定义
在SemEval研讨会上，Jacob Andreas讨论了语言模型在文本内涵表示方面的潜力，以及是否可以单独从文本中学习到文本的内涵。会议期间多次提到关于文本的内涵。文本内涵是指世界上的外部参考，人们脑海中的内部思想，还是用语言表达的观念？更广泛地说，我们可以期望一个模型在没有任何形式的社交互动或实际经验的情况下，只凭借文本训练就展示人类的行为吗？
2.9 巨大的能力带来巨大的责任
随着大规模预训练语言模型变得越来越可行和广泛采用，工程师们对他们的观念变得更加负责。
2.10 价值敏感设计
Batya Friedman就道德和技术想象力应该如何塑造技术发表了公开演讲。除了安全、可靠性、效率或成本等工程标准外，还应考虑其他标准，包括专注和身体完整性。为了使技术和社会结构和谐发展，我们应该衡量大规模语言模型带来的的影响，例如规模、时间、结构以及应用人类价值观作为评估系统性能的标准。
2.11 拓宽NLP
众所周知，自然语言处理是一个快速发展的领域，但这个领域的演变非常多样化，研究资源也非常集中。科技公司拥有巨大的行动力，使学者难以跟上步伐。此外，研究资源在地理上分布不均，例如Manuel Montes-y-Gómez展示了墨西哥西班牙语NLP社区研究现状，该研究不如美式英语先进。
2.12 NLP未来的一些挑战：组成性、基础或解释
尽管大规模预训练语言模型非常令人兴奋，并且我们对它们的可靠性和效率实现任务自动化的能力越来越乐观，但一些挑战仍然存在。
一个挑战是跟踪模型为什么产生一个给定的输出。(Tan 2022 (opens new window))区分了几种我们能从模型或人类所期望的概念解释和挑战。
根据许多研究，模型在系统推广和显式组成方面是失败的，因为它们依赖于虚假的相关性。在这方面，(Weißenhorn et al. 2022 (opens new window))使用复合语义解析器来解决COGS数据集上的成分概括。(Qui et al. 2022 (opens new window)) 提出了一种基于上下文无关语法主干的数据增强方法。
原文链接：
https://medium.com/@antoine.simoulin/my-thoughts-about-naacl-2022-c1f36c6da9b8
今年以来,疫情的反复让不少城市的运转节奏进一步放慢,同时也对政府的基层治理带来极大的考验,特别是面对新一轮传播力度更强的"奥密克戎"疫情,各地政府疫情管控的压力持续增大.因此,如何 ... 思考与分析:中国黑客的现状与发展(转)[@more@] 一.中国黑客的现状 如今国内黑客站点门派繁多,但整体素质不如人意,有的甚至低劣. 为什么这样说呢? 1. 叫法不一 ,很不正规. 黑客,甚至包括 ... 三年前,准备将金山界面库做一个全面的剖析.后来由于种种原因,这个系列被中断而一直没有更新.时过境迁,现在在windows上从事开发的人员越来越少,关注这块的技术的朋友也很少了.本以为这系列也随着技术的 ... 按照软件的执行流程,我们首先遇到<以金山界面库(openkui)为例思考和分析界面库的设计和实现--问题>中提出的最后一个问题:界面描述文件的放置位置.我们曾提出一种方案:将界面描述文件打 ... 中国汽车脚垫市场消费趋势与营销渠道分析报告2022版 ------------------------------------- <修订日期>:2022年2月 <出版单位>: ... 全球及中国实心轴编码器行业前景趋势与运营动向分析报告2022版 --------------------------------------- [修订日期]:2021年12月 [搜索鸿晟信合研究院查看 ... 中国磁性材料行业竞争趋势及供需前景分析报告2021年版 HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS-- [修订日期]:2021年11月 [搜索鸿晟信合 ... 全球及中国热障涂层材料行业趋势研究及应用前景分析报告2021-2027年 目录 2020年,全球热障涂层材料市场规模达到了 百万美元,预计2027年可以达到 百万美元,年复合增长率(CAGR)为 % ... 全球与中国汽车电动尾门市场竞争趋势及发展商机分析报告2022-2028年版 2021年全球汽车电动尾门市场销售额达到了 亿美元,预计2028年将达到 亿美元,年复合增长率(CAGR)为 %(202 ...结合NAACL2022对计算语言学趋势的思考与分析相关推荐
最新文章
热门文章