作者：谢彬彬

单位：厦门大学

语义解析(semantic parsing)是指输入一段自然语言语句产生一段机器可以执行的表示如SQL语句等。它是自然语言处理的一个基础性问题，其研究促进了自然语言可解释性研究的巨大发展. 随着深度神经网络的广泛应用，现有模型多是基于深度学习的神经网络语义解析器，其方式已经不再强烈依赖于手工设计的语法，词典等信息，但仍然面临通用性差，不能较好处理复杂的组合逻辑，长距离依赖等问题。此外，为了满足实际应用场景的需要，多轮的语义解析任务，大规模预训练模型的使用，zero-shot问题等也得到了研究者们广泛的关注。

AAAI 2021会议主要包含以下6篇与语义解析任务相关的文章：

[1] Iterative Utterance Segmentation for Neural Semantic Parsing.

[2] Improving Tree-Structured Decoder Training for Code Generation via Mutual Learning.

[3] Learning Contextual Representations for Semantic Parsing with Generation Augmented Pre-Training.

[4] Leveraging Table Content for Zero-Shot Text-to-SQL with Meta-Learning

[5] Dynamic Hybrid Relation Exploration Network for Cross-Domain Context-Dependent Semantic Parsing.

[6] Tracking interaction States for Multi-Turn Text-to-SQL Semantic Parsing

这6篇文章按应用场景来分，主要分为以下三大类：

1）输入一段自然语言，输出一段机器可执行表示。该任务主要包含[1][2]两篇文章。

其中[1]关注于输入自然语句中的组合结构，其将未知的语义组合拆分为多个已知的结构，从而增强了模型的通用性。其工作在原有语义解析框架的基础上，提出了一个新型的利用组合原则的框架。该框架迭代式的将原始自然语句进行划分，同时将其解析为部分可执行的意义表示。通过不断迭代，利用先前已产生的部分表示,生成最终的结果。

而[2]一文则是关注于解码器端是树形结构的模型，其仅使用单一方向信息从而无法有效建模的问题。该文章探究了基于不同遍历顺序(深度先序遍历与广度优先遍历)的神经网络目标端生成方式，从上下文建模和生成数据的错误分析等角度，考虑不同遍历方式之间的差异。为了综合不同生成方式的优点，本文引入互学习框架来联合训练该模型。此方法具有很好的通用性，适用于文本生成任务的所有树形解码器训练。

2）输入一段自然语言,模式（由表组成）和表的列名，输出一段可执行意义表示。该任务主要包含[3][4]两篇文章。

论文[3]通过对生成的目标sql语句的错误进行分析，观察到现阶段预训练模型中存在的问题有：1.不能有效的匹配和删除列名 2. 不能从表中单元格的值隐式推断出列名 3. 模型较难处理复杂的组合查询问题。论文提出了一个GAP（Generation Augmented Pre-training）模型，其通过生成式模型产生高质量的预训练数据，并且针对上述三大问题设计特定的子任务，从而更好的表示自然语句和表结构。

[4]一文则是关注于单个表结构中存的zero-shot问题，其论文主要基于1.表中单元格的值含有丰富的信息能够预测表的列名 2.同时meta-learning的方式能够使得模型在不同表结构数据训练中更具通用性，从而缓解zero-shot问题。基于上述两大出发点，[4]提出了基于表格内容增强的模型，同时去编码输入的自然语句，表的各列名，单元格值，同时利用zero-shot meta-learning算法使得增强的模型更具有通用性和竞争力。

3）多轮的语义解析任务， [5][6]两篇文章均关注于在多轮解析过程中信息交互（状态/图）更新变化问题。

[5]提出一个动态图结构，能够有效的建模上下文输如自然语句（词级别和句子级别），表结构等以及其交互的动态变化过程。同时该框架利用了memory衰减机制，利用归纳偏置，丰富上下文关系表示，并且利用动态memory机制的特征加强了解码时的重排序模型。

而[6]则考虑历史产生的sql语句，当前自然语句内容以及表结构的交互过程。文章为表结构和sql关键字定义了两种交互状态，分别用图网络和非线性层来更新这两种状态。利用这种动态更新的表结构状态表示和sql状态表示来生成目标端的SQL查询语句。

总的来说，在语义解析这个任务中，图结构依然是研究者关注的主要数据形式之一，同时预训练，蒸馏学习，meta-learning等技术更是处理问题的主要手段。研究者们从对数据错误分析处理的多种不同角度出发，设计出更具有可解释性，更满足真实应用场景，动态有效的处理方案。

推荐阅读：

AAAI 2021 | 图神经网络 · 最新进展解读

AAAI 2021 | 机器翻译 · 最新进展解读

AAAI 2021 | 情感分析 · 最新进展解读

AAAI 2021 | Transformer · 最新进展解读

AAAI 2021 | 多模态 · 最新进展解读

【关于智源社区】

智源社区隶属于北京智源人工智能研究院，我们致力于创建一个AI领域内行人的交流平台。

在这里你有机会参与全年线上线下百场专题论坛，与顶尖学者零距离接触；也可以与同行探讨领域前沿，碰撞思想火花。如果你更想进入微信群与更多同行人发起实时讨论，或者加入「青源会」结识更多研究伙伴，或者成为智源社区编辑参与更多文字工作，欢迎填写以下表单（扫描二维码）进行申请。