导读

第十八届中国计算语言学大会（CCL 2019）于10月18日至20日在昆明举办。中国计算语言学大会创办于1991年，经过20多年的发展，中国计算语言学大会已成为国内自然语言处理领域权威性最高、规模和影响最大的学术会议。CCL 聚焦于中国境内各类语言的智能计算和信息处理，为研讨和传播计算语言学最新学术和技术成果提供了最广泛的高层次交流平台。

本篇文章是RUC AI Box小组成员分享了他们参加今年CCL 2019会议的感想和总结。本文介绍了CCL前沿技术讲习班、学生研讨会、国内外专家特邀报告和 NLP 国际前沿综述的内容，并发表参会感受。欢迎大家与我们交流。

作者：

范欣妍，中国人民大学信息学院2016级本科生，研究方向推荐系统。

侯宇蓬，中国人民大学信息学院2016级本科生，研究方向网络表示学习。

来自：

RUC AI Box

---

前沿技术讲习班

1  

生成对抗网络「邱锡鹏」

第一场报告是由复旦大学的邱锡鹏老师带来的，主要讲述了生成对抗网络的基本原理和最新研究进展。他从“生成模型”、“生成对抗网络”、“模型分析”、“Wasserstein GAN”、“GAN的扩展”和“序列生成”这几个方面对GAN进行深入分析。

首先，在生成模型中，传统生成模型主要分为密度估计和采样两个步骤，但在实际场景中，这两步很难计算。另一种方向是先进行采样，对采样的数据通过一个“万能转换器”尽可能映射成为真实样本，这个万能转换器就是生成网络的思想。如何判断万能转换器的输出和真实样本来自同一分布，这就产生了判断网络。

完整定义：生成对抗网络（Generative AdversarialNetwork，GAN）是非监督式学习的一种生成模型，其由一个生成网络与一个判别网络组成，通过让两个神经网络相互博弈的方式进行学习。生成网络从潜在空间（ latentspace）中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。

但是，GAN模型中存在两个问题：不稳定性（生成网络的梯度消失）和模型坍塌（生成的数据多样性差）。改进方式有两种：弱化判别器或使用更好的损失函数。一个较好的模型是Wasserstein GAN，它采用了Wasserstein距离来衡量两个分布之间的距离，很好的解决了梯度消失问题。

最后，报告提到了GAN的一些扩展，比如Conditional GAN、InfoGAN、AC-GAN、BiGAN等。在NLP领域，使用GAN可以进行序列生成，如使用强化学习的SeqGAN等。

 2 

网络嵌入和图神经网络前沿「崔鹏」

第二场报告由清华大学的崔鹏老师带来，主要讲述近年来网络嵌入（Network Embedding）和图卷积神经网络（GCN）的前沿研究。

崔鹏老师从“图”这一离散数据结构在现实生活中的多项重要应用（如社交网络分析、生物大分子预测等）入手，表明图研究的实用性和必要性。接下来主要介绍网络嵌入，并将其与图卷积神经网络进行对比分析。

网络嵌入是指为离散图中的各个节点分别学习一个低维向量空间中的表示。这个向量表示维护了原图中的某些性质，从而可以在处理下游任务时被应用于机器学习/深度学习模型中。崔鹏老师对网络嵌入部分的介绍分三部分：维护网络结构的网络嵌入、维护相似性的网络嵌入和动态网络的嵌入。

网络嵌入与新兴的图卷积神经网络在研究角度上有所区别。一方面，图卷积神经网络的研究更倾向于数学中广义上的“图”，而网络嵌入的研究更关心现实世界中的真实网络结构，他们往往有power-law等特殊拓扑性质；另一方面，图卷积神经网络更倾向于Learning Via Graph，而网络嵌入更偏向 Learning For Graph。

总结下来，崔鹏老师认为在面对一个和图/网络相关的任务时，研究人员需要考察任务的性质。面对拓扑结构驱动的任务时，可能网络嵌入会取得更好的效果；而对于节点特征起主导作用的任务，图神经网络往往能起到更好的作用。“没有更好的方法，只有更适合的方法。”

 3 

预训练模型「车万翔」

第三场报告是由哈工大车万翔老师带来的。他首先介绍预训练模型的演化过程，接着介绍了预训练模型在应用方面的最新研究进展，另外还列举了一些对预训练模型进行定性和定量分析的工作，最后对自然语言处理中预训练模型的发展趋势进行了展望。

传统的有监督自然语言处理模型依赖大规模的人工标注训练数据，这些数据标注代价非常高，因此规模有限，这也限制了自然语言处理系统进一步提升精度。以Word2vec，GloVe等为代表的词向量技术可以视为一种早期的预训练模型，从大规模未标注文本中预训练的词向量，在一定程度上提高了上层模型的精度。

然而，这些模型假设“一个词由唯一的向量表示”，忽略了它们在不同上下文下的差异，例如Apple既可以指水果，也可以指苹果公司。以ELMo为代表的上下文相关词向量模型取消了以上的假设，在不同的上下文环境下，赋予相同的词以不同的词向量，因此又被称为“动态”词向量。

BERT等模型的出现开启了NLP领域进行预训练的时代，通过进一步使用更深层的网络进行预训练，并使用了语言模型之外的预训练目标，在应用模式上也从简单的特征提取转换为精调整个网络结构。如今基于BERT的改进方法可分为“使用其他预训练目标”“融入知识图谱”“更精细调参”“解决输入不一致”“对模型压缩与加速”“跨语言与跨模态”。

总结：以BERT为代表的预训练模型在众多自然语言处理仼务上取得了很好的效果，BERT也启发了越来越多的预训练模型，已成为自然语言处理的新范式。

 4 

文本生成「张家俊」

讲习班最后一场报告由中科院自动化所张家俊老师带来，主要从“句子的双向交互”和“多任务之间的交互”两方面，结合组内工作，介绍文本生成方向近几年的前沿探索。

受BERT等双向自回归模型的启发，在机器翻译任务上，解码器往往只考虑当前已翻译的词，即在解码器层面只关注了单向信息。张家俊老师分享了他们组在ACL 2019和IJCAI2019上发表的两篇工作，均使用双向解码提升了翻译性能。

不同语言拥有着不同的语法结构，如不同于我们熟悉的汉语/英语的“主谓宾”结构，日语在表达相同含义句子的时候是采用“主宾谓”结构的。通过多种语言翻译的多任务学习，可以在各语言上均得到效果提升。另一方面，也可以结合视频/音频/图片进行多模态学习，也可以提升句子生成的效果。

学生研讨会

 1 

如何做一个精彩的学术报告「车万翔」

哈尔滨工业大学的车万翔老师首先身体力行地示范了“如何做一个精彩的学术报告”。车老师循循善诱，以问题的方式带领观众进行思考“做报告的目的是展示技术细节吗？”、“听众有你所在领域的基础知识吗？”，最终向大家分享他对学术报告的理解——关键是引起听众对你工作的兴趣。归纳出核心目的后，车万翔老师围绕幻灯片设计、时间分配、演讲者的情绪等方面进行了具体的阐述。

 2 

做失败科研的10个方法「刘康、韩先培」

“成功的科研都是相似的，失败的科研各有各的失败。成功科研方法让你仰望星空，失败科研方法让你在仰望星空的时候避免掉入水坑。如果成功的科研是可以学习的，那么正例让你发更多的好论文（Recall），但是也需要很多负例让你用更少的投稿发出更多的好论文（Precision），少走弯路，优化目标是寻找最优的F值。”

来自中科院的刘康、韩先培博士从全新的角度出发，用幽默的语言为我们讲了科研经历中遇到过、看到过、听到过的失败科研方法，包括失败科研的哲学、心态、理念、方法、技术和工具，对刚踏入科研的小白有很大的指导意义。

随后来自北京大学的许晶晶和清华大学的韩旭也分别结合自己工作，分享了学术道路上的心得体会，引起在座听众的共鸣。

特邀报告

第一场报告邀请了京东AI研究院常务副院长何晓冬博士，他基于近年来深度学习技术对语音、语言、视觉等子领域的推动，介绍了在语言和视觉跨模态交叉学科领域他们取得的新进展，包括跨语言与图像的理解、推理和生成，并且对多模态智能未来的突破进行了展望。

第二场报告由浙江大学计算机学院副院长陈为教授带来的，介绍了面向宋文化数据（宋词、哈佛大学CBDB数据库等）的可视化作品与系统，以技术、设计、文化三者角度介绍了课题组在面向唐诗末词文化大数据的可视化和可视分析的作品和软件。

第三场报告由乌镇智库理事长、《人工智能简史》作者张晓东讲述了人工智能的历史和未来。他从理论计算机科学的角度分析人工智能学术发展的几条主线，例如逻辑主义、联结主义和自然主义。同时定量地看待自1980年代以来全球人工智能的产业变化，包括投资、创业等，并探讨人工智能技术的落地应用及其影响。

在第四场报告中，帝国理工教授郭毅可提到目前深度神经网络需要大量的高质量标注的训练数据，在医学图像领域由于代价昂贵是不可用的。他介绍了一种基于DNN当前状态主动扩展和更新训练数据集的有效训练代表性数据样本生成的boosting策略，用很少数据集可达到很好效果。这种思想在NLP领域也值得借鉴。

来自UIUC的季姮教授在最后一场报告中提到人写历史很难保持完整性，且容易带入感情倾向。是否可以用机器代替人类，在广泛的新闻中提取有效信息组成历史书，是一个新的课题。

自然语言处理国际前沿综述

这部分是CCL的特色环节，每年都会请到活跃在科研一线的业界知名青年学者，对各自深耕的领域进行分享。按演讲顺序分别为：上海科技大学的屠可伟（句法分析）、中科院自动化所的陈玉博（信息抽取）、山东大学的任昭春（信息检索）、中科院计算所的冯洋（机器翻译）、北京大学的严睿（人机对话）、哈尔滨工业大学的丁效（社交媒体）、复旦大学的魏忠钰（多模态）和西湖大学的张岳（表示学习）。

青年学者们结合近几年顶级会议上论文的投稿与录用篇数，阐述领域近几年的发展情况。再结合近几年崭新的相关工作，表面该领域的研究方向具体有哪些。最后给出仍需解决的问题并进行展望。

总结

三天充实的会议行程转瞬即逝，作为中国计算语言学的盛会，CCL不负使命，为参会者呈现了一场精彩纷呈的学术盛宴。CCL具有其自身的特色，对国内NLP和语言学学者来说是一个非常好的近距离、高密度接触国际前沿研究的平台。作为中国计算语言学的头号会议，希望CCL可以孕育、激励更多的国内优秀学者。也希望会有更多的优秀科研人才聚集于此，为国内计算语言学的发展添砖加瓦。

部分讲习班讲义、评测报告和前沿综述的PPT已公布于CCL2019官网：http://www.cips-cl.org/static/CCL2019/index.html，也可点击「查看原文」，欢迎大家下载！

本期作者：范欣妍、侯宇蓬

本期编辑：侯宇蓬

---

方便交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐阅读：

【ACL 2019】腾讯AI Lab解读三大前沿方向及20篇入选论文

【一分钟论文】IJCAI2019 | Self-attentive Biaffine Dependency  Parsing

【一分钟论文】 NAACL2019-使用感知句法词表示的句法增强神经机器翻译

【一分钟论文】Semi-supervised Sequence Learning半监督序列学习

【一分钟论文】Deep Biaffine Attention for Neural Dependency Parsing

详解Transition-based Dependency parser基于转移的依存句法解析器

经验 | 初入NLP领域的一些小建议

学术 | 如何写一篇合格的NLP论文

干货 | 那些高产的学者都是怎样工作的？

一个简单有效的联合模型

近年来NLP在法律领域的相关研究工作

---

让更多的人知道你“在看”