【论文调研】IJCAI-2019 论文投稿与录用调研报告

1. IJCAI会议简介

IJCAI 全称为Internation Joint Conference on Artifical Intelligence(国际人工智能联合会议)。
IJCAI是人工智能领域种最主要的学术会议之一，成立于1969年，地点位于美国加州。
IJCAI举办时间:自1969年以来奇数年每两年举办一次，2015年之后改为每年一届，其中2019年的IJCAI在中国澳门进行，而2020年的IJCAI将在日本名古屋进行。
每届IJCAI会议都会收录大量的高质量的论文，为了表彰一些学者在人工智能领域的突出贡献，
大会设定了4个奖项，分别为杰出研究奖、计算机与思想奖、约翰麦卡锡奖、唐纳德·沃克杰出服务奖，以此来表彰专家学者对该领域的服务和贡献。下面就来简单介绍一下每个奖项。
IJCAI历年投稿2019年止论文的投稿情况大体情况如下图所示:

关于IJCAI设定的4个奖项:1. 杰出研究奖
该奖项每年授予一位科学家，表扬其在整个职业生涯中开展的具有高质量且持续性的研究，
并且取得了实质性成果。过去获得这一荣誉的都是人工智能领域最杰出的学者、科学家。
该奖项开始于1985年，第一位获得该殊荣的是John McCarthy，他也被称为“人工智能之父”。
直至2018年，共有18位学者荣获该奖项。2. 计算机与思想奖
计算机与思想奖在IJCAI会议上颁发给杰出的人工智能青年科学家。
该奖项是由Edward Feigenbaum和Julian Feldman编辑的计算机与思想书中收取的版税而设立的。
它目前得到IJCAI基金的收入支持。该奖项于1971年开始，第一位获得该殊荣的是Jitendra Malik，
直至2018年，共有29位学者荣获该奖项。3. 约翰麦卡锡奖
约翰麦卡锡奖旨在表彰公认的中期研究人员，通常是在获得博士学位15至25年后，这些研究人员在人
工智能领域建立了卓越的研究成果。这个奖项是以约翰麦卡锡(1927-2011)命名的，
他被公认为人工智能领域的创始人之一。麦卡锡不仅给这门学科起了名字，还对计算机科学，
尤其是人工智能做出了持久重要的基本贡献，包括分时操作系统、LISP编程语言、知识表示、
常识推理和人工智能的逻辑学范式。该奖项是在麦卡锡家族的全力支持和鼓励下设立的。
该奖项于2015年开始至今，共有四位学者获此殊荣。4.唐纳德·沃克杰出服务奖
唐纳德·沃克杰出服务奖由IJCAI董事会于1979年设立，以表彰AI的资深科学家在其职业生涯
中对该领域的贡献和服务。直至2018年，共有17位学者获此殊荣。

2. IJCAI-2019会议整体分析

IJCAI-2019会议于2019年8月10日在中国澳门举行，为期七天,这是继2013年第23届IJCAI会议在北京举办过后，又一次在中国举办。

1. 论文投稿情况分析

2019的IJCAI 会议共收到论文4752篇，最终收录的论文为847篇，接收率为 17.9% 。
论文提交量和录取量都创历史新高，但录取比率却是近10年最低。
今年 IJCAI 的投稿总数相较于去年增加了约 37%（1282篇），而录取数仅比去年多了141篇，
因此，录取率降低也就不足为奇。下图为1997年至今各届会议论文提交量、录取量以及录取比例。

在2019年收录的 847 篇论文中，有 327 篇来自中国，占比 38%。
插曲:2019年的评审、打分、rebuttal等环节不专业出现了严重甚至是可笑的“错误”。主要原因是采用了
学生审稿从而导致审稿不专业，审稿意见水品不高等问题。对于作者们的反应和评论，IJCAI 2019 的 PC （program chair，程序主席）Sarit Kraus 给作者们发送了一封邮件，做出了解释，给出了比较中肯的回复，这也得到了不少学者的支持。小编认为，这个问题也反映了近年来不少学者往一些顶级会议投一些水平较低论文，
这种“灌水”的行为也是导致论文录用率较低的主要原因，这次事件也值得各个领域的学者反思和借鉴。
在最新的2020年投稿中还未进评审则被拒，近半投稿遭Summary reject
IJCAI-2019 投递组织分析，如下所示

【会议审稿流程的简单描述】:1. 对于会议审稿流程而言，由于会议论文往往有比较严格的截止日期（Deadline），
作者们通常会根据这一时间来rush自己的paper,待deadline一过，大会的程序委员会主席
（Program Committee Chair或Program Chair）首先会剔除一批不符合会议投稿政策的论文，
如：篇幅不合要求、一稿多投、未匿名、未注明Conflict Domain等，
这些论文会直接作“Desk Reject”处理。处理之后的投稿（Submission）便为有效投稿。2. 这些稿件会由PC Chair根据一定规则分配给高级程序委员会委员
（Senior PC，IJCAI/AAAI一般是这个叫法）或领域主席（Area Chair，CVPR/ICCV/ECCV一
般用此称谓），这些人便是论文最终命运的判决者，也是在审稿最后时刻书写meta review的
meta reviewer——一般会由领域内颇有建树、有判断力的专家学者担任。而后，这些meta reviewer
会继续分配稿件给到实际操刀审稿、给出具体审稿意见的审稿人（Reviewer）。
对于CVPR/ICCV/ECCV等CV领域会议，近几年每个AC负责的文章大约在30-50篇左右，
而普通审稿人分配的稿件一般不超过10篇/人。以CVPR 2019为例，针对5160篇有效投稿，
全球共召集了132位AC和2887位审稿人。一共提交了超过15000条审稿意见，做到了平均一篇文章至少3条，
其中一篇文章甚至有7条审稿意见之多。3. rebuttal环节: 在reviewer各自独立提交审稿意见并经由AC检查质量之后，
绝大多数会议会将首轮意见开放给作者（目前Data Mining领域的KDD、ICDM等仍
保持不设rebuttal环节的传统），作者可根据意见内容进行rebuttal来更正审稿人理解的错误、
解释/澄清审稿人的疑虑、提供更多方法和实验细节等信息。在收回作者rebuttal之后，
同一篇文章的首轮意见、作者rebuttal信息均会开放给所有审稿人和责任AC，
进入paper discussion环节。4.paper discussion环节:Discussion时，AC会主持每篇文章的讨论，每位审稿人根据其他审稿人意见
和作者rebuttal会留言给其他审稿人。经过几天系统线上讨论，所有审稿人需更新自己最终意见。
更新的意见以及整个讨论过程，再加上AC自己的判断会作为AC给予每篇论文生杀予夺的重要依据：
若多数审稿人在rebuttal后提高了论文得分或保持accept认为可以接收，则文章有较大概率可被录用；
若多数审稿人在rebuttal后降分或保持reject，则这篇文章命运便岌岌可危。可以看到，
rebuttal在整个论文录用过程中起到了举足轻重的作用——优秀的rebuttal能力挽狂澜；
无力的rebuttal则于事无补甚至会画蛇添足、过犹不及。5. 特别的，CV领域的会议如CVPR/ICCV/ECCV等在AC给予最终决定时，有开线下AC meeting的传统，
即在paper discussion之后会选在某个城市线下召集所有AC共同决定了投稿的最终命运。一般而言，
一篇文章是否录用由三位（有时两位）没有conflict domain的AC共同决定，称作“AC Triplet”。
到此，每篇会议论文最终结果（录用与否以及oral、poster、spotlight）便盖棺定论，
等待着PC Chair公布给如坐针毡的作者们。以上内容来自于:https://zhuanlan.zhihu.com/p/104298923?utm_source=qq

2. 论文投稿的主题组成

在论文的主题上，机器学习依然是最热的一个领域，收录数量为 438 篇，超过半数，
且提交论文中，共有 2516 篇为机器学习领域，
此外论文数量最多的领域依次为计算机视觉，机器学习应用，自然语言处理。各个
主题的提交于录用情况如下图所示:

由上图可知，其中NLP submitted 630篇，而最后录用的只有103篇，Knowledge representation
投稿349篇，最终录用88篇

3. IJCAI-2019 NLP 领域的研究风向与分析

1. IJCAI-2019 NLP领域的研究概况

IJCAI 2019 NLP领域占全部接受论文总数的9.91%，较去年有所下降，主要集中在如下的几个方面:

Sentiment Analysis
Cross-Modal Information
Information Retrieval
Text Classification
Q&A
Visual Dialog 可视化对话
Word Embedding
knowledge Representation
Text style transfer
Named Entity Recognition
Sentiment detection
Relation Extraction
Network Embedding
Text Generation
Machine Translation etc.

2. IJCAI-2019 NLP领域的详细概况

根据IJCAI-2019 NLP的录用的所有文章的总结,详细分析如下(为方便观看，截图如下):

以上83篇论文可到[4] https://github.com/Pin-Ni/NLP-in-IJCAI-2019下载

有意思和新颖的主题如：图像与文本的匹配，多人对话(公司参与，落地)， $G A N$ 做文本生成，文本风格迁移，
实体与事件提取
将知识融入NLP架构
- 常识推理
- 科学问答
关于知识图谱构建的NLP的一些子任务: 关系抽取，命名实体识别，依存句法分析， $W o r d E m b e d d i n g$ ,
$R e l e a t i o n E m b e d d i n g$ ，实体链接(EL,主要有端到端以及仅消除歧义两类方法)，细粒度抽取
社交媒体分析是与自然语言处理密切相关的研究主题，在最近的与NLP相关的会议中，无论从提交的数量还是参与者的人数来看，很明显，情感分析和社交媒体分析无疑是两个主要的研究主题
多模态学习
迁移学习/多任务学习
从应用程序的角度来看，新颖的在线应用程序涉及社交媒体分析和情感分析，例如紧急情况管理，社交推荐，用户行为分析，用户社交社区分析和未来预测是NLP和AI研究人员关注的主题
无监督预训练火热，主要是由BERT(2018年10月诞生)以及其他变体驱动(Bert with his friends)
图卷积网络在自然语言处理任务上的进展

补充点:
1. Cross Modal 跨模态
跨模态学习日益引起了学术界和工业界的关注。
跨模态学习进行联合特征学习和跨模态关系建模，
旨在有效地利用不同模态内容的相关性进行系统性能优化。
对多模态内容的深入理解主要依赖于特征学习、实体识别、知识图谱、逻辑推理、
语言表达等方面的多种技术。
2. Cross Modal Information Retrieval 跨模态信息检索
模态是指数据的存在形式，比如文本、音频、图像、视频等文件格式。
有些数据的存在形式不同，但都是描述同一事物或事件的。
而我们在信息检索的需求往往不只是同一事件单一模态的数据，
也可能需要其他模态的数据来丰富我们对同一事物或事件的认知，
此时就需要跨模态检索来实现不同模态数据之间的检索。

3. IJCAI-2019 NLP领域知识图谱类论文解读(部分)

Section 1 【知识图谱对齐】

Multi-view Knowledge Graph Embedding for Entity Alignment 多视角知识图谱嵌入的实体对齐

1. 什么是知识图谱嵌入（KGE)?
知识图谱嵌入作为一种新的研究方向，关键思想是嵌入KG的组件，
包括将实体和关系转化为连续的向量空间，从而简化操作，同时保留KG的原有的结构。
那些实体和关系嵌入能进一步应用于各种任务中，如KG补全、关系提取、实体分类和实体解析。具体可参考: 《Knowledge Graph Embedding: A Survey of Approaches and Applications》
和刘知远老师的《知识表示学习的研究与进展》做的总结2. 什么是实体对齐?
* 实体对齐(Entitiy alignment) 旨在发现不同知识图谱中称为真实世界相同事物的实体,
* 实体对齐是指给定两个网络，把两个网络中等价的实体合并。实体对齐在很多领域都有重要应用，
比如，跨平台社交网络的用户对齐可以用于用户画像、
用户兴趣挖掘，跨语言知识图谱的实体对齐可以辅助机器翻译、跨语言信息检索。
* 其中基于知识图谱嵌入的实体对齐方法近来备受关注，2019年可以说是对齐任务模型爆炸增长的一年，
新的方向和思路层出不穷，主要分为四个：* 无监督对齐,第一种思路是让结构和属性信息相互”监督“，从而达到不需要预先匹配实体的效果,另一种思路是基于对抗的方法对齐两个网络。让判别器区分两个网络中生成的点，直到判别器无法判别生成的点来自哪个网络，两个网络就对齐了。* 多视角嵌入，由于对齐问题的复杂性，单一模型的嵌入能力往往不足以对齐两个网络，因此从多种视角来对齐效果会更好* 改进现有的嵌入表示模型并用于对齐。相当于从底层改进对齐效果，* 超大规模对齐3. 现有基于嵌入的实体对齐方法存在什么问题?a. 知识图谱存在多种特征，现有方法仅利用了其中的一种或两种，被广泛使用的特征是
关系型 三元组 (relation triples) ，
近来也有方法尝试使用属性型三元组 (attribute triples)，但并未完全利用知识图谱
的已有特征，因此本文希望整合使用多种特征来提升实体对齐的效果；b. 现有方法依赖大量的已对齐实体对作为监督信息来训练模型，然而这些监督信息在现实中
很难获得。此外，现有方法大多忽略或不重视关系或属性对齐，而关系或属性对齐可以在很大程度
上帮助实体对齐任务。3. 论文贡献与方法
提出了一种基于多视图知识图谱嵌入的实体对齐框架，称为 MultiKE,主要有以下几点: a. 从数据出发，我们定义了三种具有代表性的视图，分别是：名称视图 (name view)、
关系视图 (relation view) 和属性视图 (attribute view)，
如上图所示，并针对每个视图采用适当的模型进行训练；
b. 针对实体对齐任务，我们从实体和关系或属性两个层面设计了跨知识图谱监督方式，来保留和丰富对齐信息
c. 提出了三种组合策略，从多个特定视图的实体表示中，获得最终的用于实体对齐任务的实体表示；
d. 两个数据集上进行实验，实验表明 MultiKE 在实体对齐任务上明显优于当前已有的相关方法。由于本篇文章主要是关于IJCAI-2019 的概览，因此对具体细节不做讨论,具体方法与实验可详见论文

Relation-Aware Entity Alignment for Heterogeneous Knowledge Graphs 【实体对齐】

1. 论文动机与贡献
该论文旨在解决知识图谱中的实体对齐问题，为了能够捕获复杂的语义信息，
作者提出了一种关系敏感式对偶图卷积网络（Relation-aware Dual-Graph Convolutional Network, RDGCN）模型。
如上图所示2. 论文方法
a. 首先，基于原始的图结构构建对偶关系图；
b. 然后，通过原始attention层和对偶attention层进行迭代；
c. 接着，通过GCN网络进一步结合结构信息；
d. 最后，得到实体的向量表示，用于实体对齐任务。
实体抽取该论文的实验部分采用了JAPE的数据集DBP15K，主要对比方法有MTransE、JAPE、IPTransE、BootEA和GCN-Align，该论文所提出的方法RDGCN取得了相对较优的结果。

Entity Alignment for Cross-lingual Knowledge Graph with Graph Convolutional Networks

本文提出了一种基于图卷积网络的跨语言实体对齐方法，通过设计一种属性 embedding
用于 GCN 的训练，发现GCN能同时学习到特征 embedding 和属性 embedding 的信息。
实验表明该方法是目前性能最好的的 GCN 对齐模型。1. 动机
在近期的研究工作中， GCN被用来处理一些基于图的学习问题，也有研究者提出基于该模型的
跨语言知识图谱实体对齐工作。但这些工作并没有有效的利用图谱的属性信息，且对整体模型
带来了负面的影响，这主要是因为对于同一实体，在不同语言上，它的属性存在较大的差异。
虽然也有研究者提出异构图注意力网络，提供了节点级与语义级的注意力机制。但这个方法依然
没有考虑不同属性带来的影响。
基于上述分析，作者提出利用GCN的聚合能力将属性embedding加入跨语言知识图谱对齐中。2. 方法
上图描述了本文提出模型的主要框架和流程，待对齐的知识图谱主要提供了两个角度的信息，
其一是图谱本身的图结构信息，这个部分被直接输入到GCN中， GCN包含多层网络，
其二，为了提高不同语言实体信息embed到统一的向量空间中的精准性，
作者设计了增强的属性embedding方法，用于减少不同语言对等实体之间的差异性。

Section 2 【知识图谱嵌入与链接预测】

Neural Collective Entity Linking Based on Recurrent Random Walk
Network Learning 【实体链接】

1, 动机与成果
由于神经网络具有良好的学习语义表征能力，现有的实体连接研究已经开始借鉴
利用神经网络的局部特征对实体兼容性和不同 EL 决策间的全局相互依赖性进行目标实体消歧。
然而，大多数神经元集体 EL 方法完全依赖于神经网络来自动建模不同 EL 决策之间的语义
依赖关系
缺乏来自外部知识的指导
在本文中，我们提出了一种用于共同的EL的具有递归 random-walk layers的端到端神经网络
上图则为RRWEL模型
2. 方法
首先，我们建立了一个基于局部上下文特征的模型，然后，在此基础上提出了一个基于局部上
下文特征的模型
然后堆叠random-walk layers，以加强证据使得相关的 EL成为高概率决策，
其中候选实体之间的语义相互依赖性主要是从
一个外部知识库引导。 最后，在传统的目标函数中引入一个语义规则器，保持集体 EL决策的一致性，从而使外部 EL 决策具有一致性
知识库可以在集体 EL 决策中充分利用。 实验结果和对各种数据集的深入分析表明，本文的
模型比其他最先进的模型获得了更好的性能3. 关于实体链接的简单补充*  实体链接任务是做什么的?
实体链接（entity linking）就是将一段文本中的某些字符串映射到知识库中对应的实体上。
比如对于文本“郑雯出任复旦大学新闻学院副院长”，就应当将字符串“郑雯”、“复旦大学”、
“复旦大学新闻学院”分别映射到对应的实体上。在很多时候，
存在同名异实体或者同实体异名的现象，因此这个映射过程需要进行消歧，
比如对于文本“我正在读《哈利波特》”，其中的“《哈利波特》”应指的是“《哈利波特》（图书）”
这一实体，而不是“《哈利波特》系列电影”这一实体。当前的实体链接一般
已经识别出实体名称的范围（一般称作mention），需要做的工作主要是实体（称作entity）
的消歧。也有一些工作同时做实体识别和实体消歧，变成了一个端到端的任务。* 实体链接的难点在于两个方面，即多词一义和一词多义* 实体链接包括两个步骤，即指称识别和实体消歧（或者候选实体生成和候选实体排序）两个过程

Robust Embedding with Multi-Level Structures for Link Prediction

M-GNN 架构

Graph coarsening 图采样/图粗化

1. 论文动机
* 知识图谱嵌入对于链接预测而言，至关重要，最近有许多研究应用encoder-decoder模型
来解决这个问题，其中encoder主要归纳为graph neural network，decoder部分主要
使用一种embedding的方法，这些方法强制在结构信息中使用embedding技术，非常糟糕的
是基于GNN框架的这种方法仍然面临着3个严重的问题：* low represential power 代表能力过于低下* stacking in a flat way 始终不断的堆叠模型* poor robustness to noise 对于噪声情况鲁棒性过差
* 在本文中我们提出了一个新的多层图卷积模型(M-GNN)来解决上述面临的挑战，模型架构如上图1
所示2. 论文的思路
* 首先我们确定了一种injective aggregate schema 并且设计了一种使用多层感知机(MLPs)的
GNN layer
* 其次,我们定义了对于多种关系之间的Graph coarsening(图粗化/图池化，实际目的就是用来生
成图表示，核心要义在于：操作本身要对结点顺序不敏感，为了使得同构图的表示能够保持一致，大体
显示如上图2所示）
同时在这一系列图池化中堆叠GNN layers,以便为层次结构建模。 此外，我们在方法中使用了
注意力机制，目的是为了让我们的方法在噪音较大的知识图谱中也能够多出准确的链接预测任务
最后的结果是在FB15k-237上表示显著，M-GNN 具有很强的鲁棒性到稀疏和噪音。

Unsupervised Embedding Enhancements of Knowledge Graphs using Textual Associations 使用文本关联的知识图谱无监督嵌入增强

1. 动机
知识图谱嵌入对于表示多关系数据并从中学习是有用的，最近的嵌入模型
显示出从现有数据库中推断新事实的高效性。但是，这种结构精确的数据通常在数量
和范围上受到限制。因此，要完全优化嵌入，还必须考虑更广泛的可用信息源，例如文本。2. 论文思路
本文介绍了一种无监督的方法，该方法通过使用关联词的嵌入来增强实体嵌入来合并文本信息。
该方法不会修改知识图谱嵌入的优化目标，而是可以将其与现有的嵌入模型集成。
考虑了两种不同形式的文本数据，针对每种情况建议了不同的嵌入增强功能。
* 在第一种情况下，每个实体都有一个描述它的关联文本文档。
* 在第二种情况下，文本文档不可用，而是实体以单词或短语的形式出现在非结构化的文本片段中。
实验表明，将两种方法应用于许多不同的知识图谱嵌入模型时，都可以改善链接预测任务。3. 论文小结
本文讨论了两种新颖的方法，可以利用文本数据中的信息来增强知识图中的实体嵌入。
第一种方法将实体矢量表示为与每个实体相关联的单词的直接函数，并且只要文本数据
以实体描述的形式可用，就可以应用。 第二种方法在文本文档上训练 word2vec 算法，
并将它从实体名称中学到的功能添加到原始实体功能向量中。实证结果表明，如果文本数据
具有足够的质量，则与没有文本的嵌入和用于合并文本的替代方法相比，这两种方法都
可以提高许多不同嵌入模型上的链接预测精度。

Section 3 【关系抽取与关系表示】

【Relation Extraction Using Supervision from Topic Knowledge of Relation Labels】关系抽取

1. 动机* 关系抽取旨在基于文本上下文识别出实体对的语义关系。这些关系通常是预先定义好的。
例如，给定实体对[ Microsoft, Bill Gates ]和
句子“Bill Gates co-founded Microsoft withhis childhood friend Paul Allen”，
我们希望抽取出关系“ founder ”。
* 传统的方法通常将关系抽取建模为分类问题或者标注问题。在这些方法中，
不同的关系标签往往被视为不同的 ID。例如，在关系分类中，
每个 ID 代表多分类问题的一个类别（ class ）。给定一个样本，
模型将其映射到一个或多个关系 ID 。然而，关系标签包含着非常丰富的语义信息，
这些语义信息被现有的关系抽取模型所忽略。我们认为，充分建模关系标签的语义信息
并将其作为关系分类的监督信号，有望进一步提升关系抽取性能。很显然，仅仅靠关系
标签这个词组本身很难挖掘出太多的语义信息。因此，我们需要引入额外的信息作为关系
的背景知识。
* 为了克服这一挑战，本文求助于主题模型。对于预定义关系，我们通过相应的
训练句子集合进行主题建模，进而从训练数据中挖掘出关系的主题知识。我们的基本假设是：
对于每个关系，其标注句子集合包含几个潜在主题，并且这些主题在语义上与关系是相关的。
通过主题建模，我们提取前k个带权重的主题词来表示关系的语义。因此，关系的主题知识
被具体化为带权重的词袋（ weighted bag of words， WBoW ）。不难理解，每个主题词都
刻画了关系的某些方面，而词的权重则刻画了它对关系的重要性。因此，一个被标注为该关系的
句子应该匹配关系的某些重要方面。2. 方法
* 上图左边表示了应用关系的主题知识的框架流程图，主要步骤为:* 步骤1：从训练句子中检索关系r的所有句子。* 步骤2：获取 r 的主题知识，即通过主题建模从r的标记句子集合中提取前k个加权主题词。* 步骤3：为句子-关系对（ s; r ）建立深度匹配网络。* 步骤4：基于主题知识，通过 Word Mover Distance（ WMD ）计算 s 和 r 之间的语义距离 d ( s,r )。* 步骤5：根据语义距离 d ( s,r ) 计算样本的重要性权重。* 步骤6：基于深度匹配网络和样本重要性权重建立损失函数。
* 上图右图表示了句子关系匹配网络，主要包括三个部分:* 句子学习模块* 按照头尾实体的位置，我们将句子分成三部分。主要原因有两个。第一：在一个句子中，表达实体对关系的往往位于实体对之间。因此，每部分对于关系推理的贡献是不一样的。第二，为了后续注意力机制的处理，将句子分块可以显著提升效率。句子学习模块主要采用多头的注意力机制（ multi-head self-attention ）。此外，关系敏感的注意力机制（ relation-awareattention ）旨在将学习到的句子特征中关系敏感的部分抽取出来，从而降低噪声的影响。* 关系学习模块* 关系学习模块的输入是关系的主题词集合。在该模块中，我们仍采用自注意力机制。但值得注意的是，在输入词袋中我们考虑了每个词的先验权重，因此，我们希望在自注意力机制学习中将该先验权重考虑进去。这在 weighted multi-head self-attention 中实现。* 句子关系匹配模块* 基于学到的句子表示和关系表示，我们采用简单的全连接操作实现匹配建模

4. IJCAI-2019 NLP WorkShop的研讨热点回顾

W4 Financial Technology and Natural Language Processing (FinNLP)

W4:
Leveraging BERT to Improve the FEARS Index for Stock  Forecasting 利用BERT改进股票预测的FEARS指数
“Financial and Economic Attitudes Revealed by Search (FEARS) index
reflects the attention and sentiment of public investors and is an
important factor for predicting stock price return. In this paper,
we take into account the semantics of the FEARS search terms by leveraging
the Bidirectional Encoder Representations from Transformers (BERT),
and further apply a self-attention deep learning model to our refined FEARS
seamlessly for stock return prediction. We demonstrate the practical benefits
of our approach by comparing to baseline works.”

W11 Semantic Deep Learning (SemDeep) 语义深度学习
W12 Big Social Media Data Management and Analysis (BSMDMA) 社交大数据的管理与分析
W16 Linguistic and Cognitive Approaches to Dialogue Agents (LaCATODA) 对话Agents的语言与认知方法
W17 Bringing Semantic Knowledge into Vision and Text Understanding 将语义知识引入视觉和文本理解
W22 Search-Oriented Conversational AI (SCAI) 面向搜索的对话Ai
W31 Language Sense on Computer 计算机语感
W45 Natural Language Processing for Social Media (SocialNLP) 社交媒体自然语言处理

Natural Language Processing for Social Media (SocialNLP)
Ex-Twit: Explainable Twitter Mining on Health DataEx-Twit:可解释的Twitter健康数据挖掘
“Since most machine learning models provide no explanations
for the predictions, their predictions are obscure for the human.
The ability to explain a model's prediction has become a necessity
in many applications including Twitter mining. In this work,
we propose a method called Explainable Twitter Mining (Ex-Twit)
combining Topic Modeling and Local Interpretable Model-agnostic
Explanation (LIME) to predict the topic and explain the model predictions.
We demonstrate the effectiveness of Ex-Twit on Twitter health-related data.”

4.IJCAI-2019 NLP领域在学界和产业界的探讨

覆盖面较广，多不同领域学科的投稿。实用性较强，不拘泥于学术研究，很多业界的工具和技术的展示也在其中占有重要的分量。
创新性较强，较其它领域会议有较多跨领域的前沿方向探索。
参会人员多样，研究领域各不相同。业界人员参会数量大
国人在NLP领域内扮演重要角色
更多强调真实世界数据、实际应用场景的研究的出现

不足之处，欢迎批评指正

参考文献:[1] https://www.zhihu.com/search?type=content&q=IJCAI%E4%BC%9A%E8%AE%AE%E4%BB%8B%E7%BB%8D[2] https://www.zhihu.com/search?type=content&q=ijcai%202020%20NLP%20%E8%AE%BA%E6%96%87%E8%B0%83%E7%A0%94%E6%8A%A5%E5%91%8A[3] https://www.paperdigest.org/2019/08/ijcai-2019-highlights/[4] https://zhuanlan.zhihu.com/p/74574073[5] https://www.aminer.cn/research_report/5cecc3f41976c5c87c8bee63[6] https://zhuanlan.zhihu.com/p/81073607[7] https://www.ijcai.org/Proceedings/2019/0728.pdf[8] https://www.ijcai.org/proceedings/2019/0725.pdf