AIS 2019(ACL IJCAI SIGIR)论文研讨会研究趋势汇总
AIS 2019(ACL IJCAI SIGIR)论文研讨会
文章目录
- AIS 2019(ACL IJCAI SIGIR)论文研讨会
- ACL 进展综述-清华刘知远
- ACL2019投稿统计
- 1. 预训练语言模型
- 2. 低资源NLP任务
- 3.模型可解释性
- 4. 更多任务&数据集
- (Unreliable) Estimation of IJCAI - 北大严睿
- 投稿概述
- 趋势文字图
- Learning Metrics
- 多模态
- 知识与推理
- AI应用与社会福利(AI Applications and Social Good )
- SIGIR-信息检索趋势-人大&清华
- 信息检索概述
- SIGIR Topics
- Trends in IR Community
- SWIRL会议
- 神经网络在信息检索方面的应用(Neural Information Retrieval)
- 知识增强的信息检索(Knowledge Enhanced IR)- Knowledge Graph
- Reference
“AIS 2019”是三大国际顶级会议的全面整合。其中,“A”代表自然语言处理领域最高级别会议ACL,“I”代表国际人工智能联合会议IJCAI,“S”代表信息检索国际论坛SIGIR。这三大会议代表了全球计算机、人工智能与信息检索领域的最新成果。会议以口头报告及展板展示相结合的形式,共同探讨NLP和IR等领域的前沿发展。
会议全程视频回放
ACL 进展综述-清华刘知远
ACL2019投稿统计
大约2700篇投稿,长文1609 短文 2086(长文录用率25%)
审稿人1610,其中领域主席230人
热门投稿领域与ACL2018一致(比例最高的、NLP进展最快的三个方向)
- Information Extraction
- Machine Learning
- Machine Translation
投稿量激增的比较前沿的几个方向
- Linguistic Theories
- Cognitive Modeling and Psycholinguistics
ACL进展趋势总结
- 预训练语言模型
- 低资源NLP任务
- 模型可解释性
- 更多任务&数据集
这些进展趋势总结可能并不能完美地刻画NLP发展的全貌,但一定程度上是对现在研究热门方向的一个总结,接下来将分别介绍这几个方面的最新进程。
1. 预训练语言模型
深度学习2018年最重要的一个里程碑式的工作就是大规模的无监督的文本数据建模,上图所示为深度学习近年来在NLP领域的进展,我们可以将2018年NLP的进展列为Pre-trained language models。
对大规模无监督文本的学习最早可回溯到2013年,word2vec可以从大规模无监督文本中学习词向量,并刻画单词之间的语义关系。
- 问题:未考虑一词多义,无法处理复杂上下文的相关理解
解决:在word2vec之后,由于LSTM、RNN、GRU、Transformer一系列更复杂的模型出现,大家认为不需要预训练模型,只需要目标任务和目标的标注数据就可以得到很好的效果。但2018年预训练的语言模型其实是对2013年word2vec模型的一个扩展,我们需要关注的是预训练模型能否将上下文的语义捕获。
预训练语言模型
- ELMo:双向LSTM - Deep contextualized word representations
- OpenAI GPT:单向Transformer - Improving Language Understanding by Generative Pre-Training
- BERT:双向Transformer - BERT
探索方向:多任务、多语言、复杂知识
- ERNIE: Enhanced Language Representation with Informative Entities
- ERNIE: Enhanced Representation through Knowledge Integration
- Multi-Task Deep Neural Networks for Natural Language Understanding
- Cross-lingual Language Model Pretraining
2. 低资源NLP任务
问题:当前很多NLP任务缺乏标注数据
解决思路:
- 无监督方法
- 引入领域知识
- 半监督方法
- 迁移学习(Transfer Learning)
- 少次学习(Few-Shot Learning)
- 元学习(Meta Learning)- Meta-Learning for Low-Resource Neural Machine Translation
- 对抗训练(Adversarial Training)
- 多任务学习(Multi-Task Learning)
一些新的思路:
- 如何从非平行语料中学习词对译、翻译信息
- 利用对抗训练使不同语言表示空间接近
3.模型可解释性
- 基于深度学习的NLP模型无法真正理解人类语言,不具有可解释性
- 实现真正的人工智能,需要建立鲁棒性可解释的自然语言处理模型
- 如何将常识、知识结合进来?
- 记忆网络(Memory Networks)
- 图神经网络(Graph Neural Networks)
- 可解释性问题的体现 —> 对于对抗样本攻击的敏感性
- 数据简单 —> 模型退化,模型学到的是非常过拟合的知识
- 结合知识图谱与文本进行推理
- 在NLP任务中考虑知识/常识
4. 更多任务&数据集
- 常识问答
- 多语言任务/数据集
- 多语言自然语言推理
- 多语言问答
- 跨段落\跨文档级别
- 跨段落多步推理问答
- 文档级别关系抽取(带推理信息)
(Unreliable) Estimation of IJCAI - 北大严睿
IJCAI的主讲人是北大的助理教授严睿博士,2016年8月加入北大,担任北京大学计算机所研究员。目前主要研究方向是自然语言处理、数据挖掘、深度学习、信息检索。在加入北大前,曾担任百度自然语言处理部资深研究员。更多科研信息见主页: http://www.ruiyan.me 。他的讲述方式非常轻快有趣,同时也加入了很多自己的见解。
投稿概述
和AAAI比较来看投稿数量和录用率
AAAI
- 2017年AAAI: 638/2590 = 24.63%
- 2018年 AAAI: 933/3800 = 24.55%
- 2019年AAAI: 1150/7095 = 16.21%
IJCAI
2017年IJCAI: 660/2540 = 25.98%
2018年IJCAI: 710/3470 = 20.46%
2019年IJCAI: (650+200)/4752 = 17.88%
审稿环节
- 组织架构
- PC chair:延续一直以来的单人操作流程,Chair很忙
- Area chair:数量未知
- SPC(Senior PC member):hundreds
- PC:too many
- 审稿流程
- PC打分
- SPC也需要下到战场参与打分:IJCAI vs AAAI
- rebuttal
- AC推荐意见
- PC决定
- 组织架构
趋势文字图
“Pre-training 预训练模型”部分和和前面刘知远老师的slides有部分重叠,这里不再重复做记录了~
Learning Metrics
无监督学习
- 当data hungry的深度学习遇上标注数据不够的情况
多任务学习
- 任务之间的关联关系是一个有意思的探索内容
迁移学习
- 是否具有像人一样举一反三的能力
增强学习
- 非常难调,但是效果很好
对抗学习
- 近几年的热点,formulation很优美,缺点仍然也是很难调,也不stable
多模态
IJCAI作为一个AI综合的会议,涵盖NLP、CV、ML等各人工智能领域,在多模态部分的考虑主要是在语言(language)、视觉(vision)和音频(speech)的部分如何统一,如何建模。
知识与推理
主讲人在这一部分表达了他自己的一些思考和疑问,在前面展示的趋势文字图里没有看到知识(knowledge)和推理(reasoning),但由于19年的词云图是用小样本生成的,因为IJCAI还没有给出完整的收录列表,因此可能还不全。 现在的AI学习方式还是缺乏实质内容,本质还是缺乏知识的支持,这一方面确实有几个问题值得思考:
什么是知识:结构化表达?外部数据?
有什么样的知识
怎么利用知识
知识怎么推理
怎么将知识和推理反馈到结果中去
-> Still a long way to go:有一些前期的工作
AI应用与社会福利(AI Applications and Social Good )
AI会议比较喜欢新应用(IJCAI,AAAI)
大模型驱动下的AI应用
- GPT 2:超大数据,超大参数,超大模型
AI for Social Good
如AI for food,根据图片生成食谱
SIGIR-信息检索趋势-人大&清华
信息检索概述
两个最成功的应用( Two most successful applications)
- 搜索引擎(Web search engines)
- 推荐系统(Recommendation systems)
三要素: Query - Document - Ranking
Topics(SIGIR 2017)
SIGIR Topics
SIGIR作为信息检索领域最顶级的国际会议,我们也可以从SIGIR的Topics中看到信息检索领域的发展趋势。
可以看到2007年的时候信息检索主要用的是一些无参的模型,如Pagerank、BM25、TF-IDF等,基本上不需要做模型的参数训练,主要是把document做排序和组合就可以出结果。到2010年大家更多地是尝试提出一些模型来做rank,用户的浏览行为开始被研究。到2013年用户的个性化搜索得到了更多关注,推荐系统开始在信息检索中占有一个越来越重要的地位。到2016年机器学习和深度学习慢慢被用在信息检索中,"learning"开始变成一个关键词。
Trends in IR Community
下图展示的是SIGIR收到的有效长文的数量。
SWIRL会议
近两年在信息检索领域比较重要的事件是召开了SWIRL会议,很多信息检索的大牛和鼻祖都参加了该会议,而且这个会议一共只召开过三次,分别在2004、2012和2018。
IR未来的热门研究方向和趋势
即:
对话式信息查找
用信息检索去支持用户的信息需求和决策
机器学习在信息检索领域的应用
等…
神经网络在信息检索方面的应用(Neural Information Retrieval)
一方面介绍了Christopher Manning作为SIGIR 2016的主讲人时曾经说过,神经网络已经在语音(2011)、图像(2013)和NLP(2015)方面产生了巨大的成功,在2017年将与信息检索结合,并且更多地需要关注NLP和IR的结合。另一方面介绍了Bhsakar Mitra(微软Bing课题组)在2018年出版的一本书"An introduction to neural information retrieval"。
最近今年也有一些workshops和tutorial让大家了解神经网络在信息检索领域的应用空间和发展情况。
两篇论文综述
Neural information retrieval: at the end of the early years | SpringerLink
A Deep Look into Neural Ranking Models for Information Retrieval-
其中第一篇对早期的研究方向有一个比较好的综述,第二篇是DRMM(2016)模型的提出者2019年发表的综述。
神经信息检索其他几个方面
Search vs. QA
在搜索方面由于其已经有一些很强的基准模型,所以在查询场景下搜索比QA更难提升一点
基础架构(infrastructure):Re-ranking vs. ranking
- 考虑重排序是否能够对基本的ranking进行一个提升
- Inverted index for semantic matching
一些神经模型
- Capsule Network
- GAN
- Reinforcement Learning
- BERT
- …
知识增强的信息检索(Knowledge Enhanced IR)- Knowledge Graph
近几年,知识图谱和其他领域的研究结合得越来越紧密,在对话系统中就经常会使用知识图谱去增强信息的表现。而信息检索很难的一点就是如何根据用户的意图进行建模,因为查询词是有限的且通常很少,当我们想要对查询词和文档建立建立联系时,可以通过一些外部的信息知识做推理,能够帮助我们更好地理解用户的查询需求。下图展示的是SIGIR在应用知识图谱方向上的一些workshop:
Reference
- 会议全程视频回放
- 清华刘知远-视频链接
AIS 2019(ACL IJCAI SIGIR)论文研讨会研究趋势汇总相关推荐
- AIS(ACL,IJCAI,SIGIR)(2019)论文报告会,感受大佬的气息...
AlS2019是由中国中文信息学会青工委.杭州钱塘新区管委会.搜狗搜索联合举办的论文报告会. 会议将于2019年5月25日一5月26日,在杭州钱塘新区大创小镇国际创博中心内举办. 会议介绍 本次会议把 ...
- 预告 | AIS (ACL, IJCAI, SIGIR) 2019 论文报告会日程安排
AlS2019是由中国中文信息学会青工委.杭州钱塘新区管委会.搜狗搜索联合举办的论文报告会. 会议将于2019年5月25日一5月26日,在杭州钱塘新区大创小镇国际创博中心内举办. 本次会议把ACL(国 ...
- ACL 2018最佳论文公布!计算语言学最前沿研究都在这里了
国际计算语言学协会 (ACL,The Association for Computational Linguistics),是世界上影响力最大.最具活力的国际学术组织之一,其会员遍布世界各地.ACL ...
- 【NLP】270篇ACL 2019代码开源的论文,全在这里了!
机器学习算法与自然语言处理出品 @公众号原创专栏作者 忆臻 学校 | 哈尔滨工业大学SCIR实验室博士生在读 本仓库整理了ACL2019中270篇有代码开源的所有论文,代码下载地址. 效果如下: 仓库 ...
- 干货 知识图谱研究青年学者研讨会在清华大学顺利召开刘知远 报告题目:大规模知识图谱表示学习的研究趋势与挑战
2015年6月27日,中国中文信息学会青年工作委员会系列学术活动??知识图谱研究青年学者研讨会在清华大学FIT大楼多功能报告厅召开.本次活动由青工委和中文信息学会语言与知识计算专委会联合举办,旨在推动 ...
- 【NLP】ACL 2010-2020研究趋势总结
作者:哈工大SCIR 车万翔教授 导读 2020年5月23日,有幸受邀在中国中文信息学会青年工作委员会主办的AIS(ACL-IJCAI-SIGIR)2020顶会论文预讲会上介绍了ACL会议近年来的研究 ...
- ACL 2010-2020研究趋势总结
一只小狐狸带你解锁 炼丹术&NLP 秘籍 作者:哈工大SCIR 车万翔教授 导读 2020年5月23日,有幸受邀在中国中文信息学会青年工作委员会主办的AIS(ACL-IJCAI-SIGIR)2 ...
- 华人“霸榜”ACL最佳长短论文、杰出论文一作,华为、南理工等获奖
作者 | 夕颜.一一 出品 | AI科技大本营(ID:rgznai100) 导读:7 月 31 日晚,自然语言处理领域最大顶会 ACL 2019 在佛罗伦萨进行到了第四天(7 月 29 日-8 月 1 ...
- 收藏 | 2019 NLP大全:论文、博客、教程、工程进展全梳理(附链接)
来源:机器之心 本文约为11000字,建议阅读20+分钟 在整个2019年,NLP领域都沉淀了哪些东西?有没有什么是你错过的?如果觉得自己梳理太费时,不妨看一下本文作者整理的结果. 2019 年对自然 ...
最新文章
- 在Ubuntu 16.04.6 LTS上升级Go到最新版1.12.5实录
- running build_ext building ‘gensim.models.word2vec_inner‘ extension error: Microsoft Visua
- python菜鸟工具-第一行Python代码之菜鸟逃离记
- 深入剖析ASP.NET的编译原理之二:预编译(Precompilation)
- 为什么你需要设计和维护一套自我移动标准?
- PyG图神经网络框架学习--示例介绍
- 小米手机拦截返回音设置不了_小米手机用户注意了!这几个超好用的功能你没用过就太可惜了...
- linux怎么安装Nginx
- 程序的静态链接,动态链接和装载
- 分布式检测与数据融合:贝叶斯检测理论
- 信息论基础 thomas 2nd ed
- plsql以及instantclient下载安装配置使用
- JSP文件的中文在浏览器上显示乱码解决方法
- PE聚乙烯塑料会污染环境吗?
- 使用HTML实现百度首页界面
- 华三模拟器启动设备失败【启动设备MSR36-20_1失败】
- 关于我于Security Assistant Agent这个Bitch软件的点滴
- java rgb转yuv_RGB 转化YUV | 学步园
- Android BLE HIDS Data ,从问询DB 到写入Android 节点的flow 之四
- 亿邦国际拟增发融资:2020上半年营收降五成,仍存数亿元纠纷
热门文章
- 数据结构的在C语言中的类型定义
- 循环冗余校验码例题[转帖]
- OpenCV4萌新之路——详解图像读取函数 “imread”
- OpenSSL编译说明:Linux结合libcurl库编程实现人脸识别和车牌识别
- App前端,Web前端,后端,微信小程序到底该学啥?
- unicode和字符串之间的转换有两种方式
- 汽车中控屏显示com点android,老车遇上安卓大屏导航中控的坑
- RGB565 RGB888
- c语言中左移和乘法谁高级,C程序员说使用移位运算代替乘法和除法更有效,是真的吗?...
- 如何进行monkey测试