直播 | ACL 2021论文解读：提升预训练语言模型实体与关系理解的统一框架

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到清华大学计算机系博士生秦禹嘉，为大家在线解读其发表于 ACL 2021 的最新工作：ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning。对本期主题感兴趣的小伙伴，6 月 17 日（周四）晚 7 点，我们准时相约 PaperWeekly B 站直播间。

直播信息

预训练语言模型在各种下游自然语言处理任务中表现出卓越的性能。然而，传统的预训练目标并没有明确地对文本中的关系事实进行建模，这对于文本理解至关重要。为了解决这个问题，我们提出了一种新颖的对比学习框架 ERICA，以深入了解文本中的实体及实体间关系。

具体来说，我们定义了两个新的预训练任务来更好地理解实体和关系：1）实体区分任务，用于区分给定的头实体和关系可以推断出哪个尾实体；2）关系判别任务，在语义上区分两个关系是否接近，这其中涉及复杂的关系推理。实验结果表明，ERICA 可以在多种语言理解任务上，尤其是在低资源设定下提升典型 PLM（例如 BERT 和 RoBERTa）的性能。

论文标题：

ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning

论文链接：

https://arxiv.org/abs/2012.15022

代码链接：

https://github.com/thunlp/ERICA

本次分享的具体内容有：

预训练语言模型的背景
实体与关系理解
统一的增强预训练语言模型实体与关系理解的框架
总结

嘉宾介绍

秦禹嘉 / 清华大学博士生

秦禹嘉，清华大学计算机系一年级博士生。导师刘知远副教授。主要研究方向为预训练语言模型，信息抽取，阅读理解等。以第一作者身份在 ACL / ICLR / TASLP 等会议/期刊上发表多篇论文。

直播地址 & 交流群

本次直播将在 PaperWeekly B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

直播 | ACL 2021论文解读：提升预训练语言模型实体与关系理解的统一框架相关推荐

ERICA：提升预训练语言模型实体与关系理解的统一框架
近年来,预训练语言模型(PLM)在各种下游自然语言处理任务中表现出卓越的性能,受益于预训练阶段的自监督学习目标,PLM 可以有效地捕获文本中的语法和语义,并为下游 NLP 任务提供蕴含丰富信息的语言表 ...
直播 | ACL 2021论文解读：为结构预测问题自动寻找更强的词嵌入拼接方式
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
直播 | ACL 2021论文解读：基于对抗学习的事件抽取预训练模型
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
直播 | ACL 2021论文解读：表征与结构兼备，结构化语言模型R2D2
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
直播 | ACL 2021论文解读：低资源语言场景下的跨语言文本摘要
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
微软最新论文解读 | 基于预训练自然语言生成的文本摘要方法
作者丨张浩宇学校丨国防科技大学计算机学院研究方向丨自然语言生成.知识图谱问答本文解读的是一篇由国防科技大学与微软亚洲研究院共同完成的工作,文中提出一种基于预训练模型的自然语言生成方法. 摘要在 ...
ACL 2018论文解读 | 基于排序思想的弱监督关系抽取选种与降噪算法
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
直播 | ICML 2021论文解读：满足隐私保护要求的去中心化无监督域迁移范式
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
直播 | KDD 2021论文解读：基于协同对比学习的自监督异质图神经网络
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...

直播 | ACL 2021论文解读：提升预训练语言模型实体与关系理解的统一框架

直播 | ACL 2021论文解读：提升预训练语言模型实体与关系理解的统一框架相关推荐

最新文章

热门文章