今晚7:30 | 结构化知识的统一建模和多任务学习

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

1月13日晚 7:30-8:30

AI TIME 特别邀请香港大学计算机系助理教授——余涛，给大家带来分享：《结构化知识的统一建模和多任务学习》

哔哩哔哩直播通道

★ 嘉宾简介 ★

余涛：

香港大学计算机系助理教授，博士毕业于耶鲁大学，目前在华盛顿大学自然语言处理实验室访问。他的研究兴趣在自然语言处理(NLP)。具体研究方向和兴趣包括但不限于对话问答系统，语义解析，自然语言界面，和人机交互。

分享内容：

结构化知识的统一建模和多任务学习

报告简介：

基于结构化知识的任务（SKG）利用结构化知识来完成用户请求，例如对数据库的语义解析和对知识库的问答。由于SKG任务的输入和输出是异构的，它们在历史上被不同的社区分开研究，这限制了对SKG的系统和兼容研究。在本文中，我们通过提出UnifiedSKG框架来克服这一限制，该框架将21个SKG 任务统一为文本到文本格式，旨在促进系统的 SKG 研究，而不是仅限于单个任务，领域，或数据集。我们展示了像 T5 这样的大型语言模型，在必要时进行简单的修改，在所有 21个任务上实现了最先进的性能。UnifiedSKG有助于研究多任务、零样本和少样本学习。我们证明了使用 UnifiedSKG进行多任务前缀调整可以提高大多数任务的性能，并展示 T0、GPT-3 和 Codex 在 SKG 的零样本和少样本学习中的不足。UnifiedSKG还支持对跨 SKG 任务的结构化知识编码变体进行一系列受控实验。我们发现 T5 对结构化知识编码变化的敏感性因任务而异。UnifiedSKG很容易扩展到更多任务，并将开源在https://github.com/hkunlp/unifiedskg

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-3”，将拉您进“AI TIME PhD 交流群-3”！

AI TIME微信小助手

主办：AI TIME

合作媒体：学术头条、AI 数据派

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你，

请将简历等信息发至min.gao@aminer.cn！

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。

更多资讯请扫码关注

我知道你

在看

哦

点击 阅读原文 预约直播！

今晚7:30 | 结构化知识的统一建模和多任务学习相关推荐

干货！结构化知识的统一建模和多任务学习
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 基于结构化知识的任务(SKG)利用结构化知识来完成用户请求,例如对数据库的语义解析和对知识库的问答.由于SKG任务的输入和输出是异构的, ...
《预训练周刊》第47期：屏蔽自编码器、结构化知识注入预训练、ERNIE 3.0
No.47 智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息,<预训练周刊>已经开启"订阅功能",以后我们会向您自动推送最新版的&l ...
微软亚研院提出用于语义分割的结构化知识蒸馏 | CVPR 2019
作者 | CV君来源 | 我爱计算机视觉今天跟大家分享一篇关于语义分割的论文,刚刚上传到arXiv的CVPR 2019接收论文<Structured Knowledge Distillati ...
【深度学习】协同优化器和结构化知识蒸馏
[深度学习]协同优化器和结构化知识蒸馏文章目录 1 概述 2 什么是RAdam(Rectified Adam) 3 Lookahead - 探索损失面的伙伴系统=更快,更稳定的探索和收敛. 4 Ra ...
ACL 2021 | 结构化知识蒸馏方法
本文介绍了上海科技大学屠可伟课题组与阿里巴巴达摩院的一项合作研究,提出了在结构预测问题上一种较为通用的结构化知识蒸馏方法.该论文已被 ACL 2021 接受为长文. 论文标题: Structural ...
CVPR 2019 | 微软亚研院提出用于语义分割的结构化知识蒸馏
点击我爱计算机视觉标星,更快获取CVML新技术今天跟大家分享一篇关于语义分割的论文,刚刚上传到arXiv的CVPR 2019接收论文<Structured Knowledge Distilla ...
论文浅尝 | ERNIE-ViL：从场景图中获取结构化知识来学习视觉语言联合表示
笔记整理:朱珈徵,天津大学硕士链接:https://www.aaai.org/AAAI21Papers/AAAI-6208.YuFei.pdf 动机现有的视觉语言预训练方法试图通过在大的图像文本数 ...
PointDistiller:面向高效紧凑3D检测的结构化知识蒸馏
点击上方"计算机视觉工坊",选择"星标" 干货第一时间送达作者丨吃饭机@知乎来源丨https://zhuanlan.zhihu.com/p/20092418 ...
计算机结构化思维学计算机,基于结构化知识的学习/思考机器和学习/思考方法以及计算机系统和信息生成方法...
主权项: 1.一种学习/思考机器,具备由网罗地收集信息的装置:\r\r\r\r\n 对收集到的信息的进行解析,并按照多个规则抽出语义关系的装\r\r\r\r\n置:\r\r\r\r\n 由将语义内容作 ...

今晚7:30 | 结构化知识的统一建模和多任务学习

今晚7:30 | 结构化知识的统一建模和多任务学习相关推荐

最新文章

热门文章