活动报名丨IDEA研究院 杨平：统一自然语言理解任务为多项式选择任务
11月16日（周三）19:00「青源Live 第54期丨统一自然语言理解任务为多项式选择任务」将在线举办，来自IDEA研究院认知计算与自然语言研究中心的NLP算法工程师杨平做报告分享，欢迎预约观看并参与线上交流。
杨平
IDEA研究院·NLP算法工程师
杨平，现就职于 IDEA研究院认知计算与自然语言研究中心，担任NLP算法工程师，研究方向主要集中在大模型预训练、Few/Zero-Shot、信息抽取等方向。
“
统一自然语言理解任务为多项式选择任务
对于许多自然语言理解（NLU）任务来说，传统的做法是先用大量无标注的文本进行预训练，然后在特定任务上进行微调。由于在微调时需要添加任务指定层参数，而模型需要微调才能在指定任务上进行推理，这使得模型不具备 零样本（Zero-Shot） 学习的能力。为了消除这一任务指定层，T5、GPT等生成模型通过将 NLU 任务转化为文本生成任务。尽管生成模型可用做到统一参数、统一框架、统一训练目标。但是生成模型需要将标签给生成出来，这无疑是加重了任务的难度和模型的学习成本。对于许多基于标签的任务来说，通常只需要给定输入文本，输出文本属于每种标签的概率即可。基于这个思路，我们将 NLU 任务转化为多项选择任务。为了充分利用预训练模型在预训练阶段所学习到的知识，我们通过控制位置编码和 Attention Mask 来使得模型不需要添加额外参数也能做多项式选择任务。实验结果表明在Zero-Shot场景下，我们提出的模型仅用亿级的参数就可以超越千亿级参数的生成模型。
活动时间：11月16日（周三）19:00-20:00
活动形式：线上直播，扫描下方二维码报名
更多内容 尽在智源社区公众号
活动报名丨IDEA研究院 杨平：统一自然语言理解任务为多项式选择任务相关推荐
- 深度丨人大宋睿华：自然语言理解的重大突破为何是多模态？
智源导读:人是如何在一瞬间将语言理解成意义的?AI可以拥有这样制造意义的心智吗? 在6月3日智源大会的视觉大模型论坛上,中国人民大学高瓴人工智能学院长聘副教授.悟道·文澜团队成员宋睿华作了题为< ...
- 活动报名丨悟道开放日：大模型最新研究进展、应用开发训练营、50+闪电演讲作者面对面...
时间地点 时间:2023年3月19日 09:30-20日16:30 地点:智源大厦一层报告厅(海淀区成府路150号) 活动详情 2022年3月19-20日,由北京智源人工智能研究院主办的「2022悟道 ...
- 活动报名丨英伟达AI Lab科学家、GET3D一作高俊：从图像中学习3D对象的生成建模...
12月12日(周一)上午9:00「青源Live第57期丨英伟达AI Lab科学家.GET3D一作高俊:从图像中学习3D对象的生成建模」将在线举办,多伦多大学博士生.英伟达AI Lab研究科学家高俊做报 ...
- 活动报名丨河北（廊坊站）启动仪式-“香港科大商学院-安讯科技”2019【人工智能】百万奖金国际创业大赛...
随着"香港科大商学院-安讯科技" 2019[人工智能]百万奖金国际创业大赛启动仪式南京站.苏州站相继圆满落幕,令人期待已久的河北(廊坊)站也终于拉开了帷幕,以下为日程安排. [时间 ...
- 活动报名丨“香港科大商学院-黑瞳科技”2020【人工智能】百万奖金国际创业大赛--成都站宣讲会...
"香港科大商学院-黑瞳科技" 2020[人工智能]百万奖金国际创业大赛宣讲会即将在成都站拉开帷幕,以下为日程安排. [时间] 2020年 9 月 4 日(周五) 14:00 [地点 ...
- 会议报名丨CSSNLP 2021第二届中国自然语言处理学生研讨会开放注册
注册官网:https://event.baai.ac.cn/activities/196 第二届中国自然语言处理学生研讨会(The China Student Symposium on Natural ...
- 会议报名丨CSSNLP 2020 第一届中国自然语言处理学生研讨会开放注册
注册官网:https://hub.baai.ac.cn/activity/details/121 中国自然语言处理学生研讨会(The China Student Symposium on Natura ...
- 智源重大研究方向“智能体系架构与芯片”发布会（活动报名）
活动详情 智能时代的飞速发展迫切需要新的物质载体,即智能计算系统,而智能计算体系结构和芯片是探索智能计算系统的学科方向. 智源研究院"智能体系架构与芯片"重大研究方向将从方法.芯片 ...
- 广东计算机学会 信息学省初赛,报名丨2019第36届全国信息学奥林匹克竞赛于广州二中举办！...
原标题:报名丨2019第36届全国信息学奥林匹克竞赛于广州二中举办! 2019年第三十六届全国信息学奥林匹克竞赛将在广州二中举办,目前第36届信息学竞赛正在报名中,意向参赛的考生请在10月9日前完成报 ...
最新文章
- Socket：注意事项
- Spring是如何运用设计模式的？
- 【Android UI设计与开发】第01期：引导界面（一）ViewPager介绍和使用详解
- 物化视图基于rowID快速刷新
- 搜索背后的奥秘——浅谈语义主题计算
- 深度学习中batch_size、epoch和iteration的含义
- Android 启动分析 1
- sort(()={return Math.random()-0.5)}乱序数组不准确
- android Fragments详解一：概述
- SCCM2012系列之二，SCCM2012部署前的Active Directory准备
- HDU 5876 关于补图的bfs
- linux中的 127.0.0.1和0.0.0.0和::
- Oracle→表、表字段数据类型、表DDL语句、数据DML语句、约束、case...when、decode
- 批量生成Code128- C条码
- 红米4A Android 版本,红米4A评测：4A搭载深度定制基于Android6.0.1系统MIUI 8 - 红米4A评测：双11手机单品销量第一 怎么样好不好用？...
- 常用汇编命令OD命令总结
- 首次发布！中国四维发布国内首个干涉SAR商业卫星星座数据产品
- PCL点云的旋转平移矩阵
- 事业单位计算机面试基础知识,求事业单位面试题目（计算机岗位）
- [ZJOI2009]狼和羊的故事