近年来，机器学习领域最激动人心的进展，莫过于预训练方法的兴起，尤其是超大规模预训练模型的出现。各种领域，预训练方法都取得了一定的成功，如自然语言处理、计算机视觉、语音识别和图学习。

预训练的宗旨是利用输入数据本身作为学习模型的监督信号，进行自监督学习，使得模型具备对一类任务的先验知识。这些模型可以和使用具体下有任务标签信息训练监督学习模型的一样、甚至更强大。换句话说，它不需要、或者需要很少的特定任务标签数据——而大规模地获得这些数据往往是非常昂贵的。

尽管当前预训练方法在文本和图像数据集的任务中取得了突出的表现，但仍有许多预训练的问题没有解决。因此，在今年的人工智能国际顶级会议KDD上，清华大学和智源社区联合举办了第一届国际预训练研讨会（The International Workshop on Pretraining: Algorithms, Architectures, and Applications）。

研讨会亮点：

• 来自Google，Facebook，MSRA，阿里巴巴等的5位预训练前沿研究者将为大家介绍预训练领域的最新进展

• 9篇优秀投稿论文将在研讨会上进行口头报告，包括智源研究院的悟道文汇、文源系列工作的核心作者，对千亿中文CPM-2模型，和万亿多模态大模型的底层框架原理进行介绍。

Keynote嘉宾介绍：

黄彦平（Yanping Huang）

主题：GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding

个人简介：黄彦平是Google Brain的高级工程师。他在华盛顿大学获得博士学位，研究强化学习和计算神经科学。他的主要研究兴趣包括神经网络架构搜索和大规模机器学习的基础设施。他的工作发表在顶级的机器学习和计算机视觉会议和期刊上，包括NeurIPS、ICLR、CVPR、AAAI、Neural Computation。他还曾担任多个顶级机器学习研讨会和会议的程序委员会成员，包括NeurIPS、KDD、AAAI、ICML、WWW、Neural Computation。

Sinong Wang

主题：Linformer: Linear Self Attention, & Future Directions

个人简介：Sinong Wang是Facebook AI的研究科学家，他致力于改善机器学习、自然语言处理和多模态理解。在加入Facebook之前，Sinong拥有俄亥俄州立大学的电子和计算机工程博士学位。Sinong曾在ACM SIGMETRICS 2017上获得Kenneth C. Sevcik杰出论文奖。

胡翰（Han Hu）

主题：Swin Transformer and 5 reasons to embrace Transformers in computer vision

个人简介：胡翰是微软亚洲研究院（MSRA）视觉计算组的首席研究员。他于2014年在周杰教授的指导下获得博士学位，并于2008年在清华大学获得学士学位。他的博士论文在2016年获得CAAI的优秀博士论文奖。2012年10月至2013年4月在美国宾夕法尼亚大学进行访问，导师为史剑波教授。在2016年12月加入MSRA之前，他在百度研究院的深度学习研究所（IDL）工作。他曾担任CVPR2021/CVPR2022的区域主席。他的主要研究兴趣包括视觉/视觉语言架构设计和表示学习。

Timo Schick

主题：New Approaches to Few-Shot Learning: The Power of Task Descriptions

个人简介：Timo Schick是德国慕尼黑信息和语言处理中心（CIS）的一名博士生。在攻读博士学位的同时，Timo作为数据科学家已经在工业界工作了四年。他的许多研究的动机来自于这份经历。他目前的研究重点是，针对具有挑战性的文本理解和文本生成任务的小样本学习。在此之前，他曾从事表征学习研究，并开发了一些算法来帮助预先训练好的语言模型更好地理解稀有词汇。

林俊旸

主题：M6: a large-scale chinese multimodal pretrainer

个人简介：林俊旸是阿里巴巴达摩院的高级算法工程师。他在北京大学获得硕士学位。他最近的研究兴趣集中在自然语言生成，多模态表示学习，以及大规模预训练。他在ACL、EMNLP、NeurIPS等会议和期刊上发表了超过15篇文章。

时间形式

1. 会议时间：2021年8月15日09:00-16:20（北京时间）

2. 活动形式：线上直播

3. 如何参与：

4. 1. https://hub.baai.ac.cn/activity/details/159

   2. 点击阅读原文

   3. 扫描日程图片中二维码

活动日程

友情提醒

• 会议开始时间：2021年8月15日09:00-16:20（北京时间），请提前安排好观看直播时间；

联系我们

微信扫描下方二维码进入智源社区预训练微信交流群，群内交流，会有工作人员及时解答。

点击左下角“阅读原文”，报名活动！