ADL会议是中国计算机协会定期组织的前沿讲习班，会邀请计算机各细分领域的领军人物针对当前领域的前沿知识进行一系列的介绍。本期我将概括介绍ADL第129期的具体内容，具体内容还请看官移步ADL官网查看会议总结。

ADL129¹历时3天，共6个报告。报告讲者记录如下，涉及主题主要包括：自然语言处理的模型发展介绍（崔一鸣），一个微调工具（Delta Tuning），prompt learning（刘鹏飞），自然语言模型的实际应用（杨红霞），机器翻译模型（李磊），模型压缩和加速（侯璐/尹伊淳）。

讲者	方向	报告题目
崔一鸣	科大讯飞	面向自然语言理解的预训练模型
刘知远/丁宁	清华	Delta Tuning: Parameter-efficient Adaption of Big Models
刘鹏飞	CMU	The Foundations, Applications and Research trend of Prompt Learning
杨红霞	达摩院	超大规模多模态预训练模型建设与其产业化落地
李磊	加州大学圣巴巴拉分校	机器翻译预训练方法
侯璐/尹伊淳	华为	预训练语言模型的压缩与加速

文章目录

自然语言处理的模型发展介绍
微调工具：Delta tuning
prompt learning
自然语言模型的实际应用
机器翻译模型
模型压缩和加速

自然语言处理的模型发展介绍

用CoVe、ELMo 这种简单的基于上下文的语言编码模型开头，重点介绍了BERT与GPT模型及其变种，最后提了一点知识蒸馏和模型裁剪。

总结：

预训练框架：先预训练再微调的模型具体是怎么进行的，预训练/微调的训练数据是什么，损失函数是什么，具体任务是什么
mask的方法：不同mask方法适用于不同的任务

微调工具：Delta tuning

报告分为2个部分，前半部分是prompt learning的定义和背景，后半部分是介绍delta tuning。个人看法：后半部分比较适合上手实践学习。

总结：

prompt learning：将NLP中的众多任务归结到一个任务，简化了训练流程，one for all的设计简洁优雅
delta tuning：解决大模型训练难的问题，只tune一部分参数提升了调参效率（提问后得知：但是不会对准确性有可证实的好处）

prompt learning

是上一个汇报的延伸，更侧重理论上和趋势上的介绍，重点介绍prompt learning的定义，高层次地总结了模型训练的四个范式：特征工程，结构工程，目标工程和启发工程，NLP模型的发展过程则由这四个范式划分成四个阶段。

总结：

数据范式：或许成为下一个范式（这点只是预测）
范式：这个东西将模型的发展分成了4个阶段，每个阶段里模型设计的重点考虑是不一样的。

自然语言模型的实际应用

以阿里M6为例子介绍阿里在自然语言模型应用方面做出的尝试，提出自然语言模型在应用层面上更像是一个系统问题：模型太大放不到一块卡上，需要进行多卡通信；负载失衡，只有少数节点发挥大部分作用。Pathway google 是一个很有希望解决上述问题的系统。

总结：

系统vs算法：算法可能很fancy，系统才是解决问题的实际

机器翻译模型

将机器翻译模型分成单语言/多语言的机器翻译模型，以及同声传译模型等，分别介绍每部分的实现模型。

总结：

模型细致的分类：可以看看原幻灯片

模型压缩和加速

模型压缩主要包括剪枝，量化，知识蒸馏三个方法，这些方法大都使用在BERT模型上（GPT直到了3才得到广泛关注，大量的工作都在BERT这边）。
总结：

重点介绍了：剪枝，量化和知识蒸馏，还有一些其他方法

ADL129的视频尚未上传，可能过几天会上传吧

开会总结【1】ADL129相关推荐
1. 某leader求助：周六晚上拉下属开会，被下属怀孕的老婆公然大骂，怎么办？网友：活该！...
  身为领导,被下属及其老婆当众辱骂,该怎么办? 一位网友就遇到了这样的事情:周六晚上拉了几位下属开会,因一位下属在家,故通过电话交流,对方怀孕的老婆突然抢过电话对楼主破口大骂.楼主一直劝她冷静,下属也在 ...
2. 开会迟到，代码不规范，晚上八点半去健身，跟leader坐电梯自己先出去！某新入行程序员被疯狂吐槽！...
  互联网大厂里老人带新人是常事,在这个过程中,由于年龄差距.观念不同.能力差异,很可能会出现误会和矛盾,老人觉得新人不懂事,新人觉得老人太古板. 一个滴滴的程序员在带校招应届生的时候,被对方的种种行为搞 ...
3. 某阿里程序员爆料自己的p9领导：每天炒股喝茶开会！羡慕嫉妒恨！以后要当领导！网友：不在其位，不知其累！...
  都说阿里高p日子过得很爽,到底有多爽呢? 一个阿里程序员发帖爆料自己p9领导每天的工作,简直令人羡慕嫉妒恨,让我们看看他的领导一天都在做什么: 一路看下来就是炒股.喝茶.开会,难怪楼主得出这样的结论: ...
4. 一生中用来开会的时间，你知道有多久吗？
  日程提醒14:00的会议即将开始,这已经是这周内的第N场会议了. 每次走进会议室前都下定决心,一定要全神贯注,全程积极思考,但总会迷失在冗长低效的会议现场. 期待着能和同事一起快速找到问题的解决方案, ...
5. 「不会开会」是个病，这本书能治吗？
  身边总有不少人抱怨,说工作中最耽误时间的事儿就是开会,而更耽误时间的事儿就是和一群「不会开会」的人在一起开会. 不得不说,如果想把一件事儿做成,开会是必不可少的.小到「家里人商量晚上吃什么」,大到「联 ...
6. 3 万小时——这是你一辈子花在开会上的时间
  本文转载自公众号二爷鉴书,作者邱岳,特此感谢 3 万小时的具体算法是这样的:假设一年 50 周,职业生涯前 10 年每周开 3 次会,每次 2 小时,共 3000 小时:从第 10 年到第 20 年每 ...
7. Facebook推出VR版远程办公应用，白板共享、手势/键盘追踪等技能解锁沉浸式开会体验...
  丰色发自凹非寺量子位报道 | 公众号 QbitAI 用自己的真实化身和同事们一起线上开会,是一种怎样的体验? 新冠疫情的爆发让很多人打工人都体验到了远程办公这一新工作方式. 但它最大的缺点就是 ...
8. 视频会议老走神？试试VR会议的真·沉浸式体验！HTC、IEEE纷纷试水，云开会也能拥抱、自拍...
  鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 有人还在用分分钟转圈圈的视频通讯软件开视频会议. 有人已经开始在VR游戏<半条命:艾利克斯>里上起了数学课. 所以,为啥不试试用 ...
9. 华为备忘录导入印记云笔记_原来华为手机自带会议神器，开会不用手写，这个功能就能搞定...
  经常需要开会,会议纪要的记录很烦恼.一般都是纸和笔备着,听到重点就记录下来的.但是这样做,容易遗漏会议内容,如果是老板要求整理的会议纪要,可能麻烦更大. 其实华为手机自带会议神器,开会不用笔记手写,会 ...
10. 每日一皮：开会不关微信的尴尬（2）
  往期推荐每日一皮:开会不关微信的尴尬(1) 每日一皮:本世纪最动人的励志场景! 每日一皮:为这位姑娘的回答鼓掌! 每日一皮:我们最要避开的山寨产品... 每日一皮:和女朋友争吵与阅读软件许可协议之间 ...
最新文章
热门文章

开会总结【1】ADL129