Hinton曾授课,斯坦福首个Transformers专题讲座视频放出,NLP、CV和RL无所不包
机器之心报道
机器之心编辑部
据了解,这是首个关于 Transformers 的专题课程。
要说在世界大学公开课中哪些属于精品,斯坦福大学的 CS 课程可谓是榜上有名。这所世界名校先后免费公开了众多课程,有关于自然语言理解的、有关于机器学习的等等。
斯坦福大学的 CS 课程可以说是覆盖范围广,今天他们又上线了一门经典课程:《CS 25: Transformers United》,据了解这是首个关于 Transformers 的课程。
自 2017 年推出以来,Transformer 彻底改变了自然语言处理 (NLP)领域。现在,Transformer 在深度学习中被广泛使用,无论是计算机视觉 (CV)、强化学习 (RL)、生成对抗网络 (GAN)、语音甚至是生物学。除此之外,Transformer 还能够创建强大的语言模型(如 GPT-3),并在 AlphaFold2 中发挥了重要作用,该算法解决了蛋白质折叠问题。
可能是意识到 Transformer 带来的一系列技术突破,又或者其他原因,总之斯坦福 CS 25 课程诞生了。这门课程的重点就是介绍 Transformers,并统一其在 ML、CV、NLP、生物学和其他社区的使用。此外,该课程还讨论关于 Transformer 的最新突破和想法,以激发交叉合作研究。
不过,想要学习这门课程的小伙伴,必须先要掌握深度学习基础知识(必须理解注意力机制),或者已经通过 CS224N / CS231N / CS230 课程。
从下周开始,CS 25 将每天公布课程内容,目前已放出第一个视频:介绍 Transformer。
视频链接:https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM
在今天公布的第一节课中,讲师为斯坦福大学硕士生 Divyansh Garg、软件工程师 Chetanya Rastogi(毕业于斯坦福大学)、软件工程师 Advay Pal(毕业于斯坦福大学)。
此外,第一节课的指导教授为 Christopher Manning,他是斯坦福大学计算机与语言学教授,也是将深度学习应用于自然语言处理领域的领军者。
从之前的课程描述来看,CS 25 课程邀请了来自不同领域关于 Transformer 研究的前沿人士进行客座讲座。OpenAI 的研究科学家 Mark Chen,主要介绍基于 Transformers 的 GPT-3、Codex;Google Brain 的科学家 Lucas Beyer,主要介绍 Transformer 在视觉领域的应用;Meta FAIR 科学家 Aditya Grover,主要介绍 RL 中的 Transformer 以及计算引擎等。
值得一提的是,AI 教父 Geoff Hinton 也带来了一次讲座。
课程主页:https://web.stanford.edu/class/cs25/
CS25 课程:不止于 NLP,还有 CV、RL
在 Reddit 帖子的评论区,网友关于该门课程的一些问题也得到了解答。
在 CS25 课程中,除了基于自然语言处理(NLP)的演讲内容之外,还将覆盖到视觉 Transformers。
关于是否有计划放出一些代码或练习?虽然 CS 25 授课者没有太多时间为原始课程创建练习,但会使用 Harvard NLP 提供的《The Annotated Transformer》中的内容。
Harvard NLP 链接:http://nlp.seas.harvard.edu/2018/04/03/attention.html
有网友表示,Huggingface 一年前也开设了一门关于 Transformers 的课程,两者的区别在哪里呢?
Huggingface 的课程特别适合了解 Transformers 和熟悉构建块。CS25 课程在此基础上做了补充,传播领域最新突破,并讲授如何将新想法应用到自己的研究或构建应用程序中。
可以这样说,包括 Huggingface 在内的社区仅仅关注 NLP 领域。CS25 的核心目标之一是在 CV 和 RL 等现有资源稀缺的 AI 领域普及 Transformers 的知识。这也是命名为 Transformers United 的原因。
不过,也有网友疑问,整个课程都是关于 Transformers,那接下来会是关于残差块的 web 系列课程吗?不过,CS25 看起来更像是一个专题讲座而不是一门课程。
参考链接:https://www.reddit.com/r/MachineLearning/comments/vuw77a/n_firstever_course_on_transformers_now_public/
——The End——
分享
收藏
点赞
在看
Hinton曾授课,斯坦福首个Transformers专题讲座视频放出,NLP、CV和RL无所不包相关推荐
- 权威发布 鸿蒙涅槃,《鸿蒙涅槃》曾圣雕塑首场发布会在河北美院成功举办
原标题:<鸿蒙涅槃>曾圣雕塑首场发布会在河北美院成功举办 喜逢中华人民共和国成立70周年华诞,10月20日上午10时在河北美术学院雕塑院举办曾圣<鸿蒙>雕塑作品展--暨河北美院 ...
- 听完计算机知识讲座后感悟,听专题讲座心得体会范文(精选10篇)
听专题讲座心得体会范文(精选10篇) 我们在一些事情上受到启发后,不妨将其写成一篇心得体会,让自己铭记于心,它可以帮助我们了解自己的这段时间的学习.工作生活状态.怎样写好心得体会呢?以下是小编整理的听 ...
- 北京邮电大学计算机学院马华东,北京邮电大学马华东教授来校交流并作专题讲座...
6月23日,在"第三届ACM 联合CCF YOCSEF重庆学术前沿研讨会"上,北京邮电大学马华东教授作了<移动群智感知网络>专题讲座.来自国内外各高校.科研院所的专家学 ...
- 《超凡战队:能量之战》首个实机试玩放出
由nWay根据同名影视剧改变的格斗游戏<超凡战队:能量之战>今天发布了首个实机试玩预告片,对于喜欢战队游戏的玩家来说也终于可以一睹这款格斗游戏的大致玩法,下面就让我们一起来看看吧:从视频中 ...
- CCNP路由实验专题讲解视频课程--策略路由(PBR)篇-晁海江-专题视频课程
CCNP路由实验专题讲解视频课程--策略路由(PBR)篇-4695人已学习 课程介绍 更多课程,请百度搜索"晁海江". PBR是根据一定的策略进行报文转发,因此策略 ...
- 软件和信息服务业专题讲座
软件和信息服务业专题讲座 单选题(共 10 题,每题 3 分) 1.根据本讲,我国要加强物联网应用领域()开发和应用. A.大数据 2.根据本讲,要充分发挥软件对城市管理和惠民服务的()作用. C.定 ...
- 《图谋职场——最经济的图形沟通》 专题讲座圆满成功
电子工业出版社博文视点大讲堂于2010年10月30日.31日分别在中关村图书大厦和西单图书大厦成功举办了"图谋职场--最经济的图形沟通"两场专题讲座,本次活动邀请到了最新畅销图书& ...
- “Java引领技术人生”专题讲座北京、上海站圆满举行
"Java引领技术人生"专题讲座北京.上海站圆满举行 在刚刚过去的这个周末,Java畅销书作者李刚老师的"Java引领技术人生"专题讲座分别在北京.上海圆满举行 ...
- 阿里云物联网平台专题讲座
2019独角兽企业重金招聘Python工程师标准>>> 课程链接:阿里云物联网平台专题讲座 课程介绍 物联网平台是阿里云专门为物联网领域的开发人员推出的,其目的是帮助开发者搭建安全性 ...
最新文章
- 从头写个http client(java)
- 这个微型机器人可以在人体内“游泳”
- linux 声卡权限,archlinux的声卡问题如何解决
- 中国上榜前50名富豪当中,有多少人完全是通过白手起家?
- 如果你也会C#,那不妨了解下F#(5):模块、与C#互相调用
- epoll边缘触发_4.2.3、epoll:水平触发与边缘触发
- latex图片_Latex使用图片、文献、模板——自定义与路径指定
- Hive 中 insert into 与with as连用
- 获取整数的最大值最小值
- DSP 程序远程升级 / Bootloader设计指南(五)—— FLASH擦写操作
- Django 搭建知乎热榜 API
- SVN上传的时候没法显示文件名,只显示后缀名
- 【练习】新浪邮箱注册测试用例
- 什么是智能合约安全审计
- “客户真的是魔鬼”吗?
- 人工智能门槛太高?用这个框架轻松入门深度学习!
- sql 纵向求和_SQL里边的求和语句怎么写
- 谷歌HDR+研读(三)
- Cisco Packet Tracer企业网络安全策略的综合设计与实现
- 各种手机测试卡,sim卡,藕合测试白卡,链接仪器的测试卡的介绍