汇聚每周必看AI观点、研究和各类资源,不错过一条重要资讯!欢迎扫码订阅,获取邮件推送。点击阅读原文,访问完整文章、资源及观看链接。

观点

“如果我们要关注到预训练大模型缺失的要素,应该关注以下三个关键因素:

1.参考(Reference):词语和句子并不是孤立存在的。语言是词语/句子与外部世界之间的联系,而大型语言模型中的单词序列及其缺乏与外部世界的联系。

2.认知模型(Cognitive models):语言系统的最终目标是更新对于世界的,持续但动态的感知。大模型并不产生这样的认知模型,至少没有产生人们能够可靠地加以使用的这种认知。

3.组成(Compositionality):复杂的整体,在大多数情况下,能够系统地解释其所在的部分,以及这些部分如何组织在一起的方式。像DALL-E这样的系统在涉及组成的问题时,面临显著的挑战。例如,GPT......不能产生反映句子之间结构关系的、可解释的表示。”

——近日,在谈到预训练大模型的缺陷时,纽约大学教授Gary Marcus认为可以从语言学中学到三个重要因素。

“(在本文中)我提出了名为智能体的通用模型(Common Model of the Intelligent Agent)这一概念,这种决策者(Decision Maker)可以实质性且广泛地应用于心理学、人工智能、经济学、控制理论和神经科学等多个学科......这种通用模型包括多个方面:决策者与其直接的交互,需要有输入、输出和目标,以及决策者内部的系统构成,用于感知、决策、内部评估,以及一个世界模型。我注意到它们在不同的学科中有着不同的名字,但是本质上是同样的概念......现在是时候认可并构建一个实质性的通用智能体模型,能够横跨并融合多个领域了。”

——在今年的一篇新论文中,强化学习之父Richard Sutton提出了智能决策者的通用模型思路,认为能够统一多个学科领域的研究。


科学家动态

  1. 德克萨斯州大学奥斯汀分校教授Scott Aaronson入职OpenAI

6月20日,德克萨斯州大学奥斯汀分校教授Scott Aaronson宣布将在OpenAI工作一年,其主要职责是思考人工智能安全和对齐(AI Safety and Alignment)的理论基础。Scott Araonson是德克萨斯大学奥斯汀分校计算机科学教授,担任量子信息中心主任,他的研究领域包括量子计算机的性能与局限,更广义的计算复杂度理论等。2020年他因在量子计算领域的贡献获得ACM计算奖。

  1. AI2 CEO Oren Etzioni即将卸任,董事会已开始招募继任者

Oren Etzioni是华盛顿大学的荣誉教授,曾任计算机科学与工程系的教授。目前他将继续担任首席执行官至今年9月30日,之后担任董事会成员和顾问。AI2是由已故微软联合创始人Paul Allen于2014年在美国创建的一家人工智能研究机构,开展包括NLP等在内的人工智能研究和工程项目, 知名项目包括学术搜索引擎Semantic Scholar等。

  1. 盘点这些年AI科学家加入的初创公司

近两年,从国内外科技大公司离职的科学家们,主要有两条发展路径:一是从工业界回到学术界,二是从大厂离开、自己创业。本文盘点了AI科学家加入的国内创业公司,如小冰、创新奇智、循环智能等,以及这些科学家的发展情况。

研究前沿

点击阅读原文查看完整内容

  1. 谷歌提出基于Pathways的自回归文生图模型Parti,效果媲美Imgen

  2. 强化学习之父Richard Sutton撰文:追寻智能决策者的通用模型

  3. 清华天机芯X芯片登上Science Robotics

  4. OpenAI提出视频预训练模型VPT,可以玩Minecraft游戏


机构动态

点击阅读原文查看完整内容

  1. OpenAI三大产品(GPT-3、Copilot、DALL-E)注册用户均破百万,DALL-E实现这一目标不到三个月

  2. CIFAR公布第二阶段泛加拿大AI战略,将在十年内提供超过4.43亿美元的资金支持

  3. Cohere、OpenAI、AI21联合发布部署模型的三大最佳实践准则

活动

  1. 视频回放 | 2022智源大会开幕式及分论坛视频上线

  2. 活动报名 | 中国人工智能学会:2022中国国际智能驾驶论坛-科技变革的智能驾驶(6月25日)

  3. 活动报名 | MIT、威斯康星、UMass、犹他大学等研究者:MLNLP第八期学术研讨会(6月26日)

  4. 活动报名 | 伊利诺伊大学厄巴纳-香槟分校(UIUC)李博:可信机器学习之机器学习与知识推理相结合(6月30日)

资源

点击阅读原文查看完整内容

  1. FlagAI飞智:AI基础模型开源项目,支持一键调用OPT等模型

  2. 北约集团研究报告:知识表示与推理-技术现状和未来机遇综述

  3. 2021年中国深度学习软件框架市场研究报告

  4. CVPR2022微软《视觉语言预训练进展》教程


查看预训练、强化学习等领域周刊内容,欢迎点击阅读原文

周刊线索征集和合作,请联系:editor@baai.ac.cn

智源社区周刊:Gary Marcus谈大模型研究可借鉴的三个因素;OpenAI提出视频预训练模型VPT,可玩MC游戏...相关推荐

  1. 《智源社区周刊:预训练模型》第1期:吴恩达团队医疗影像预训练、快手落地万亿参数模型...

    超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了<智源社区周刊:预训练模型>,从研究动态.行业资讯.热点讨论等几个维度推荐最近 ...

  2. 《智源社区周刊:预训练模型》第3期:智源x清华开源万亿AI模型基石FastMoE、英国机构发起世界最大图灵测试...

    超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第3期<智源社区周刊:预训练模型>,从论文推荐.研究动态.热点讨论等几个维度推 ...

  3. 《智源社区周刊:预训练模型》第2期:Facebook用“预微调”改进预训练性能、再议GPT-3中的东方主义偏见...

    超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第2期<智源社区周刊:预训练模型>,从论文推荐.研究动态.热点讨论等几个维度推 ...

  4. 智源社区周刊:LeCun等撰文回应Marcus;朱松纯团队价值对齐工作登Science官网头条;马毅沈向洋等公开AI智能综述论文...

    汇聚每周AI观点.研究和各类资源,不错过真知灼见和重要资讯!欢迎扫码,关注并订阅智源社区AI周刊. 观点 Yann LeCun等撰文回应Marcus:当前对符号推理的争论都是边缘问题 [摘编]深度学习 ...

  5. 智源社区周刊No.94:谷歌发布PaLM-SayCan,用大模型解析机器人指令;Dwork谈算法公平性;KDD2022奖项出炉...

    汇聚每周AI观点.研究和各类资源,不错过真知灼见和重要资讯!欢迎扫码,关注并订阅智源社区AI周刊. 编辑精选 谷歌发布PaLM-SayCan:大模型引导机器人理解人类的指令并执行任务 查看详情 在过去 ...

  6. 智源社区周刊:AlphaFold蛋白质宇宙扩展到2亿结构;对话清华代季峰:自动驾驶感知新时代...

    汇聚每周AI观点.研究和各类资源,不错过真知灼见和重要资讯!欢迎扫码,关注并订阅智源社区AI周刊. 编辑精选 AlphaFold揭示蛋白质结构宇宙:已从100万扩展到超过2亿个结构 查看详情 7月29 ...

  7. 智源社区周刊:Yann LeCun撰文预测自主智能发展;NYU学者认为通用人工智能的讨论没有意义...

    汇聚每周必看AI观点.研究和各类资源,不错过一条重要资讯!欢迎扫码订阅,获取邮件推送.点击阅读原文,访问完整文章.资源及观看链接. 观点 "没有人工智能系统能够从头开始设计自己,尽管有些系统 ...

  8. 字节加入“大模型之战”;网易已自研数十个超大规模预训练模型;英伟达2023财年净利润同比下滑55%丨每日大事件...

    ‍ ‍数据智能产业创新服务媒体 --聚焦数智 · 改变商业 企业动态 网易:2022年总营收965亿元 2月23日,网易发布2022年第四季度及全年财报.财报显示,四季度营收254亿元,同比增长4%, ...

  9. 智源社区AI周刊No.102:Stable Diffusion背后公司再融1亿美元;体外人脑细胞五分钟学会打乒乓,登Neuron...

    汇聚每周AI观点.研究和各类资源,不错过真知灼见和重要资讯!欢迎扫码,关注并订阅智源社区AI周刊. 编辑精选 1. Stable Diffusion背后公司再融1亿美金:独辟蹊径,开源和社区驱动的AI ...

  10. 智源社区AI周刊No.99:OpenAI发布接近人类水平的语音识别系统Whisper;马毅:智能的计算和科学研究将融合...

    汇聚每周AI观点.研究和各类资源,不错过真知灼见和重要资讯!欢迎扫码,关注并订阅智源社区AI周刊. 编辑精选 1. UC伯克利马毅:智能的计算和科学研究将能够很快融合 查看详情 近日,智源社区举行&q ...

最新文章

  1. android中方法调用super(..)的相关知识
  2. 如何写一个通用的README规范
  3. 两道统计题(两次检测呈阳性,连续抛硬币)
  4. Java常见内存溢出异常分析
  5. 社会学专业喜欢计算机怎么办,考研困惑我是计算机专业的学生可是我喜欢文学想考河北师范大学的研究 爱问知识人...
  6. 顶峰Android手机视频转换器,顶峰3GP手机视频转换器
  7. 金计算机一级,计算机一级B
  8. 全志A33-linux内核early_printk分析及使用
  9. 并查集——程序自动分析(洛谷 P1955)
  10. validatebox自定义验证规则以及使用
  11. 小学计算机知识点,小学信息技术单元知识点目录介绍
  12. 2.开发Mip组件的第一个demo(点击关闭按钮,关闭外层dom)
  13. 天体物理科研作图格式-要求-plot_example.py
  14. cad线性标注命令_CAD线性标注快捷键是什么,怎么使用
  15. 程序员的第一款 Hello World
  16. Arduino开发ESP8266之ADS1115模数转换
  17. 应急响应-文件痕迹排查
  18. C++实现复杂链表的复制
  19. 时间、空间、对象 海量极速多维检索 - 阿里云RDS PostgreSQL最佳实践
  20. HTML 直播 RTMP流实时播放

热门文章

  1. Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
  2. Latex页眉三种形式设置
  3. 2016秋招面经(蘑菇街+BT+网易杭研+CVTE+唯品会)
  4. 《日瓦戈医生》读后感
  5. Origin的基础实验数据处理
  6. 阿里巴巴高德地图首席科学家任小枫:高精算法推动高精地图落地
  7. ASP.NET Core 数据保护(Data Protection)【上】
  8. 2021年了,微信公众号还有前途吗?
  9. 共享充电宝:涨价、上市、合并,“剩”者该如何破局?
  10. web前端 第一次作业