GPT-3不算机器学习算法创新?2020年AI顶会最佳论文榜单引发激烈争论
贾浩楠 发自 凹非寺
量子位 报道 | 公众号 QbitAI
2020年的最后一天,来回顾一下今年所有AI顶会的最佳论文吧!
今年,顶会的最佳论文,既有ECCV的“2D变3D”的NeRF,当然,也有今年引起轰动的GPT-3,它来自NeurIPS 2020。
而ICRA、ACL、AAAI等等,顶会,把最佳论文给了较为基础的理论研究。
Reddit上,有网友整理汇总了今年AI顶会的最佳论文:
完整总结:
https://www.reddit.com/r/MachineLearning/comments/knai5q/r_a_list_of_best_papers_from_top_ai_conferences/
重要论文研究解析:
https://crossminds.ai/c/conference/
具体这些论文都讲了些什么呢?
我们帮你整理了所有论文总结和要点,让你一文看尽。
今年都有哪些最佳论文
AAAI 2020
最佳论文:WinoGrande: An Adversarial Winograd Schema Challenge at Scale
本文引入了WinoGrande,这是一个包含44k个问题的大规模数据集,其灵感来自于最初的WSC设计,但进行了调整以提高数据集的规模和硬度。
要解决的问题是:神经语言模型的进展已经在WSC(2011年提出)的变体上达到了90%左右的准确率。这就提出了一个重要的问题,这些模型是否已经真正获得了强大的常识能力?或者它们是否依赖于数据集中的虚假偏差,导致高估了机器常识的真实能力?
WinoGrande上最好的最先进方法实现了59.4-79.1%,比人类94.0%的性能低15-35%,这取决于允许的训练数据量。
结果具有双重意义:一方面,证明了WinoGrande作为转移学习资源时的有效性。另一方面,它们提出了一个问题:之前很可能高估了机器常识的真实能力。
CVPR 2020
最佳论文:Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild
这就是我们熟知的NerRF的户外版。
这是一种从原始单视角图像学习3D可变形物体类别的方法,无需外部监督。
该方法基于一个自动编码器,该编码器将每个输入图像分为深度、反射率、视角和照明度。
此外,通过预测对称性概率图,与模型的其他组件一起端到端学习,来模拟可能但不一定是对称的物体。
实验结果表明,这种方法可以非常准确地从单视角图像中恢复人脸、猫脸和汽车的3D形状,而不需要任何监督或预先的形状模型。
ACL 2020
最佳论文:Beyond Accuracy: Behavioral Testing of NLP Models with CheckList
受软件工程中行为测试原则的启发,本文提出CheckList,一种用于测试NLP模型的任务无关性方法。
CheckList包括一个通用语言能力和测试类型的矩阵,以及一个软件工具,以快速生成大量和多样化的测试案例。
研究人员用三个任务的测试来说明CheckList的实用性,和识别商业和最先进模型中的关键故障。
在一项用户研究中,一个负责商业情感分析模型的团队在一个经过广泛测试的模型中发现了新的、可操作的错误。
在用户实际使用CheckList的过程中,NLP从业者创建的测试数量是没有使用CheckList的用户的两倍,发现的bug数量几乎是没有使用CheckList的用户的三倍。
ICML 2020
ICML 2020 今年评选出了两篇最佳论文,分别是关于对称元素训练集和成像问题算法的。
On Learning Sets of Symmetric Elements
本文中,提出了一种学习一般对称元素集的原则性方法。这是一种从无序集学习的基本方法。
首先描述了线性层的空间,这些线性层对元素重排序和元素的固有对称性(如图像中的平移)都是等价的。
由这些层组成的网络,称为对称元素的深集(Deep Sets for Symmetric Elements,DSS)层,是不变函数和等价函数的通用近似器。
在一系列的图像、图形和点云的实验中表明,DSS比现有的学习架构有所改进。
Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems
Plug-and-Play (PnP)是一个非凸框架,它将近端算法,例如乘法器的交替方向法(ADMM),与先进的去噪器前导相结合。
PnP方法的一个关键问题是需要手动调整参数。
本文提出了一种免调整的PnP近端算法,它可以自动确定内部参数,包括惩罚参数、去噪强度和终止时间。
实验证明,学习到的策略可以针对不同的状态定制不同的参数,而且往往比现有的手工制作的标准更加高效和有效。
ECCV 2020
最佳论文:RAFT: Recurrent All-Pairs Field Transforms for Optical Flow
本文提出了RAFT,一种新的光流深度网络架构。
RAFT提取每个像素的特征,为所有像素对建立多尺度的4D相关卷,并通过对相关卷进行查找的循环单元迭代更新流场。
RAF在KITTI上,实现了5.10%的F1全部误差,比最好的公布结果(6.10%)减少了16%的误差。
在Sintel(最后一关)上,RAFT获得了2.855像素的端点误差,比最佳发表结果(4.098像素)减少了30%的误差。
此外,RAFT还具有很强的跨数据集泛化能力,以及在推理时间、训练速度和参数数量上的高效率。
ICRA 2020
最佳论文:Preference-Based Learning for Exoskeleton Gait Optimization
本文介绍了一种针对下半身外骨骼的个性化步态优化框架。当然也可以用于优化任何辅助性设备。
在基于偏好的交互式学习工作的基础上,提出了CoSpar算法。CoSpar试验之间会给出用户的偏好,并提出改进建议。
由于外骨骼行走是一种非直观的行为,用户可以比数字反馈更容易和可靠地提供偏好。
在实验中,CoSpar持续地找到了用户偏好的外骨骼行走步态参数,这表明它可以根据个人用户来调整和个性化外骨骼(或其他辅助设备)。
CoRL 2020
最佳论文:Learning Latent Representations to Influence Multi-Agent Interaction
受人类的启发,研究人员认识到机器人不需要明确地模拟另一个智能体将做出的每一个低级行动,相反,可以通过高级表示来捕获其他智能体的潜在策略。
所以,本文提出了一个基于强化学习的框架,用于学习代理政策的潜伏表征,其中小我代理识别其行为与其他代理的未来策略之间的关系。
然后,智能体利用这些潜伏动态来影响其他智能体,有针对性地引导他们走向适合共同适应的政策。
NeurIPS 2020
NeurIPS 2020的最佳论文,就是今年大热的GPT-3了:
Language Models are Few-Shot Learners
扩大语言模型的规模可以极大地提高任务无关性、少数例子的性能,有时甚至达到与之前最先进的微调方法的竞争力。
具体来说,研究人员训练了GPT-3,一个拥有1750亿个参数的自回归语言模型,比之前任何一个非稀疏语言模型多10倍,并测试了它在少数镜头环境下的性能。
对于所有任务,GPT-3的应用不需要任何梯度更新或微调,任务和少数镜头演示纯粹通过与模型的文本交互来指定。
GPT-3在许多NLP数据集上实现了强大的性能,包括翻译、问题回答和隐语任务,以及一些需要即时推理或领域适应的任务,如解扰词、在句子中使用一个新词或执行3位数运算。
2020年,机器学习没进展?
今年所有AI顶会的最佳论文盘点,一经发布在Reddit,就引起了激烈的争论。
有Reddit网友直接说,今年所有顶会的最佳论文,没有一篇能反映出通用机器学习的进步。
有网友甚至认为,AI顶会,评委们的评选标准,实在是不科学。
他认为,今年的这些论文,当然都是质量很高的论文,但是,除了GPT-3以外,其他文章都是应用类结果,不是真正的通用机器学习进展。
评委们的“品味”应该更高一点,最佳论文应该是结果能真正使用在后续研究中,而不是仅仅给人留下深刻印象。
而反对意见认为,评判一篇论文价值,要问的问题不是 “这是机器学习还是应用?”,而是 “这个特定的技巧有多广泛的适用性?”
这种观点认为,机器学习的根本是一种基本方法思路,由此发展出来的都是解决某一类问题的技巧。
具体到今年的这些最佳论文,真正的问题在于,所有的论文只是介绍了新的技巧。
用各种测试集上的结果来表明新方法有多少提升,但忽略了这些算法在实际问题上的适用范围。
所以,最佳论文的问题,还是出在了评判标准上。
激辩:GPT-3到底是不是机器学习算法创新?
在对顶会最佳论文激烈的讨论中,还出现了一种不寻常的观点。
人提出了GPT-3使用的大规模Transformer只能算是一种应用,并不是真正的机器学习算法创新。
这一观点立刻引来反驳。
Transformer是到处都在使用的通用机器学习模型,当然算机器学习范围。
这种观点中所说的到处,是指CV、NLP、计算积分的分析表达式等各个领域。
但是,有人指出,在工业界,极少应用大规模Transformer,因为工业模型太庞大,数据太复杂,算力根本跟不上。
所以,大规模Transformer要想应用在工业领域,还需要进一步优化结构,当然,还要更好更贵的卡。
怎样?你认为GPT-3算是算法创新吗?
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
AI落地最佳参考!
2020中国人工智能年度评选结果揭晓
12月16日,量子位MEET 2021智能未来大会现场,50大领航企业、10大明星创业公司、30大商业领军人物、10大最佳产品、10大最佳解决方案、5大社会责任榜样、5大最佳技术社区等年度奖项悉数颁出。
点击图片查看完整榜单:
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
GPT-3不算机器学习算法创新?2020年AI顶会最佳论文榜单引发激烈争论相关推荐
- 2020年ai顶会时间表_2020年企业采用AI
2020年ai顶会时间表 Editor's Note: AI is routinely cited as one of the biggest factors expected to disrupt ...
- BMVC 2020 各奖项公布!最佳论文可能就是你要的涨点神器
BMVC 2020 已经闭幕,官方公布了5篇获奖论文,每篇都值得关注,本文就带领大家看看这些获奖论文研究内容是什么. 01 最佳论文奖 Delving Deeper into Anti ...
- 机器学习算法易受攻击?阿里“安全基建”这样应对AI的不安全
出品 | AI科技大本营(ID:rgznai100) 数字基建的浪潮之下,诸多行业领域都在加速融合5G.大数据中心.AI等新技术,向数字化转型.近日,多位全国政协委员.院士和安全行业专家提出,应尽快出 ...
- ML/DL之预测分析类:利用机器学习算法进行预测分析的简介、分析、代码实现之详细攻略
ML/DL之预测分析类:利用机器学习算法进行预测分析的简介.分析.代码实现之详细攻略 目录 机器学习算法进行预测的简介 机器学习算法进行预测的分析 机器学习算法进行预测的代码实现 机器学习算法进行预测 ...
- CVPR2020最佳论文下载、解读历届(2000~2020) CVPR 最佳论文汇总
本文汇总了从 2000 ~ 2020年历届CVPR 会议最佳论文 ,附上作者和论文链接(论文题目含超链),部分含论文解读和代码.文末有最佳论文合集的 下载链接~ 值得注意的是:香港中文大学汤晓鸥教授. ...
- 超全!CS 顶会历届最佳论文大列表,机器学习、深度学习一应俱全!
点击上方"Datawhale",选择"星标"公众号 第一时间获取价值内容 工欲善其事必先利其器!今天给大家推荐一份非常棒的资源,该资源罗列收集了 CS 顶会历届 ...
- 华为digix算法大赛2020机器学习赛道-ctr预估初赛/决赛rank1
华为digix算法大赛2020机器学习赛道-ctr预估初赛/决赛rank1 写在前面 1.比赛成绩 2.基础方案 2.1.赛题理解 2.2.特征工程 2.3.算法实现 3.冷启动探索 3.1.数据分析 ...
- python 怎么算l2范数_数学推导+纯Python实现机器学习算法13:Lasso回归
版权说明:本公号转载文章旨在学习交流,不用于任何商业用途,版权归原作者所有,如有异议,敬请后台联络我们,议定合作或删除,我们将第一时间按版权法规定妥善处理,非常感谢! Python机器学习算法实现 A ...
- 【2020秋招】提前批陌陌机器学习算法工程师面试经验
铺垫 时间:9.2日中午1点钟 地点:西工大翱翔会议中心(一开始去成翱翔训练馆了= =,绕着西工大走了一大圈) 形式:现场面试,如果顺利的话,会有2-3轮技术面试,1轮HR面试,HR小哥哥不错. 面试 ...
最新文章
- Matlab编程与数据类型 -- 函数M文件的调用
- java中static作用详解
- UVa11107 - Life Forms(后缀数组)
- Spring Boot——基于AOP的HTTP操作日志解决方案
- powermock模拟对象_使用PowerMock测试对象的内部状态
- 2019.8.21页面功能的实现
- logistics模型的训练
- nn.softmax的参数使用和数据使用
- integer是值传递还是引用传递_188W+程序员都关注的问题:Java到底是值传递还是引用传递?
- 机器学习基础:朴素贝叶斯(Machine Learning Fundamentals: Naive Bayes)
- 机器学习笔记(二十):逻辑回归(2)
- 复旦计算机学院软件工程,2019年复旦961软件工程专硕考研初试363+复试经验分享...
- iOS逆向(八)逆向工具 otool 介绍
- PLC开发没有前景想转行嵌入式,找个培训机构还是自学?
- linux清理根目录空间,如何快速清理Linux磁盘空间
- 《opencv学习笔记》-- 感兴趣区域(ROI)、图像混合
- 解决SQL Server数据库维护计划失败的问题
- 萧红二不二?人是在最日常的生活中流逝的……你窗边革命洪流过去的时候,可能你正在剥一颗鸡蛋
- springBoot使用RestTemplate报错:No instance available for xxx.xxx.xxx.xxx
- 2021-09-28 网安实验-取证分析-Pcap流量包取证