AI已经会刷LeetCode了
梦晨 发自 凹非寺
量子位 报道 | 公众号 QbitAI
你在面试中会遇到的那种算法题,AI已经能自己解决了,比如下面这道题:
对于一个记录论文引用次数的数组,每个元素都是非负整数。请写出函数h_index,输出这些论文的h指数,即至多有h篇文章被至少引用了h次。
例:
输入: [3, 0, 6, 1, 4]
输出: 3
AI给出的Python答案是这样的:
除了排序没用counts.sort(reverse = True)让人看着血压升高,算是顺利通过测试:
来自UC伯克利的研究团队,将上面这道题被归为“面试级”难度(看来国外程序员面试题有点简单)。
此外还有更简单的“入门级”和更难的“竞赛级”,总共5000道题的测试中,AI能做出15%。
另外有人声称,他专门用GPT-2训练了个专门做LeetCode的AI,能完成80%。
在刷LeetCode的你,是否在颤抖?
GPT-Neo赢过GPT-3
本研究使用的题目形式是自然语言题干,不同于以往研究常用的伪代码和代码之间翻译。
题目是从Codeforces、Kattis等刷题网站收集的10000道题,5000道用于训练,另外5000道作为测试集。
题干的平均长度为293.2个单词,在测试集中每道题平均有21.2个测试用例。
入门级难度的题不需要复杂算法,有1-2年经验的程序员都能回答的那种,有3639个。
面试级难度的题会涉及数据结构,比如树或者图,或需要修改常见的算法,有5000个。
剩下的是竞赛级难度,达到USACO、IOI和ACM等竞赛的水平。
研究人员分别训练了GPT-2的1亿参数版和15亿参数版、GPT-3以及“高仿版”GPT-Neo。
参数规模“只有”27亿的GPT-Neo和更低的GPT-2在测试用例通过率上,表现却比1750亿的GPT-3还要好。
在严格模式下,通过所有测试用例才算完全正确,成绩最好的GPT-Neo只通过了1.12%,不过这也有56道题了(反正比我强)。
GPT-Neo来自EleutherAI团队尝试复现GPT的开源项目。
虽然参数规模比GPT-3小得多,但训练数据包含了更多技术网站,比如Stack OverFlow和Stack Exchange等,这可能是它在代码生成上胜出的原因之一。
至于GPT-3为什么表现还不如GPT-2,有人猜测可能是它见过的文本太多,虽然擅长生成自然语言,但在逻辑和解题方面过拟合了。
如何评价AI“做题家”
论文一发出来,吃瓜群众脑洞大开。
如果我没通过面试但我写的算法通过了会怎么样?
有人回答他:
没关系,你还可以当你算法的助手。
还有很多人给出下一步建议,比如不用自回归的GPT,改用自编码语言模型会怎样?比如CodeTrans。
或者,再用一个GPT专门生成自己回答不出来的问题。
△矛盾相争是吧
乐观的人认为这是解放了人的创造力,未来编程是关于写更少的代码,做更多的架构、工程。
有人畅想,只需要描述需求就能生成代码可太爽了。
嗨IDE,用我的数据库做一个JavaScript的增查改删,要带测试。
△Ruby on Rails直呼内行
悲观的人却认为,将来有一天,人类程序员只能做做维护工作和评审机器生成的代码了。
面对AI“做题家”,你怕了吗?
论文地址:
https://arxiv.org/abs/2105.09938
数据集地址:
https://github.com/hendrycks/apps
自动刷LeetCode项目:
https://github.com/gagan3012/project-code-py
参考资料:
[1]https://twitter.com/DanHendrycks/status/1395536919774121984
AI已经会刷LeetCode了相关推荐
- 惊了,AI已经学会刷LeetCode了!
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 梦晨 发自 凹非寺 量子位 报道 | 公众号 QbitAI 你在面试 ...
- 知乎高赞:985计算机视觉毕业后找不到工作怎么办?怒刷leetcode,还是另寻他路?
[导读]985研究生,学计算机视觉,出来后找不到工作?新智元带你看看这个70万浏览量问题下的答案干货:找工作难,是因为前两年AI领域泡沫太大.然而,真正的人才什么时候都紧缺,搞扎实自己的基本功比什么都 ...
- 【算法】吴忠强:刷LeetCode的正确姿势!
作者:吴忠强,东北大学,Datawhale成员 写在前面 最近面试中做算法题,受了打击,和我之前准备的很不一样.这篇文章通过笔试实战经验复盘我在刷LeetCode的一些误区和今后对策,供大家参考备战秋 ...
- remoteapp提示找不到远程计算机_知乎高赞:985 计算机视觉毕业后找不到工作怎么办?怒刷 leetcode,还是另寻他路?...
(给算法爱好者加星标,修炼编程内功) 来源:新智元 [新智元导读]985研究生,学计算机视觉,出来后找不到工作?本文带你看看这个70万浏览量问题下的答案干货:找工作难,是因为前两年AI领域泡沫太大.然 ...
- 知乎高赞:985 计算机视觉毕业后找不到工作怎么办?怒刷 leetcode,还是另寻他路?...
点击上方蓝色小字,关注"涛哥聊Python" 重磅干货,第一时间送达 转自:新智元 [导读]:985研究生,学计算机视觉,出来后找不到工作?本文带你看看这个70万浏览量问题下的答案 ...
- 吴忠强:刷LeetCode的正确姿势!
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:吴忠强,东北大学,Datawhale成员 写在前面 最近面试中做算 ...
- 在IDE中刷LeetCode,编码调试一体化,刷题效率直线up!
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI 还在为刷 ...
- 【前端来刷LeetCode】两数之和与两数相加
大部分玩前端的小伙伴,在算法上都相对要薄弱些,毕竟调样式.调兼容就够掉头发的了,哪还有多余的头发再去折腾. 确实在前端中需要使用到算法的地方是比较少,但若要往高级方向发展,算法的基本功就非常重要啦.对 ...
- python刷leetcode_零基础python刷leetcode -- 3. Longest Substring Without Repeating Characters
算法很重要,但是每天也需要学学python,于是就想用python刷leetcode 的算法题,和我一起开始零基础python刷leetcode之旅吧.如有不对的地方,希望指正,万分感谢~~ 题目 最 ...
最新文章
- 解密Elasticsearch技术,腾讯开源的万亿级分布式搜索分析引擎
- 超简单的Oracle 数据库安装教程
- 阿里2500万美元战略投资“神工007”,天猫全面布局建材家居新零售
- mysql command line client闪一下消失
- java collections_扫盲java.util.Collections工具包,学习排序、二分、洗牌、旋转算法
- GoLang语言多版本管理工具--GVM入门介绍
- php 提取二维数组的key,PHP 获取二维数组中某个key的集合
- 微信小程序使用腾讯地图
- 按键精灵通过句柄获取窗口坐标_按键精灵 句柄 获得句柄 控制windows窗口 后台...
- 淘宝小程序开发注意点
- 计算机桌面声音图标,win7桌面右下角的小喇叭音量图标不见了怎么办?
- [codevs1746][NOI2002] 贪吃的九头龙 树形DP
- 正厚软件 | 为什么要转行IT?
- android使用Vitamio实现视频播放大小屏流畅切换
- OS学习笔记-21(清华大学慕课)文件系统
- 自定义注解,实现jpa查询,使用起来很方便,记录一下
- 多道批处理操作系统和分时操作系统的概念
- Evernote和有道云笔记的比较
- 无胁科技-TVD每日漏洞情报-2022-9-26
- 管理层必备:如何激励一个团队的成员