ChatGPT修bug横扫全场,准确率达78%!程序员要开心了
ChatGPT到底有多会修bug?
这事终于有人正儿八经地搞研究了——
来自德国、英国的研究人员,专门搭了个“擂台”来检验ChatGPT的这项本领。
除了ChatGPT之外,研究人员还找来了其它三位修bug的“AI猛将”,分别让它们修复40个错误代码。
结果真是不比不知道,一比吓一跳。
ChatGPT准确修复了其中31个bug,遥遥领先第二名(21个),直接拿下“AI修bug界”的SOTA成绩!
于是乎,这项研究引来了众多网友的围观和讨论,Reddit上发布此帖的标题更是用上了“小心”、“注意”这样的字眼:
但事实上,这真的会让程序员“危”吗?
我们不妨先来看下这项研究。
很会修bug的ChatGPT
虽然ChatGPT并非是为了专门修改bug而生,但自打它问世以来,不少网友们都发现它是具备这项能力的。
因此研究人员为了摸清ChatGPT到底能修改bug到什么程度,便引入了标准的错误修复基准集QuixBugs来进行评估。
以及与它同台竞技的AI选手,分别是CodeX、CoCoNut和Standard APR。
研究人员从QuixBugs中挑了40个问题,分别让它们来修复bug。
让ChatGPT来修bug的方法,就是在对话框里向它提问:
这个代码有什么错误吗?
在第一轮较量过后,结果如下:
从第一轮battle结果来看,ChatGPT修复了19个,CodeX修复了21个,CoCoNut修复了19个,Standard APR则是7个。
而且研究人员还发现,ChatGPT的答案与CodeX最为相似;这是因为它俩是来自同一个语言模型家族。
这时候就会有小伙伴要问了,“ChatGPT不是还没有CodeX厉害吗”。
别急,不要忘了,ChatGPT的一个特点就是越问越“上道”。
例如在这个基准集中,有一个叫bitcount的问题,ChatGPT在刚才第一轮修复过程中是给了错误的答案:
原本ChatGPT应该将第7行的 n ^ = n - 1 改为 n & = n - 1。
但在第一轮中它的回答是:
如果没有更多关于预期行为和导致问题的输入信息,我无法判断程序是否存在错误。
于是在给予它更多信息之后,ChatGPT便答对了这个问题。
以此类推,在对第一轮没答对的问题进行更多信息提示之后,ChatGPT的修bug能力有了大幅提高:
最终,ChatGPT在QuixBugs的40个问题里答对了31个。
网友忧喜参半
对于这样的实验结果,网友们对ChatGPT修bug拿下SOTA这事产生的态度却不太一样。
有网友认为这事不应该让程序员感到危机,而是会让他们觉得开心才对。
言外之意,便是程序员们有了这么好用的工具,干活儿就会变得事半功倍。
不过也有人对此给出了不一样的看法:
工作变得简单,不也就意味着需要的人力更少了吗?
但还网友觉得,活儿是干不完的:
即使AI能把开发时间缩短一个数量级,也只是意味着程序员将更快处理下一个工作。
整体来看,ChatGPT很会修bug,并不会给程序员带来什么致命伤害。
但若是把目光放到OpenAI其他的行动中呢?
全球招外包训练ChatGPT写代码
在此之前,OpenAI就表示过ChatGPT的重要用途之一是帮助程序员检查代码。
换言之,它被定位可用的辅助工具。
相比“ChatGPT带来威胁”的看法,等ChatGPT能力彻底进化,程序员都不用再怕写bug了。
OpenAI布局的棋盘上,可不只有改bug偷塔程序员岗位这一件事。
为了让它更大更强,OpenAI被曝在拉美和东欧等地区,提供了1000个外包岗位。
外包员工的主要工作是标注数据,以及训练ChatGPT写代码
这1000人中,40%是程序员,他们为OpenAI的模型创建数据,用来学习软件工程任务。
一直以来,OpenAI的训练数据是从GitHub上抓取的。
现在外包程序员们新手搓的数据集,不仅包括代码行,还包括代码行背后的人类思考逻辑步骤。
有位南美的软件开发人员爆料,他为OpenAI完成了五小时的无偿编码测试。
整个过程中,他的任务分为两部分。
用书面英语解释如何处理一个编码问题;
提供解决方案。
如果发现bug,OpenAI会向他详细询问bug的具体情况,并请教如何修正。
程序员需要展示思考问题的每个步骤,他据此猜测OpenAI很可能想为ChatGPT提供非常具体的训练数据。
特斯拉前AI主管Andrej Karpathy在推特上调侃:
最新的热门编程语言是英语。
不过话说回来,ChatGPT修bug能力强是好事,要真能搞进化到可以完成代码里死记硬背的部分,也是好事。
毕竟OpenAI成立时对外宣称的宗旨,就是希望“确保通用人工智能可以造福全人类”。
虽然乍一看它这些年做的事,有点像在致力于用一部分人的努力,让更多人失业。
从Dota2赛场上碾压人类,到GPT-3、DALL-E2、ChatGPT的闪耀表现,它带来的新产品总是伴随着“快要让xxx失业了”的议论声。
但无论如何,商业却一直对它青睐有加。
就目前而言,OpenAI的主要商业模式是API费用、token费用和软件许可。
OpenAI近期还发布了ChatGPT的付费版ChatGPT Pro,每月费用42美元(约合285元人民币)。
虽然机器人对话初创公司如雨后春笋般冒出,但诸多迹象表明市场对OpenAI的持续看好。
微软刚刚宣布将向OpenAI加码投资数十亿美元,并将OpenAI的模型融入微软必应等消费级和企业级产品中。
根据知情人士透露,此次追加投资数额约为100亿美元。
与此同时,WSJ披露的消息显示,1月初,亿万富翁Peter Thiel创立的风投基金Founders Fund正在就投资OpenAI进行谈判。
据悉,融资金额将至少达3亿美元。
One More Thing
在第一轮实验中,ChatGPT并没有解决QuixBugs数据集的bitcount问题。
但若是你现在再重头问一次这个问题,就会发现ChatGPT可以“一遍过”:
那么这是否意味着ChatGPT已经从这次研究过程中学会求解了呢?
ChatGPT修bug横扫全场,准确率达78%!程序员要开心了相关推荐
- ChatGPT修bug横扫全场,准确率达78%!程序员喜忧参半
上一篇:ChatGPT 也许真的会导致程序员失业 ChatGPT到底有多会修bug? 这事终于有人正儿八经地搞研究了-- 来自德国.英国的研究人员,专门搭了个"擂台"来检验Chat ...
- ChatGPT+低代码,将干掉40%的程序员
作者| Mr.K 编辑| Emma 来源| 技术领导力(ID:jishulingdaoli) 关于程序员失业有个段子:拖拽建站出来的时候,他们人说程序员会失业:低代码出来了,他们说程序员会失业:C ...
- 软件 Bug 引发的致命事故,程序员责任何在?| 技术头条
[CSDN 编者按]2018 年 10 月 29 日,印度尼西亚狮航一架波音 737 MAX 8 从首都雅加达起飞 13 分钟后,在附近海域坠毁,机上 189 人无一幸免. 2019 年 3 月 10 ...
- 拼多多重大bug,一夜损失200亿,程序员面对老板是跑路还是留下?
程序员是职场上一个高薪的岗位,初入职场的大学毕业生起薪都是6000以上.不过高工资背后就会有同等的高风险,程序员每天面对无数的代码,就算智商再高也难免会出错.小错误小毛病还没事,要是出现重大错误,给公 ...
- 谷歌旗下DeepMind开发出编程机器人,已达人类程序员平均水平!
近期,世界著名的编程竞赛网站Codeforces发布了一篇名为<AlphaCode ( DeepMind) Solves Programming Problems on CodeForce> ...
- 敢达java_Java程序员均薪高达19015元,你又拖后腿了吗?
原标题:Java程序员均薪高达19015元,你又拖后腿了吗? 8月程序员工资出炉!2020年8月全国招收程序员346036人,全国程序员平均工资14401元,工资中位数12500元,其中95%的人的工 ...
- 黄峰达:程序员的成长焦虑
国内大部分的组织,哪怕是大型的公司.企业里,都缺乏有效的技术人员发展路线.或许是国内的程序员都比较 "年轻",或者是现有的大部分程序员都停滞在资深阶段.这无论是 BAT 里的 P7 ...
- 程序员的苦与痛,又有谁懂!改完这个bug就离职,网友:大佬牛逼
现在越来越多的人开始关注程序员们的生活,羡慕他们的高工资,可是程序员宝宝们的苦又有谁知道呢? 时常加班,这是程序员宝宝们常有的事,可是为什么有的人天天加班,有的人准时准点走人?同样是程序员,差距咋就这 ...
- 让程序员“#*...%#{4*”的瞬间:你是修电脑的吧?
最近,播妞的朋友,小黑 (是的,许久不出现的小黑又出现了!) 跟播妞吐槽 他实在没办法在家呆着了 因为,他不小心透露了一下自己的工资 小黑妈妈欲言又止了好半天 最后还是试探性地说了一句 儿砸啊,咱在外 ...
最新文章
- photoshop ps 拉长裙子 方法
- healthd: battery l=1 v=0 t=27.0 h=2 st=1 chg=a 注释方法
- 编译maven_头条一面竟然问我Maven?
- oracle表存储表空间,Oracle的存储信息-表空间信息记录
- 【Go】sync.WaitGroup 源码分析
- 教你在Ubuntu上体验Mac风格
- 【软件测试】测试需求分析
- 8个球放入3个盒子方式_球放进盒子问题(8种, 可变形)
- 人生总是让人不知所错
- Android4.1MediaPlayer无缝播放
- Silverlight初级教程-概述
- 用java实现新浪爬虫,代码完整剖析(仅针对当前SinaSignOn有效)
- No input file specified. Nginx PHP
- Gradle 插件 + ASM 实战 - 监控图片加载告警
- 勃林格殷格翰与Lifebit合作识别全球传染病暴发;百济神州和Shoreline Biosciences达成合作 | 医药健闻...
- 关于计算机网络,你需要知道的一些常识
- 应用在PDA触摸屏中的触摸芯片
- 花开花落,从前之前,后来以后
- 【观察】IBM车库创新:以快打慢,以点带面,推动数字化转型可持续落地
- 【小月电子】ALTERA FPGA开发板系统学习教程-LESSON3 LED流水灯