【GPT-3】除了缺少点创意,GPT-3写出了及格的大学毕业论文,只需20分钟
机器之心报道
编辑:陈萍、杜伟
GPT-3 写的论文及格了吗?教育资源网站 EduRef 对此进行了一项测试,效果还行,及格水平。
2020 年 5 月,OpenAI 推出了具有 1750 亿参数的史上最大 AI 模型 GPT-3,该模型不仅可以更好地答题、翻译、写文章,还带有一些数学计算的能力。自推出以来,该模型就开始在不同的领域大显身手,如基于问题的搜索引擎、与历史人物对话、基于文本描述生成代码以及绘图和图像补全等等。
但 GPT-3 的应用之路远未结束…
近日,教育资源网站 EduRef 进行了一项测试,他们找了一组教授创建了一个写作提示,然后让应届毕业生和本科生以及 GPT-3 同时根据该提示写作,最后教授组对匿名提交的作文打分,并对作者进行追踪调查。那么,究竟结果如何呢?GPT-3 的分数能够超过人类作者吗?未必!
GPT-3 通过了大部分课程的写作测试
常言道:「评级为 C 就可以毕业(C’s get degrees)」。AI 远远达不到完美,GPT-3 的写作水平大概相当于自由写作者(freelance writer)。
结果显示,在 COVID-19 疫苗效力的研究方法论文写作上,人类作者可以得到 B 或者 D,而 GPT-3 往往只能得到 C。在美国历史类的测试中,人类作者可以在美国例外主义论文中得到 B 或者 C+,而 GPT-3 只能得到 B-。最后,在法学课上的政策函写作中,GPT-3 得到了 B-,而 3 个学生中只有 1 个能够得到高分。
下图为人类作者与 GPT-3 在不同学科写作中的得分情况:
由此可见,GPT-3 的写作技能主要体现在技术类文档中。在创意写作课程中的地点记叙文(place narrative)写作中,GPT-3 仅得到了 F,没有通过测试。作为对比,自由写作者得到了 A、B + 和 D+。尽管在创意写作教授的眼中,GPT-3 失败了,但自然语言生成(NLG)软件依然可以用于编写各类内容,包括一部几乎获奖的小说《The Day a Computer Writes a Novel》。先前的成功也预示着以后的失败,GPT-3 或许只需要一些调整即可以成为一名合格的创意作家。总的来说,AI 几乎通过了所有的课程写作测试。
GPT-3 20 分钟完成论文
虽然每个教授打分都不一样,但该评分小组包括两名博士和一名医学硕士。他们总共有超过 55 年的高中和各种大学水平的教学经验。写作者包括应届毕业生和本科生,其中一些人在他们的研究领域写了提示。平均来说,他们需要 3 天时间完成任务。
对于绝大多数学生来说,3 天内完成大学论文似乎是很难的事情,主要原因在于时间太短,但是 GPT-3 在 20 分钟内就完成了这个任务。GPT-3 利用深度学习产生类似人类的文本,每项任务花费 3 到 20 分钟完成,并且用最长的时间来编写创造性的写作叙述。为了避免人为干扰,GPT-3 只对输出长度和重复文本进行了轻微的编辑,其生成的内容、真实信息和语法都没有受到影响。
GPT-3 生成的美国历史类作文示例如下:
GPT-3 可生成类似人类写作的内容
即使没有人为干扰,GPT-3 的任务也或多或少地收到了与人类作者相同的反馈。49.2% 的评论涉及语法和句法,26.2% 的评论涉及重点和细节,语气与行文结构等也被提及,但分别只有 12.3% 和 10.8%。这与人类作家收到的评论比例几乎相同,近 50% 的评论与语法和句法有关,25.4% 的评论与焦点和细节有关。超过 13% 的评论是关于人类专业知识,而 10.4% 的评论是关于整体风格等。
人类作者与 GPT-3 的写作结果收到的评论反馈情况:
尽管收到了同样风格的评论,GPT-3 生成的内容与人类作者并不那么相似。以排名靠前的两个单词组合为例,GPT-3 和人类作者只分享了排名靠前的组合:「of the」。「People who」、「it is」和「those who」常被 GPT-3 使用,而人类作者经常使用的是「to the」、「in the」和「on the」。总体来说,这些单词是在英语中经常使用的,组合上的差异显示出 AI 和人类在写作结构上的一些差异。
人类作者与 GPT-3 在写作用词上的差异分析:
考虑到 GPT-3 超高的论文得分,搭配统计数据的差异表明,人类作者比 AI 产生的独特内容明显更多。
尽管 GPT-3 具有出色的产出,但其生成的论文在短期内还无法独立获得大学学位。当与人类作者竞争时,GPT-3 获得了一些及格分数,但在创意写作方面有所欠缺。尽管它在众多领域的成功为 AI 的未来带来了希望,但对大学教授来说,AI 依然存在不足。
原文链接:https://www.eduref.net/features/what-grades-can-ai-get-in-college/
说个正事哈
由于微信平台算法改版,公号内容将不再以时间排序展示,如果大家想第一时间看到我们的推送,强烈建议星标我们和给我们多点点【在看】。星标具体步骤为:
(1)点击页面最上方“深度学习自然语言处理”,进入公众号主页。
(2)点击右上角的小点点,在弹出页面点击“设为星标”,就可以啦。
感谢支持,比心。
投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
整理不易,还望给个在看!
【GPT-3】除了缺少点创意,GPT-3写出了及格的大学毕业论文,只需20分钟相关推荐
- 除了缺少点创意,GPT-3写出了及格的大学毕业论文,只需20分钟
视学算法报道 转载自:机器之心 编辑:陈萍.杜伟 GPT-3 写的论文及格了吗?教育资源网站 EduRef 对此进行了一项测试,效果还行,及格水平. 2020 年 5 月,OpenAI 推出了具有 1 ...
- 除了缺点创意,GPT-3写出了及格大学毕业论文,只需20分钟
GPT-3 写的论文及格了吗?教育资源网站 EduRef 对此进行了一项测试,效果还行,及格水平. 2020 年 5 月,OpenAI 推出了具有 1750 亿参数的史上最大 AI 模型GPT-3,该 ...
- GPT转MBR怎么转?GPT转MBR完整图文教程
GPT转MBR分区怎么转?现在很多笔记本的硬盘分区都是GPT模式,如果想装XP的话,那只能将GPT磁盘转换成MBR磁盘分区才行.接下来,简单说说如何将GPT分区转成MBR分区! 如果本身电脑有两个硬盘 ...
- gptuefi优势_UEFI+GPT的区别,有啥不同?写的很详细易懂
搜索相关知识时看到的好文章,由于百度空间挂了,在此注明出处作者QQ:407647406以表谢意,原地址戳我 其实楼主早就知道UEFI,曾经也一直关注并试图了解,无奈限于当时国内有关资料匮乏,实在找不到 ...
- linux磁盘转gpt,Linux中磁盘如何转换GPT格式
Fdisk命令虽然很交互,操作也方便,但是对于大于2T的磁盘无法操作, 假如我们想用大于2T的磁盘怎么办?可以把磁盘转化为GPT格式. GPT格式的磁盘相当于原来MBR磁盘中原来保留4个partiti ...
- w ndows只能安装到gpt磁盘,Windows 只能安装到 GPT 磁盘什么意思
Windows 10系统成为了智能手机.PC.平板.Xbox One.物联网和其他各种办公设备的心脏,使设备之间提供无缝的操作体验.在安装Windows10 64位的时候,出错,提示"Win ...
- 文案撰写技巧,4招写出高转化的创意文案!
文案撰写技巧,4招写出高转化的创意文案! 阅读本文,你会get以下标题文案写作技能:损失规避心态.反差冲击.目标人物描述.行业典型代表. ▌现象与本质 在<神探夏洛克>中有一句经典台词:Y ...
- GPT专业应用:如何让GPT策划方案
身为一名职场打工人,或多或少会面临需要写策划案的难题. 不管是策划一场线下活动,还是策划业务发展的方向: 甚至到生活中还需要策划婚礼,策划房屋装修,策划和朋友的聚会等等.那么如何快速积累经验,找准方向 ...
- gpt efi win7 linux,在EFI+GPT硬盘上利用grub2实现Linux/Win7/win8等多重启动
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 接上文啊,本人电脑,Lenovo Y410P的笔记本,主板UEFI+GPT硬盘,预装的Windows 8,至于如何安装Linux,请参见空间其他文章,里面 ...
- 联想服务器gpt如何修复,电脑GUID格式GPT硬盘的引导如何修复|GUID的GPT硬盘引导损坏了怎么办-系统城...
很多用户知道在传统的MBR格式的硬盘引导损坏的情况下,应该如何进行修复,但是大部分用户却不知道GUID格式的引导损坏的话,应该怎么修复.因此,在下面的内容中,系统城小编要和大家介绍电脑GUID格式 ...
最新文章
- [翻译完成] Pi+Raspbian+CGMiner+TightVNC+WIFI五合一矿机超级教程
- MVC在基控制器中实现处理Session的逻辑
- 将派生类指针赋值给基类的指针
- html5爆款游戏,精华盘点:2018年的十款“爆款”独立游戏,你都玩过吗?
- [Swift]LeetCode853. 车队 | Car Fleet
- 数据结构实验之栈八:栈的基本操作
- 字典(dict)按键(key)和值(value)排序即item()的常用方式
- 01:与指定数字相同的数的个数【一维数组】
- 各种水龙头拆卸图解_[各种水龙头拆卸图解]水龙头漏水怎么办
- ubuntu16.04 安装python3.6
- 读取、修改、保存图像
- 下载MySQL安装包
- 串口屏和并口屏的区别?
- 滚石特写: 沉默7年后, Magic Leap用魔幻现实主义式科技重新定义了自己
- 明日复明日,明日何其多,我生待明日,万事成蹉跎(分享)
- 【技术讨论】从弹弹堂说起,如何用2D物理引擎编写一个游戏lt;一gt;2011-11-05 10:36
- (4.6.14)android 插桩基本概念plugging or Swap
- oracle中的取余函数MOD
- c语言 英语试卷,英语听力试题及答案
- Spring项目接口偶尔报404 Not Found