GPT-3: 最强人工智能？

当未来有一天，只要我们头脑中有个想法，不需要懂得编程，也不需要聘请开发人员，更不需要等待短则几个星期，长则几年的交付，通过人工智能可以快速帮把我们的想法变成代码，并发布到云平台上。一个APP或者一个游戏，从一个想法到上线运行只需要一个人几天时间就可以全部搞定，这是不是听起来太点天方夜谭？在2017年的时候，一些研究人员的预测，最快在2040年我们或许会开发出一个能进行自动编程的AI系统。可是时间刚刚过了3年多，到了2020年7月，GPT-3就横空出世。它可以根据简短的描述生成可执行的代码，不仅可以生成前端的UI，还可以生成可运行的后端代码和脚本，并且这个过程不需要额外的训练。除此之外，GPT-3其实更擅长的是语言相关的任务，它可以根据我们的提示完成一篇文章，可以做诗，他还会创作音乐甚至生成图像。有新闻甚至评论说，GPT-3的发布可能是2020年最重要的新闻事件之一；想想在2020年都发生了多少重大的事件，而GPT-3的居然能在这些事件里面排上号！

GPT-3的历史

那么GPT-3是什么东西，为什么会这么神奇，首先让我们来回顾一下GPT-3的历史。

GPT全名叫Generative Pre-Trained Transformer，从名字来看这是一套人工智能的生成网络模型。生成网络的意思是这个模型是用来生成新的内容，可以是文字，图片，音乐，也可以是一段程序，一个功能或者数据分析结果。GPT-3则是OpenAI公司开发的一个用于语言处理的人工智能的模型，这家公司2015年在美国旧金山创立，当初最著名的投资人就是现在如日中天的，特斯拉和SpaceX的CEO埃隆马斯克。不过在2018年的时候，马斯克宣布退出（推特）OpenAI，至于退出原因，马斯克说：斯拉的AutoPilot与OpenAI有一些竞争关系，并且我不同意OpenAI团队想要做的事情。几个问题合起来，分道扬镳是更好的选择”。在2019年，微软投资OpenAI，这个初创公司从此不再差钱儿，有了微软的加入，OpenAI还可以使用微软的Azure云计算平台。比如这次为了GPT-3的训练，微软调用了1w块GPU和大量的超级计算机来进行计算。

GPT-3模型介绍

最开始的GPT一代相对训练数据集比较小，它仅在几千本书和一台8 GPU机器上进行了培训。GPT-2则极大地扩展了训练的范围，它抓取了国外著名的论坛Reddit上3星以上的帖子作为训练数据，这样GPT-2的训练数据较前一个版本多了至少10倍。虽然这个该数据集相对还是有限的，但是已经有惊人的效果。比如2019年2月份OpenAI展示了一个用GPT-2生成文本的模型，用户只需要输入一段话，这个模型就能将这段话引申成一个新闻，这个新闻足以达到以假乱真的程度。这个引起了广泛的关注，当然也有很多人反对。反对的声音主要是担心OpenAI的这个模型被不怀好意的人用来生成假新闻，可以想象，有了这个模型的帮助，一个人在短时间内可以根据自己的意愿生成很多的虚假新闻，瞬间fake news的潮水就能淹没互联网。OpenAI因此也宣布这项技术太过于危险，并停止公开用于生成文本的模型。但是OpenAI并没有停止他们的脚步，2020年7月又向一部分AI的研究人员开放了他们最新的GPT-3的beta测试版。在规模方面，GPT模型再次大幅扩展，达到了1,750亿个内部节点，而GPT-2仅为15亿，是后者规模的116倍。GPT-3用了500G的书，文章和wiki进行训练，单词数量超过一万亿个单词，这是一个很惊人的数据量。这个模型看过的书比我们任何人看过的书都多得多。而这么大规模训练的结果是，参与测试的研究人员在人使用GPT-3后，几乎都是惊叹于这个网络模型的强大。GPT-3惊人的能力来自于其海量的学习，将有监督的学习与无监督的结合，GPT-3采用最近比较流行的transformer模型。将采集到的文本里面的单词或短语随机删除，模型使用上下文试图填充删掉的单词或短语，通过这种训练方式就不需要人工最海量的数据进行训练，这样才使得GPT-3的大规模训练变得可能。

GPT-3的能力

编程只是GPT-3众多应用中的一个：就像GPT-2，GPT-3擅长处理语言相关的任务，只需向它提供一段简单描述，说明想生成的内容。 GPT-3可以帮你写一篇文章或者新闻，我们甚至还可以指导它编写诗歌和音乐。因为诗歌，音乐和文章类似，是有结构，上下文关联，有特定格式的符号的组合。

有一篇文章这样介绍GPT3，说它是比特币之后最重要的技术发明了，作者首先介绍了创造GPT-3的OpenAI公司，然后他又介绍了自己试验GPT-3的经历：他在一个论坛网站上用GPT-3创造的内容试图伪装成一个真正的人，他发帖，回帖，和其它人互动，最后取得了令人信服的结果，这个作者将GPT-3的机器人与自己本人在论坛中的表现进行了对比，结果有网友认为作者本人比GPT-3更像一个AI机器人，或许是因为作者本人的文风的问题。作者接着说，GPT3机器人在论坛中比较受欢迎，现在已经吸引了不少新的关注者。在这篇文章快结束的时候，作者还总结了一下GPT-3的使用感受，展望了一下未来这个技术的广阔应用。。。但是，最后文章的作者说：其实呢，我最近几年都没有在前面说的论坛上发表过任何内容，上面所有这些内容都是GPT-3自己编撰的，这篇文章的真正作者就是GPT3机器人本身。人类作者只是给了AI一些提示，GPT3于是就一本正经的胡说了一整篇文章，看来这个模型说胡话的能力也继承了互联网上各学派的真传。相信我，我看到这个这里的时候，心里和大家都是是一样的（WTF？？？）

我们可以看到，在很多情况下，甚至都不需要会编程，那些有机会测试GPT-3 Beta版的研究人员就可以使用这个模型生成可运行的代码，从页面上的按钮到table，甚至可以重新创建Google主页。

GPT除了可以编写代码，生成文本，它甚至还可以用来生成图像。这怎么做到的，GPT不是语言处理模型吗？研究人员通过对图片的像素序列抽取出来当做文本类似的符号，用GPT-3的模型进行训练，从而摇身一变成为图像生成器。实际上，GPT-3完成的如此出色，它的结果甚至可以媲美专门用于图像生成的对抗生成网络（英文缩写叫GAN）。可以预见，GPT-3以及以后将会出现的GPT-4，-5（及其后续产品）不仅是一个文本编码器，而且还将会是其它领域通用的编码器，从而拥有颠覆一个行业的可能。

人工智能对我们的影响

随着技术的进一步完善，我们可以想象未来初级程序开发人员也许就不那么吃香了，无代码和自动机器学习将替代很大一部分初级开发人员的工作。可以想象，随着人工智能的继续演化，人工智能将逐渐变成人类大脑的工具。就像物理世界的工具极大大提高了人类的体力上的能力。有了人工智能工具的帮助，个人在思维世界能达到的高度也可能极大的扩展，以前需要一个团队才能完成的工作量也许一个人就能轻松搞定。未来，老板们处于成本的考虑可能更愿意购买这些自动化工具而不是雇用昂贵的程序员，所以初级程序员的工作可能是在AI浪潮中率先受到冲击的职业；当然如果您是有丰富经验的资深程序员，特别是某个领域的专家，AI可能还暂时不会影响到您，甚至因为这些AI工具需要更资深的人去应用，训练和扩充，您可能还是这个浪潮中的受益者。

当然GPT-3的beta测试也发现了一些问题。比如一些测试人员抱怨GPT-3的执行效率并不高。还有现在GPT-3的发布只是以API的形式，意思就是说用户通过向OpenAI公司的服务器请求获取GPT-3的功能，而不能像其它许多模型一样公开了论文，或者开源了代码，任何人只要用心就能在自己的机器上创建这个模型。但是OpenAI可能处于竞争的考虑，或者冠冕堂皇的AI道德的问题，没有选择公开其模型。通过API调用的方式有个问题，就是用户所有的数据都需要发送给OpenAI公司，任何结果都是从OpenAI传回。只要愿意，OpenAI公司甚至美国政府都有可能审查，监听，截取，甚至篡改结果给特定公司或者特定用途。另外OpenAI还有权决定这种超级技术能力是否能提供给某些人，单位或者组织。那么问题在于，当一个公司拥有的技术能力超过成千上万的人，他来决定是否给某些人，单位和机构提供服务，这几乎就拥有了绝对的权利。我们知道绝对的权利催生绝对的腐败，这是人类社会至今无解的问题。

GPT-3的不足

GPT-3虽然能力强大，但远远不是一个完整的AI解决方案，它还是为了完成特定任务而生的模型，而不是一个通用的AI模型。另外GPT3模型没有理解语言意义的能力，那些产生出来的看起来相当自然的文字更多的是这个由于模型庞大的记忆，关联，处理能力可以发现语言上下文中，句子段落中细微的关联并应用到生成的结果中。这个AI系统产生的文章只是这个模型在读了亿万文本过后那些人类的文字投射在生成的文本中的影子。而生成的文本也是需要人类才能理解，文本因为人来才被赋予意义。这个过程就像夏天阳光直射水面，阳光倒影在墙上的波纹，看似绚丽多彩，变换多端，其实真正起作用的是那一片水的扰动。不管现在的人工智能模型体量多么庞大，数据多么惊人，但这个数据的海洋如果没有人类的智慧，这个模型只是一团永远沉寂的死水。而那些由GPT3生成的看似精妙的文字，也只能是没有灵魂的躯壳在智慧河边游走。

从现在来说，人工智能拥有自主意识，会控制和取代人类这种担忧还完全属于遥远的科幻范畴，但是作为一项强大的技术，类似GPT-3这类强大的人工智能工具，必定会对人类社会产生深远影响。由于工具解放了人类个体的生产力，拥有了技术和使用技术的知识以及使用技术的意愿，单个人能创造的东西比以往任何时候都要多得多，即使需要团队合作，技术的应用也会让团队倾向于更小，更高效，团队成员更志同道合。人工智能的应用，会让那些有先天优势拥有技术，受过良好教育以及有开拓眼光的人更加收益，而社会底层那些既无先天优势，又没有受过良好教育，也因为生活所迫眼光短浅的人更加不利。社会财富会越来越集中，当技术的应用使有钱人不在需要这么多底层的人来为他们服务的时候，这种分配不均会更加剧烈。富人越来越富，穷人越来越不被需要，最终底层人会被抛弃，仅仅被社会福利供养，成为几乎无用的人口。
最后，前面提到，马斯克参与创立了OpenAI这个公司，却在2018的时候退出了这个公司。至于原因，马斯克说：斯拉的AutoPilot与OpenAI有一些竞争关系，并且我不同意OpenAI团队想要做的事情。几个问题合起来，分道扬镳是更好的选择”。从另一个方面来看，马斯克在很多场合表示，现在总要的首要问题并不是需要创造一个强大的AI系统，而人脑是世界上最强大的AI机器，唯一的问题是人脑这个AI机器并没有很好的输入输出接口。想来也是，我们的大脑需要而脑海里面丰富的思想，那些灵光一现的绝妙点子，庞大的构想，想象中的美妙场景，人类却没法很好的输出出来 – 现在的输出手段文字，影视，绘画，音乐，每一项都需要大量艰苦卓绝的学习，记忆，训练，需要很长的时间才能很好的表达出来，而这些人脑的输出信息传递给另一个人脑过程又无可救药的存在失真，需要再创造，就像同一部哈姆雷特，每个人心中的形象都不一样。人脑的输入输出相较电脑来说效率很差，准确度也非常低。埃隆马斯克这种大脑或许比我们其它人更不可接受人脑这种低级的输入输出方式，这就是为什么他又成立了一个人脑接口的公司，干着和OpenAI截然不同方向的事情。这个或许就是马斯克和OpenAI目标之间不能达成一致的东西，从这点上来看，确实没法达成一致。

GPT-3: 最强的人工智能？相关推荐

【清华 AI 公开课】IJCAI理事长杨强：人工智能在企业的落地是一门大学问
在课程开始,雷鸣老师先概述了对产业有较大影响的技术,以及未来将发生的演变. 从技术角度看,未来对产业产生比较大影响的技术有: 基于视频的信息理解和处理技术 .现在,基于静态的图片的处理技术,比如人脸识 ...
OpenAI发布最强的人工智能对话模型——ChatGPT，火出AI圈，给我们体验和思考
目录一.前言二.ChatGPT的技术原理阶段一:基于冷启动的有监督策略模型阶段二:基于奖励机制的训练模型阶段三:采用强化学习来增强预训练模型三.使用案例四.思考问题一:ChatGPT如 ...
微众银行 CAIO 杨强：人工智能的新三大定律（附视频）
2020 年 6 月 24 日北京智源大会上,微众银行 CAIO,兼香港科技大学讲席教授杨强做了题为<AI 的新三定律:隐私.安全和可解释性>的报告分享.杨强教授在开场便引用了<机械 ...
杨强：人工智能在企业的落地是一门大学问
来源:图灵人工智能摘要:人工智能到现在已经 60 多年,几起几落,它的兴衰也是围绕着 "AI是不是可以落地" 进行的. 杨强香港科技大学计算机和工程学系主任国际人工智能联合会 ...
将门CTO沈强：人工智能时代，技术创新将全面引爆商业变革
早在1956年,人工智能就在美国达特茅斯大学召开的学术会议上被提出,然而,经过整整一个甲子的起伏反复,却始终没能形成产业发展.进入2016年,借着AlphaGo与李世石的人机世纪对战,人工智能再次掀起 ...
人工智能联合会主席杨强：人工智能如何落地？
2018年媒体经济学家年会人工智能论坛上,国际人工智能联合会理事会主席.国际人工智能协会执委杨强进行了演讲. 杨强表示,他经历了两次人工智能的火热.最早确定博士方向的时候,大家都劝他选人工智能,之后经 ...
把人脑智能化后，能再创造出更强的人工智能吗？
近日,埃隆·马斯克投资1 亿多美元的脑机接口初创公司Neuralink在现场发布会展示了新一代的脑机接口设备. 脑机接口是什么?可能这个名词在我们日常生活中是不常见的.脑机接口是最前沿的研究领域,建立 ...
全球500强案例精选，带你了解人工智能在金融行业如何落地
2020-03-25 13:58:18 随着科技进步,金融行业先后经历了数字化.移动化的发展历程.而人工智能.大数据.云计算等新型技术正在将金融服务推向智能化的新阶段.截止 2019 年末,超过 90 ...
地表最强！北大清华合力打造通用人工智能实验班，朱松纯教授领衔
AI科技评论报道今日,北京大学官方微信发文称:北大清华联手开启通用人工智能实验班. 课程总负责人是在两个学校都有教职的朱松纯教授. 联合开课的"官宣"时间点正值清华大学110周年 ...

GPT-3: 最强的人工智能？