人工智能正在学习如何创造自己

人类一直在努力制造真正的智能机器

也许我们需要让他们自己处理

一个长着楔形头的小棍子在屏幕上晃来晃去。它半蹲着移动，沿着地面拖着一个膝盖。它在走路！呃，有点。

不过王锐还是很高兴的。“每天我走进我的办公室，打开我的电脑，我不知道会发生什么，”他说。

作为 Uber 的人工智能研究员，Wang 喜欢让 Paired Open-Ended Trailblazer（他帮助开发的一款软件）在他的笔记本电脑上运行一夜。POET 是一种针对虚拟机器人的训练道场。到目前为止，他们根本没有学会做很多事情。这些 AI 代理不是在下围棋，也没有发现癌症的迹象，也没有折叠蛋白质——他们试图在由栅栏和峡谷组成的粗糙卡通景观中穿行而不会摔倒。

该视频介绍了一种称为 POET（配对开放式开拓者）的算法，该算法旨在不断发明日益复杂和多样化的问题及其相应的解决方案。在这里，我们通过在二维景观的问题空间和旨在遍历它们的机器人行为的解决方案空间上释放它来展示 POET 的潜力。在这个领域，POET 通过修改先前解决的景观并应用和改进先前发现的成功机器人步态的实验，构建了一系列已解决的景观。该过程最终使机器人能够熟练地穿越崎岖不平、充满障碍的景观，这些景观在使用标准优化技术孤立地接近时是无法解决的。结论是 POET 代表了朝着真正开放式机器学习算法迈出的一步，该算法不断发明和解决新的挑战。

但令人兴奋的并不是机器人正在学习的东西——而是它们的学习方式。POET 生成障碍课程，评估机器人的能力，并分配他们的下一个挑战，所有这些都不需要人工参与。机器人步步蹒跚，通过反复试验不断改进。“在某些时候，它可能会像功夫大师一样跳过悬崖，”王说。

目前看来，这似乎很基础，但对于王和其他一些研究人员来说，POET 暗示了一种创造超级智能机器的革命性新方法：让人工智能自我制造。

Wang 的前同事 Jeff Clune 是这个想法的最大推动者之一。Clune 多年来一直在研究它，首先在怀俄明大学，然后在 Uber AI Labs，在那里他与 Wang 和其他人一起工作。现在，他在不列颠哥伦比亚大学和 OpenAI 之间分配时间，得到了世界顶级人工智能实验室之一的支持。

Clune 将构建真正智能的 AI 的尝试称为人类历史上最雄心勃勃的科学探索。今天，在人工智能开始认真努力七年之后，我们距离创造出与人类几乎一样聪明的机器还有很长的路要走，更不用说更聪明了。Clune 认为 POET 可能指向一条捷径。

“我们需要摆脱束缚，走出自己的道路，”他说。

如果 Clune 是对的，那么使用 AI 制造 AI可能是有朝一日通向通用人工智能(AGI)的重要一步——机器可以超越人类。在近期，这项技术还可能帮助我们发现不同类型的智能：非人类智能可以以意想不到的方式找到解决方案，并可能补充而不是取代我们自己的智能。

模仿进化

去年年初，就在他转向 OpenAI 几周后，我第一次与 Clune 谈论了这个想法。他很乐意讨论过去的工作，但对他与新团队所做的事情保持缄默。与其在里面接电话，他更喜欢在我们谈话时在办公室外的街道上走来走去。

Clune 只会说 OpenAI 非常适合。“我的想法与他们相信的许多事情非常一致，”他说。“这有点像天造地设的婚姻。他们喜欢这个愿景，并希望我来这里追求它。” 在 Clune 加入几个月后，OpenAI 也雇佣了他的大部分 Uber 老团队。

Clune 雄心勃勃的愿景不仅仅基于 OpenAI 的投资。人工智能的历史充满了人类设计的解决方案让位于机器学习的解决方案的例子。以计算机视觉为例：十年前，当现有的手工系统被从头开始自学的系统所取代时，图像识别领域取得了重大突破。许多人工智能的成功都是如此。

人工智能，尤其是机器学习，最吸引人的地方之一是它能够找到人类尚未找到的解决方案——让我们大吃一惊。一个经常被引用的例子是 AlphaGo（及其继任者 AlphaZero），它通过采用看似陌生的策略，在古老而迷人的围棋游戏中击败了人类所能提供的最好的东西。经过人类大师数百年的研究，人工智能找到了没人想过的解决方案。

Clune 现在正在与 OpenAI 的一个团队合作，该团队开发了 2018 年学会在虚拟环境中玩捉迷藏的机器人。这些 AI 从简单的目标和实现这些目标的简单工具开始：一对必须找到另一个，这可以躲在可移动的障碍物后面。然而，当这些机器人开始学习时，它们很快就找到了以研究人员没有预见到的方式利用环境的方法。他们利用虚拟世界模拟物理中的小故障跳过甚至穿过墙壁。

这类意外的突发行为提供了诱人的暗示，即人工智能可能会找到人类自己无法想到的技术解决方案，发明新的、更高效的算法或神经网络，甚至完全抛弃神经网络，这是现代人工智能的基石。

Clune 喜欢提醒人们，智能已经从简单的开始出现了。“这种方法的有趣之处在于我们知道它可以奏效，”他说。“达尔文进化的非常简单的算法产生了你的大脑，而你的大脑是迄今为止我们所知道的宇宙中最智能的学习算法。” 他的观点是，如果我们所知道的智力是由无数代无意识的基因突变产生的，为什么不寻求复制智力产生过程——这可以说是更简单——而不是智力本身？

但这里还有另一个重要的观察。智能从来都不是进化的终点，也不是目标。相反，它以许多不同的形式出现，来自无数微小的挑战，使生物能够生存并迎接未来的挑战。情报是当前持续和开放式进程中的最高点。从这个意义上说，进化与人们通常认为的算法大不相同——作为达到目的的手段。

正是这种开放性，从 POET 产生的显然漫无目的的一系列挑战中窥见一斑，Clune 和其他人认为这可能会导致新型 AI。几十年来，人工智能研究人员一直试图构建算法来模仿人类智能，但真正的突破可能来自构建试图模仿进化的开放式解决问题的算法——然后坐下来观察出现的情况。

研究人员已经在自身使用机器学习，对其进行训练以找到该领域一些最困难问题的解决方案，例如如何制造能够一次学习多项任务或应对以前从未遇到过的情况的机器。现在有些人认为采用这种方法并运行它可能是通向通用人工智能的最佳途径。“我们可以启动一个最初内部没有太多智能的算法，然后看着它自我引导，一直到 AGI，”Clune 说。

事实是，就目前而言，AGI 仍然是一种幻想。但这主要是因为没有人知道如何制作它。人工智能的进步是零碎的，由人类完成，进步通常涉及对现有技术或算法的调整，从而在性能或准确性方面产生增量飞跃。Clune 将这些努力描述为在不知道您在寻找什么或需要多少块的情况下发现人工智能的构建块的尝试。而这只是开始。“在某些时候，我们必须承担将它们整合在一起的艰巨任务，”他说。

要求人工智能为我们寻找和组装这些构建块是一种范式转变。它是说我们想创造一个智能机器，但我们不在乎它看起来像什么——只要给我们任何有用的东西。

即使永远无法实现 AGI，自学方法仍可能会改变创建的 AI 类型。Clune 说，世界需要的不仅仅是一个非常好的围棋选手。对他来说，创造一台超级智能机器意味着建立一个系统，它可以发明自己的挑战，解决它们，然后发明新的挑战。POET 是这一行动的一小部分。Clune 设想了一种机器，可以教机器人走路，然后玩跳房子，然后可能会下围棋。“然后它可能会学习数学谜题并开始发明自己的挑战，”他说。“该系统不断创新，就其可能去向而言，天空是无限的。”

也许这是一种疯狂的猜测，但一个希望是，像这样的机器可能能够避开我们的概念死胡同，帮助我们解决气候变化或全球健康等极其复杂的危机。

但首先我们必须制作一个。

如何创造大脑

有许多不同的方法来连接人工大脑。

神经网络由软件编码的多层人工神经元组成。每个神经元都可以连接到上面层中的其他神经元。神经网络的连接方式有很大的不同，新的架构往往会带来新的突破。

人类科学家编码的神经网络通常是反复试验的结果。关于什么行得通，什么行不通，几乎没有理论，也不能保证找到了最好的设计。这就是为什么至少自 1980 年代以来，自动化寻找更好的神经网络设计一直是人工智能领域最热门的话题之一。自动化该过程的最常见方法是让 AI 生成许多可能的网络设计，并让网络自动尝试每一个并选择最好的。这通常称为神经进化或神经架构搜索 (NAS)。

在过去的几年里，这些机器设计已经开始超越人类设计。2018 年，Esteban Real 和他在谷歌的同事使用 NAS 生成了一个用于图像识别的神经网络，该网络击败了当时最好的人工设计网络。那真是让人大开眼界。

2018 年的系统是正在进行的名为 AutoML 的谷歌项目的一部分，该项目还使用 NAS 生成了 EfficientNets，这是一个比人类设计的模型更高效的深度学习模型系列，在图像识别任务上实现了高水平的准确性更小、更快的模型。

三年过去了，Real 正在突破可以从头开始生成的界限。早期的系统只是重新排列了经过试验和测试的神经网络部分，例如现有类型的层或组件。“我们可以期待一个好的答案，”他说。

去年，Real 和他的团队卸下了训练轮。这个名为AutoML Zero的新系统试图从头开始构建人工智能，只使用管理机器学习的最基本数学概念。

令人惊讶的是，AutoML Zero 不仅自发地构建了一个神经网络，而且还提出了梯度下降，这是人类设计师用来训练网络的最常见的数学技术。“我很惊讶，”Real 说。“这是一个非常简单的算法——它需要六行代码——但它写了准确的六行。”

AutoML Zero 尚未生成与人工设计系统性能相媲美的架构——或者确实做了很多人类设计师不会做的事情。但皇马相信有朝一日可以做到。

是时候培养一种新的老师了

首先你制造一个大脑；那么你必须教它。但是机器大脑不像我们的大脑那样学习。我们的大脑非常擅长适应新环境和新任务。今天的人工智能可以在特定条件下解决挑战，但在这些条件稍有变化时就会失败。这种不灵活性阻碍了创建更通用的人工智能的探索，这些人工智能可以在广泛的场景中有用，这将是使它们真正智能的一大步。

对于伦敦 DeepMind 的研究员 Jane Wang 而言，让 AI 更加灵活的最佳方法是让它自己学习该特征。换句话说，她想建立一个人工智能，它不仅可以学习特定的任务，还可以学习以适应新情况的方式学习这些任务。

多年来，研究人员一直试图让人工智能更具适应性。Wang 认为让 AI 自己解决这个问题可以避免手工设计方法的一些尝试和错误：“我们不可能指望立即偶然发现正确的答案。” 她希望，在这个过程中，我们也能更多地了解大脑是如何工作的。“关于人类和动物的学习方式，我们还有很多不了解，”她说。

自动生成学习算法有两种主要方法，但都从现有的神经网络开始，并使用 AI 来教授它。

第一种方法是由 Wang 和她在 DeepMind 的同事以及OpenAI的一个团队同时分别发明的，它使用循环神经网络。这种类型的网络可以通过这样一种方式进行训练，即它们的神经元的激活——大致类似于生物大脑中神经元的激活——可以编码任何类型的算法。DeepMind 和 OpenAI 利用这一点来训练循环神经网络以生成强化学习算法，该算法告诉 AI 如何表现以实现给定目标。

结果是，DeepMind 和 OpenAI 系统不会学习解决特定挑战（例如识别图像）的算法，而是学习可应用于多个任务并随其进行调整的学习算法。这就像教人钓鱼的古老格言：虽然手工设计的算法可以学习特定的任务，但这些人工智能正在学习如何自己学习。其中一些比人工设计的表现更好。

第二种方法来自加州大学伯克利分校的 Chelsea Finn 和她的同事。称为与模型无关的元学习或 MAML，它使用两个机器学习过程训练模型，一个嵌套在另一个中。

粗略地说，这是它的工作原理。MAML 中的内部过程在数据上进行训练，然后像往常一样进行测试。但是，外部模型会利用内部模型的性能——比如它识别图像的能力——并使用它来学习如何调整该模型的学习算法以提高性能。就好像你有一个学校督察监督一群老师，每个老师都提供不同的学习技巧。检查员检查哪些技术可以帮助学生获得最好的分数并相应地调整它们。

通过这些方法，研究人员正在构建更强大、更通用且能够以更少的数据更快地学习的 AI。例如，Finn 想要一个已经学会在平地上行走的机器人，只需很少的额外训练，就能够过渡到在斜坡上、草地上行走或在搬运负载时行走。

去年，Clune 和他的同事扩展了 Finn 的技术来设计一种算法，该算法使用较少的神经元进行学习，这样它就不会覆盖之前学到的所有内容，这是机器学习中一个未解决的大问题，称为灾难性遗忘。使用较少神经元的训练模型，称为“稀疏”模型，在重新训练时将有更多未使用的神经元用于新任务，这意味着较少的“已使用”神经元将被覆盖。Clune 发现，将他的 AI 设置为学习多个任务的挑战，导致它想出了自己的稀疏模型版本，该版本的性能优于人类设计的模型。

如果我们全力以赴让 AI 创造和自学，那么 AI 也应该生成自己的训练环境——学校和教科书，以及课程计划。

在过去的一年里，出现了大量的项目，其中人工智能已经接受了自动生成数据的训练。例如，人脸识别系统正在接受人工智能生成的人脸的训练。AI 也在学习如何相互训练。在最近的一个例子中，两只机器人手臂一起工作，一只手臂学习设置越来越难的积木挑战，训练另一只手臂抓握物体。

事实上，Clune 想知道人类对于 AI 需要什么样的数据才能学习的直觉是否可能会消失。例如，他和他的同事开发了他所谓的生成式教学网络，它了解在训练模型时应该生成哪些数据以获得最佳结果。在一项实验中，他使用其中一个网络来调整通常用于训练图像识别算法的手写数字数据集。它得出的结果看起来与原始人工策划的数据集大不相同：数百个不完全是数字，例如数字 7 的上半部分或看起来像两个数字合并在一起的数字。一些 AI 生成的示例根本难以破译。尽管如此，人工智能生成的数据在训练手写识别系统识别实际数字方面仍然做得很好。

不要试图成功

AI 生成的数据仍然只是难题的一部分。长期愿景是将所有这些技术——以及其他尚未发明的技术——交给人工智能训练师，控制人工大脑的连接方式、训练方式以及训练内容。甚至 Clune 也不清楚这样一个未来的系统会是什么样子。有时他会谈论一种超现实的模拟沙盒，人工智能可以在其中切齿并剥去虚拟膝盖的皮。这么复杂的事情还需要几年的时间。最接近的是 POET，这是 Clune 与 Uber 的王锐等人创建的系统。

王说，POET 的动机是一个悖论。如果你试图解决一个问题，你就会失败；如果你不尝试解决它，你就更有可能成功。这是 Clune 从他与进化的类比中得出的见解之一——从明显随机的过程中产生的惊人结果往往无法通过朝着同一目的采取刻意步骤来重新创造。毫无疑问，蝴蝶是存在的，但回到它们的单细胞前体，并尝试通过选择从细菌到昆虫的每一步来从头开始创造它们，你很可能会失败。

POET 在一个简单的环境中启动它的双腿代理，例如没有障碍物的平坦路径。起初，agent 不知道如何处理它的腿，也不能走路。但是通过反复试验，控制它的强化学习算法学会了如何沿着平坦的地面移动。然后 POET 生成一个新的随机环境，该环境不同，但不一定更难进入。代理尝试走到那里。如果在这个新环境中存在障碍，代理将学习如何克服或跨越这些障碍。每次代理成功或卡住时，它都会被转移到一个新环境。随着时间的推移，智能体学会了一系列步行和跳跃动作，让他们能够在越来越难的障碍路线中导航。

该团队发现随机切换环境至关重要。

例如，智能体有时会学会在平坦的地面上以一种奇怪的、半跪着的方式走路，因为这已经足够了。“他们永远不会学会站起来，因为他们永远不需要，”王说。但是，在他们被迫在布满障碍的地面上学习替代策略之后，他们可以以更好的步行方式返回到早期阶段——比如说，用双腿而不是拖着一条腿——然后将自己的改进版本向前推进迎接更艰巨的挑战。

POET 以一种人类无法做到的方式训练其机器人——它需要通过不稳定、不直观的方式获得成功。在每个阶段，机器人都会尝试找出解决方案来应对他们面临的任何挑战。通过应对随机选择的障碍物，他们总体上会变得更好。但是这个过程没有终点，没有通过的终极测试或高分。

Clune、Wang 和他们的一些同事认为这是一个深刻的见解。他们现在正在探索这对超级智能机器的发展可能意味着什么。尝试不绘制特定路径是否真的可以成为通向通用人工智能的关键突破？

POET 已经激励了其他研究人员，例如加州大学伯克利分校的 Natasha Jaques 和 Michael Dennis。他们开发了一个名为PAIRED的系统，该系统使用 AI 生成一系列迷宫来训练另一个 AI 来导航它们。

王锐认为人为设计的挑战将成为一个瓶颈，人工智能的真正进步将需要人工智能提出自己的问题。“无论今天的算法有多好，它们总是在一些手工设计的基准上进行测试，”他说。“很难想象通用人工智能由此而来，因为它受到固定目标的约束。”

一种新型智能

可以自我训练的人工智能的快速发展也引发了我们如何控制其增长的问题。AI 构建更好 AI 的想法是“奇点”背后神话的重要组成部分，“奇点”是未来 AI 开始以指数速度改进并超出我们控制范围的想象点。最终，某些末日论者警告说，人工智能可能会决定它根本不需要人类。

这不是这些研究人员的想法：他们的工作非常专注于使当今的人工智能变得更好。疯狂运行的机器仍然是一种遥远的反幻想。

即便如此，DeepMind 的 Jane Wang 还是有所保留。使用 AI 制造 AI 的一大吸引力在于，它可以提出人们没有想到的设计和技术。然而，Wang 指出，并非所有的惊喜都是好的惊喜：“开放性，顾名思义，就是出乎意料的事情。” 如果整个想法是让 AI 做一些你没有预料到的事情，它就会变得更难控制。“这既令人兴奋又令人恐惧，”她说。

Clune 还强调从一开始就考虑新技术伦理的重要性。人工智能设计的神经网络和算法很有可能比今天已经不透明的黑盒系统更难理解。算法生成的 AI 是否更难审计偏见？是否更难保证他们不会以不良方式行事？

Clune 希望随着更多人意识到自生 AI 的潜力，这些问题将得到提出和回答。“机器学习社区中的大多数人从来没有真正谈论过我们通向极其强大的人工智能的整体路径，”他说——相反，他们倾向于专注于小的、渐进的改进。Clune 想再次开始讨论该领域最大的野心。

他自己的野心与他早期对人类智能及其进化方式的兴趣有关。他的宏伟愿景是进行设置，以便机器有一天可以看到自己的智能——或智能——通过无数代的反复试验出现和改进，由算法指导，没有最终蓝图。

如果人工智能开始自己产生智能，就不能保证它会像人类一样。机器可能会教人类新的思维方式，而不是人类教机器像人类一样思考。

“变得非常聪明可能有很多不同的方式，”Clune 说。“人工智能让我兴奋的一件事是，我们可能会通过看到可能的变化来更广泛地理解智能。

“我认为这很吸引人。我的意思是，这几乎就像发明了星际旅行并能够去参观外星文化。人类历史上没有比遇到外星种族并了解其文化、科学和一切更重要的时刻了。星际旅行极其困难，但我们有能力以数字方式创造外星智能。”

可关注网络研究院公众号内回复“20210806”获取

人工智能资料包 下载链接

更有不限速下载等着你。

每日坚持分享，如果你觉得有所收获，请各位读者点亮“点赞” “再看”，

感激不尽

人工智能正在学习如何创造自己相关推荐

《预训练周刊》第15期：Bengio, Lecun, Hinton | 人工智能深度学习、用于图像分类的全局过滤网络...
No.15 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第15期&l ...
如何使用人工智能发展业务并创造企业价值
如何使用人工智能发展业务并创造企业价值如今,很多企业使用人工智能来发展他们的业务,帮助企业成长,提高生产力和收入,同时创造企业价值. 作者::Nick Ismail 来源:企业网D1Net|2020 ...
人工智能影响学习的5种方式
人工智能不仅仅是技术,更是这个时代的标志,这个时代信息更加丰富,知识更加丰富,机会也是更加丰富.为了能够深入了解人工智能,需要搞清楚人工智能影响学习的方式有哪些. 人工智能影响学习的5种方式人工智能 ...
8月6日云栖精选夜读 | 阿里云CPFS在人工智能/深度学习领域的实践
2019独角兽企业重金招聘Python工程师标准>>> AI/DL在迅速发展随着数据量的爆发式增长和计算能力的不断提升,以及在算法上的不断突破,人工智能(AI,Artificial ...
机器学习中的数学人工智能深度学习技术丛书
作者:孙博著出版社:中国水利水电出版社品牌:智博尚书出版时间:2019-11-01 机器学习中的数学人工智能深度学习技术丛书 ISBN:9787517077190
2019年上半年收集到的人工智能深度学习方向干货文章
2019年上半年收集到的人工智能深度学习方向干货文章随机森林VS神经网络:哪个更好? 深度学习--感知机讲解深度学习NN.CNN.RNN.和DNN你了解吗? 手工计算深度学习模型中的参数数量使用 ...
2019年上半年收集到的人工智能集成学习干货文章
2019年上半年收集到的人工智能集成学习干货文章机器学习-集成学习集成学习--Adaboost分类 2019-06-23 写于苏州市.
2019年上半年收集到的人工智能迁移学习干货文章
2019年上半年收集到的人工智能迁移学习干货文章迁移学习全面指南:概念.项目实战.优势.挑战迁移学习:该做的和不该做的事深度学习不得不会的迁移学习Transfer Learning 谷歌最新的P ...
2019年上半年收集到的人工智能强化学习干货文章
2019年上半年收集到的人工智能强化学习干货文章从0到1-强化学习篇关于人工智能中强化学习的扫盲强化学习简介深度强化学习探索强化学习算法背后的思想起源! 强化学习基础什么是强化学习?强化学 ...

人工智能正在学习如何创造自己

人工智能正在学习如何创造自己相关推荐

最新文章

热门文章