现在，Google将通过强化学习和虚拟世界来“发展”更智能的算法了！

智能设计与进化不仅仅是人们在世界观上的一个分歧。这也是人工智能社区的一个分歧。直到几年前，AI的主要用途还只是代码中的智能算法——从银行欺诈检测器到视频游戏中的自主角色。但是有了大规模的服务器支持后，机器学习AI可以像脱缰的野马一样在人们生成的数据领域里疯狂地奔驰，而且往往比人类编写的算法更快更好。

下个阶段是让算法在环境中自由运行，这些环境与真实世界非常相似，包括田野、房屋、高速公路，以及其他3D游戏可以模拟的事物。

DeepMind是Google母公司Alphabet的一部分，它与游戏软件制作商Unity Technologies（主要作品有《精灵宝可梦Go》和《纪念碑谷》等）达成了合作，在虚拟世界人工智能培训方面发展良好。为了在物理现实环境中训练算法，DeepMind将大规模地运行软件，这也是AI日益发展的一种趋势。Unity或Unreal等游戏引擎为高级AI技术提供了可自定义的设置，例如强化学习，它的算法将通过反复试验追求目标，直到达成为止。

“游戏在很多很多方面都比人们想象的更接近真实，”Unity机器学习和人工智能副总裁Danny Lange说，“你可以在视觉、身体、认知以及社交方面互动。”这些都迫切需求算法的进步，就像大自然迫使生物进化一样，他说。

除此之外，DeepMind没有在这件事上做其他评论。Unity不会透露此次合作的许多细节，比如金钱交易等。6月份Unity与DeepMind的兄弟公司Google Cloud宣布达成协议，为在线游戏开发商提供服务。

从不知道如何移动，如今这个火柴人已经学会了跑步——尽管还很笨拙（图片来自Unity Technologies）

VÉRITÉ视频

有关游戏如何训练AI有一个很可爱的例子，Lange展示了一条学习如何捡东西的虚拟狗狗。背后所有的算法只是让它知道它必须捡回那根棍子：朝着目标进步就会得到数字的奖励，这可以鼓励它朝着更大的成功前进。最初，可怜的狗狗甚至不知道怎么用腿走路。但是它会在生物学模拟的参数和物理定律的范围内不断尝试，直到这个可爱的狗狗捡回棍子。

这项技术本身并不是新技术。研究人员和各家公司利用游戏引擎来训练AI已经有一段时间了。例如，Nvidia创建了一个名为Isaac的虚拟机器人训练系统，该系统在Unity上运行与Unreal Engine相竞争，后者是游戏《城堡之夜》的基础。

自动驾驶汽车算法可以通过数十亿英里精确模拟的道路行驶来学习，这可以大大增强它们在实际驾驶中所能学到的东西。Lange对这一点十分清楚，因为他在2016年12月进入Unity之前，建立了Uber的机器学习平台。

但是，Lange对于强化学习和其他人工智能在游戏世界中可以实现的目标非常乐观。 除了机器人之外，比如还可以利用虚拟人员开发更加舒适的建筑设计。“你可以让一千个不同的虚拟家庭居住在房子里，测试不同的设计。”

通常，强化学习是指推动虚拟代理实现一个不连续的任务。但在这个例子中，角色学习的困难程度可以帮助设计师评估他们的平面图的直观程度。

Lange表示，更宏大的模拟物理学可以进行虚拟化学实验，其中软件用虚拟化学物质进行的实验远超真人实验，可以缩小实际测试的范围。Lange预测基于游戏引擎的AI可能需要大约五年的时间实现这一目标（顺便提一下，一些倡导者认为量子计算开始模拟复杂化学的时间也大约是五年）。

现实世界的游戏玩家们都知道，游戏不仅仅要模拟物理。游戏《侠盗猎车手》不仅模拟了橡胶轮胎在沥青路面上的摩擦，也模拟了各角色之间的相互作用。 “这是一个新兴领域，”Lange在谈及社会动态建模时说，“如果你模拟多个对象，而且他们可以互相交流，那么他们会发明他们之间的讲话方式。“

Lange说，这可以深入了解人群的行为方式。例如，有一种潜在的可能性——但只是理论上，我们可以模拟聊天如何影响股票价格。“一个人说股票会上涨，另一个人说这股股价会下跌，那么人群会受到怎样的影响？”

以每秒1万帧的速度在24小时内训练1千只狗狗

在自然界中，动物在行走、跑步或购买股票之前必须学会爬行。强化学习也遵循相同的逐步进展规律。Lange说：“你会觉得你只是遇到难题，然后扔过去一台计算机就行了，但这并不会带来好结果。”

相反，你必须将难题分解成难度逐步增加的任务，也就像课程学习。算法在战胜了一个挑战后，会利用它所学到的知识来战胜下一个挑战，再下一个。Lange说，Unity的虚拟狗在学会捡回棍子后，很快学会了如何跳圈。

游戏的基本原理也是同样。随着玩家等级的提升，他们需要对抗越来越大的“敌人”。在这里，“玩家”就是算法。游戏引擎的另一个好处是：它们可以自己生成关卡，2016年的游戏《无人深空》就是个典型的例子。利用Hello Games自己的内部引擎，游戏可以生成18,446,744,073,709,551,616个独一无二的行星。

我问Lange是否喜欢玩电子游戏，他犹豫了一下，然后说：“呃，我玩很多人工智能的游戏，我们对我们与DeepMind的这种关系感到非常兴奋，因为它确实表明Unity拥有的不仅仅是纯粹的游戏。这比《精灵宝可梦Go》的玩家更多。”

事实上，DeepMind利用自己的游戏引擎软件已经有一段时间了。DeepMind联合创始人兼首席执行官Demis Hassabis说：“游戏和模拟从一开始就是DeepMind研究计划的核心部分，这种方法已经在人工智能研究方面取得了重大突破。”

也许是以前作为游戏设计师的经历让Hassabis愿意与消费者游戏制造商合作，并不是所有的东西都需要内部制作。Unity和Unreal等流行的引擎在商业上的驱动下，可以开发出更好的模拟，并且他们还拥有庞大的开发者社区。

一年前，Unity还通过ML（Agents工具包）的开源软件将游戏引擎与机器学习程序相结合，并借此将AI开发扩展到公众。Lange说，参与者包括AI研究人员和一些“著名的游戏开发者”。每个人都可以利用别人开发的东西——包括Unity，这是为了利用AI来发展出更好的“非玩家角色”。

Lange表示，与DeepMind的交易不仅仅是出售软件许可证，对他来说这是一次合作。“当你构建一个游戏引擎时，它需要在iOS、Android以及Xbox上快速运行。”但Lange表示，在数千甚至数万台服务器上运行Unity以推动深度学习是一项非常不同的任务，你需要针对这些需求调整和配置Unity。

只有大规模的深度学习才能带来快速发展。Lange说：“如果训练一只狗只需要五分钟，那么这步棋根本没必要。 但是，如果我以每秒1万帧的速度在24小时内训练一千只狗，那么所有这些狗都在做各种疯狂的事情。最后，在所有的这些尝试中，终归会有一只狗跳过一个圈。

原文：https://www.fastcompany.com/90240010/deepminds-ai-will-learn-inside-unitys-video-game-worlds

作者：Sean Captain，湾区的技术、科学与政策领域的记者。

译者：弯月，责编：郭芮