最擅长玩《毁灭战士》的AI开源了

李林发自凹非寺

量子位出品 | 公众号 QbitAI

最擅长玩《毁灭战士(DOOM)》的那个AI，最近开源了。

它叫Arnold，来自卡耐基梅隆大学“终结者队（Terminator）”，在2017年的VizDoom竞赛中以275杀220死0自杀的成绩，拿下了未知地图完整版死斗比赛的冠军。

在比赛中，Arnold能够只根据游戏的画面来判断局势，在一个陌生的3D环境中探索地图、选择武器、击杀敌人。

VizDoom，是基于第一人称射击游戏《毁灭战士》游戏的AI研究平台，主要用在视觉机器学习和深度强化学习的研究上。Viz代表Visual，也就是说，平台上的Agent主要依靠视觉输入来玩游戏。

Arnold参加的VizDoom 2017竞赛，就是在这个平台上举办的。

竞赛以Agent在10场多人死斗中击杀敌人的数量-自杀数来定胜负，分为两个“赛道”：Track 1是已知地图上的限制版死斗，玩家可用的武器只有火箭炮；Track 2是未知地图上的完整版死斗，玩家可以使用各种武器，训练Agent时有5张地图可选，不过在最终比赛时会遇到一张陌生的测试地图。

比赛场面非常血腥热烈，是这样的（视频有点长……）：

class="video_iframe" data-vidtype="2" allowfullscreen="" frameborder="0" data-ratio="1.7647058823529411" data-w="480" data-src="http://v.qq.com/iframe/player.html?vid=l0524yfrosu&width=670&height=376.875&auto=0" style="display: block; width: 670px !important; height: 376.875px !important;" width="670" height="376.875" data-vh="376.875" data-vw="670" src="http://v.qq.com/iframe/player.html?vid=l0524yfrosu&width=670&height=376.875&auto=0"/>

△ Track 2完整视频，时长100分钟

这两个赛道，Arnold都参加了，它在限制版死斗获得了第二名，在完整版死斗中拿下了冠军。

最近开源的，就是Arnold的PyTorch实现。发布在GitHub上的代码包括训练《毁灭战士》Agent所需要的源代码、17张可以用于训练或测试的地图、5个可以可视化出来玩的预训练模型，包括今年夺冠的那个。

Arnold有两位作者：Devendra Singh Chaplot和Guillaume Lample。Chaplot是CMU机器学习系的博士生，师从Ruslan Salakhutdinov，研究深度强化学习及其在机器人和NLP中的应用。Lample 2016年获得了CMU硕士学位，现在是Facebook AI Research的博士生。

在VizDoom 2017中和他们竞争的高手们，也不乏大机构背后支持。比如Track 1的第三名Axon，来自腾讯互娱（IEG）的NEXT研发中心；Track 2第二名TSAIL队，来自清华大学，他们给自己的Agent起了个古代人偶工匠的名字：偃师；Track 2第三名则是英特尔是IntelAct。另外，参赛的还有Facebook田渊栋和吴育昕组成的F1队、王乃岩、Siyi Li组成的AlphaDoom队等等。

这些队伍中有不少在2016年就参加过这个竞赛，比如F1，就是VizDoom 2016限制版死斗的冠军，IntelAct是完整版死斗的冠军。CMU终结者队的Arnold，在VizDoom 2016两个赛道上都是第二名。

2016年的竞赛结束后，F1队和终结者队都发表了相关论文，解读自己在比赛中所用的技术，而终结者队最近开源的Arnold代码，与去年的论文仍是一脉相承。

最后，本文相关的代码和论文都在这里啦：

Arnold开源代码：
https://github.com/glample/Arnold

Arnold论文：
https://arxiv.org/abs/1609.05521

田渊栋、吴育昕的论文Training Agent for First-Person Shooter Game with Actor-Critic Curriculum Learning：
https://openreview.net/pdf?id=Hk3mPK5gg

今年还有一支队伍DoomNet也开源了代码：
https://github.com/akolishchak/doom-net-pytorch

VizDoom官网：
http://vizdoom.cs.put.edu.pl/

作者系网易新闻·网易号“各有态度”签约作者

— 完 —

活动报名

加入社群

量子位AI社群12群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot4入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot4，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态