晓查 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

现在用TensorFlow玩GTA5，你可以自豪地说：“我XXX没有开挂！”

用物理外挂的事，怎么能叫开挂呢？我只是用摄像头拍摄游戏画面，然后把手柄操作交给AI操作而已。

不过这个外挂的硬件成本有点高，改装部件299美元，够买好几个GTA5了。本来这套硬件是给汽车的自动驾驶改装准备的，现在却被拿来玩游戏。

另外还要有一台能流畅运行GTA5的Windows电脑，和一台在Linux上流畅运行TensorFlow计算机视觉模型的电脑。

有钱有技术真的可以为所欲为。

你很难想象，这个给GTA5用来自动驾驶的外挂，竟是出自一位12岁少年Leon Hillmann之手，硬件则来自创业公司comma.ai的产品。

comma.ai你可能没听说过，这家公司的创始人是天才黑客George Hotz。

他曾是第一个破解iPhone的黑客，因为看不惯大公司作为，希望以一己之力改变自动驾驶行业，致力于通过低成本改装，给传统汽车加上自动驾驶功能。

既然comma.ai能用在汽车上，给GTA5加个物理外挂应该不是问题。

在GTA中开挂

comma.ai的自动驾驶软件叫做Openpilot，用TensorFlow实现，已经在GitHub上开源，支持本田、丰田等品牌的40多款汽车。

要把汽车上用的Openpilot移植到游戏里没那么容易。

和现实中的自动驾驶不同，GTA5中的汽车不会输出任何传感器数据，除了能看到周围路况，其余的信息也就是地图和车速了。

而comma.ai是给真实汽车准备的，没有汽车传感器的数据就不能正常工作，所以Leon花了两周的时间反向出方向盘、油门、刹车的输出。

到这里，Leon觉得应该差不多，他希望通过虚拟手柄实现对GTA的控制，最初用的是虚拟PS手柄，花了5天时间做了很多无用功，最后不得不转而使用Xbox手柄。（Xbox党的胜利！）

Leon的“行车记录仪”，用的是罗技C920摄像头，建议用1080p或更高清晰度。摄像头截获的视频传递给TensorFlow模型，算出反馈数据。

下面是根据实拍汽车视频得到的车道和轨迹输出数据，Leon稍加改造用在GTA5上。

外挂的整个流程是：

游戏画面 → Ubuntu笔记本电脑 → 模型预测 → 转换控制输出 → 通过本地网络发送到游戏机 → 模拟Xbox控制器输入 → 在GTA5中驾驶

试玩的输出画面像这样：

物理外挂背后的自动驾驶

前面已经说过，Openpilot由comma.ai开发，不寻常的是这款软件完全开源。

难道创始人George Hotz做软件不为赚钱，只为交个朋友，靠卖自动驾驶配件赚钱？

事实上是早在2016年，comma.ai已经开始销售999美元的自动驾驶配件Comma One。

然而，美国高速公路交通安全委员会（NHTSA）发出一封邮件警告，如果将未经测试的无人驾驶汽车投放至道路，那么将按天处以罚款。

因此，Hotz把自己的自动驾驶技术开源，自动驾驶配件仍按照999美元价格销售，现在已经升级到Comma Two。

Comma Two主要依靠面向前方的摄像头来观察道路，而驾驶员则需要后方红外摄像头。但除此之外，Comma Two没有什么特别之处。

为了控制真实的汽车，还需要通过特制线束在Openpilot和汽车之间建立物理接口。

除了传感器和汽车接口外，Openpilot另外还需要足够计算能力的Linux平台。

算下来，Openpilot比特斯拉的Autopilot便宜不少，只是如此简陋的硬件配置，真的有人敢给自己的车做改装吗？还是拿来做GTA外挂比较放心。

参考链接：
https://littlemountainman.github.io/2020/05/12/openpilot/
https://github.com/littlemountainman/modeld
https://medium.com/@comma_ai/self-driving-car-for-free-82e871fe0587

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

每天5分钟，抓住行业发展机遇

如何关注、学习、用好人工智能？

每个工作日，量子位AI内参精选全球科技和研究最新动态，汇总新技术、新产品和新应用，梳理当日最热行业趋势和政策，搜索有价值的论文、教程、研究等。

同时，AI内参群为大家提供了交流和分享的平台，更好地满足大家获取AI资讯、学习AI技术的需求。扫码即可订阅：

加入AI社群，与优秀的人交流

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !