允中 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

从产能“地狱”归来的马斯克，刚刚领衔2000多名AI专家签署了一份特殊协议。

这份协议核心目的有且只有一个：承诺永不发展致命的AI武器系统。

在瑞典斯德哥尔摩举行的IJCAL 2018上，由MIT著名物理学家Max Tegmark发起，其任职主席的生命未来研究所（Future of Life Institute，FLI）起草，该协议一经发出就应者如云。

包含企业领域的马斯克、DeepMind联合创始人哈萨比斯、穆斯塔法，Shane Legg；Skype创始人Jaan Tallinn；全球顶尖AI学者Yoshua Bengio、Stuart Russell、Jürgen Schmidhuber等2400全球AI科学家，都郑重签下了大名。

就国籍和企业归属而言，他们分属90个国家、160多家AI企业或机构。

这也是全球首个AI武器系统开发的民间反对组织，不出意外，也将是影响力最大的一个。

《致命性自主武器宣言》

这份协议全称《致命性自主武器宣言》（lethal autonomous weapons pledge），核心内容就是宣誓不参与致命性自主武器系统（LAWS）的开发、研制工作，而且LAWS的研发及使用应当被严格禁止。

宣言称：人类个体生死的决定权，决不能交给机器。这一方面是出于道德层面的考虑，“掌控他人生死”这件让人产生负罪感的事，绝不能由没有感情的机器做出。

而且致命的AI武器，不受人类干涉、自主选择攻击目标，可归责性与难度都前所未有，它们将成为暴力活动中的强大工具，尤其是与监控、数据系统相结合时。

宣言还强调：致命性自主武器的特征不同于核武器、化学武器及生物武器，研发团队可以单方开启军备竞赛，而国际社会缺乏实行管制的技术手段。谴责并避免这场军备竞赛，是维护全球安全的优先考虑事项。

所以今日签署之协议，也是呼吁各国政府及首脑为了地球的未来，共同商议抵制LAWS的国际规范、法律。

“我们这些未参与LAWS的人，需要以更高标准要求自己：我们绝不参与或支持LAWS的发展、生产、贸易与使用。我们呼吁科技企业、组织及其领袖、决策者与其他民众，共同履行该承诺。”

军方加速、学界反对、企业夹心

AI致命的话题，早已不新鲜。

在AI的所有应用场景中，这是最具争议的一个，而且由于不同组织怀抱不同利益诉求，状态非常尴尬。

在军方，自主武器从2013年开始就开始在美国、英国、以色列和韩国等军方实验室中诞生。

区别于其他武器，致命性自主武器，能够在无人控制情况下，自主完成寻找目标、定位、击杀敌人这一整套工作，而AI系统和技术应用，是这些武器最强大的“驱动力”。

一旦将这些武器派上战场，它们就能自主辨别敌人并给出致命一击，没有情感，没有更多判断，人类的生死权，在机器眼里就是二元的“敌人=死亡”。

然而硬币另一面，这些武器也不是没有可能落入反派之手，或者被恶意指定攻击目标，结果也就不堪设想。

于是从AI致命武器出现开始，舆论反对的声音就未曾停歇。

在科学界，斯蒂芬-霍金、马斯克等知名人士早在2015年就联合千余名AI学者、科学家等向联合国提交过联名公开信，警示AI致命武器潜在风险，以及正在发生的军备竞赛，呼吁颁布相关禁令。

目前为止也有了一些初步结果。在2016年联合国《常规武器公约》审议大会上，AI致命武器首次被纳入讨论范围。

其后今年4月举行的最近一次会议上，包括中国在内的26国发表联合声明，支持对AI致命武器颁布禁令。

这一禁令已有先例：此前，出于人道、伦理原因及潜在的危害性，联合国已经对生物武器、化学武器及太空武器颁布禁令。

但是，正式的AI致命武器国际公约，现在仍未达成共识。

而且还将不少企业拖入军方和科研拉锯战的夹心层中。

今年4月，先是韩国国防公司Hanwha Systems和韩国科学技术院联合建立国防和AI融合研究中心，遭遇全球50多名AI知名学者联名抵制。

其后谷歌AI参与美国国防部的MAVEN军事计划曝光，一时让这家“人类希望”公司内外交困，几乎被骂成“筛子”，3000多名员工联名抗议，不少员工选择离职。

最后在遭受猛烈抨击之后，谷歌推出了新准则，作为公司研发AI技术的道德指导。

准则中称，不会将人工智能设计或应用于武器、监视或“其目的违反了广为接受的国际法和人权准则”的技术。

然而谷歌并非个例。微软、亚马逊等巨头与政府相关的AI合作也相继被曝光，在运用人脸识别进行身份监控等问题上，舆论、股东和员工抗议始终没有停止。

还可以肯定的是，随着AI技术的进一步成熟和各领域应用，权力所求、利欲熏心，争议必然还会始终存在。

AI杀人武器模拟

最后，放一段最近很火的视频。

艺术家Alexander Reben最近放出了一段视频，也许这可以看成是行为艺术吧。

在这段30秒的视频里，Reben没有动手，但是语音发出了一个命令：“OK Google，开枪”。

不到一秒的转瞬之间，Google Assistant人工智能助手，扣动了一部手枪的扳机，击倒了一颗红苹果。随即，蜂鸣器发出刺耳的嗡嗡声。

嗡嗡声持久不绝。

到底是谁开了枪？

在这个案例中，Reben告诉AI开枪。Engadget在报道中说，如果AI足够智能以预测我们的需求，或许有一天AI会主动除掉那些让我们不开心的人。

Reben说，讨论这样一个装置，比是否存在这样一个装置更重要。

作者系网易新闻·网易号“各有态度”签约作者

— 完 —

活动报名

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态