来源：AI科技评论

译者：辛西娅

编辑：维克多

人工智能（AI）系统的脆弱性一直被行业人员所诟病，稍微的数据错误就会使系统发生故障。例如在图像识别中，图片微小的像素改变，不会干扰人类视觉，但机器可能会发生紊乱。正如CVPR 2017论文中所论述的那样“修改一个像素,就能让神经网络识别图像出错”。

至于原因，研究人员有过很多探究：数据不够好，算法设计不精妙....近日，在科技媒体wired上，计算机科学家Erik J. Larson撰文表示：优化思维是AI脆弱性的根源。（译者注：这里的优化思维，也可以翻译成“追求足够好”、追求完美AI）

“We then must step toward heresy by acknowledging that the root source of AI’s current fragility is the very thing that AI design now venerates as its high ideal: optimization.”

优化是推动AI尽可能准确的动力，在抽象的逻辑世界中，这种推动无疑是好的，但在AI运行的现实世界中，每一个好处都是有代价的。例如需要更多数据来提高机器学习计算精度，需要更好的数据来确保计算的真实性。

“这种更好”必须保证不断的进行数据收集，因此当AI开始逐渐形成完整的画面时，新数据的出现可能改变现有状况，从而导致系统崩溃。这也是大众眼中近乎完美的AI经常“犯精神病”的原因之一：将狗狗当成菠萝，把无辜的人看成通缉犯。

1

优化的脆弱性

人类不是一个优化者，过去几万年大脑本身也并没有进化出完美优化的功能。大脑是轻量级的，从不追求100%的准确性，并能够从小数据中得出假设。

换句话说，大脑满足于在“门槛”上混日子，如果1%的准确率就能让它生存，那么这就是大脑所需要的准确率。但这种最小生存策略也会导致认知偏见，让人们思维封闭、鲁莽、宿命论、恐慌。

AI严格的数据驱动训练方法能有效避免这种认知偏见，却也让其陷入“过度纠正”。确实，对人类而言，好的心态能够抵御完美主义带来的破坏性影响，一个不那么神经质的大脑已经帮助我们在“生活的冲撞和摇摆”中茁壮成长。

将这种“反脆弱”引入AI，那么也意味着：与其追求压缩越来越大的数据堆，不如专注于提高AI对不良信息、用户差异和环境动荡的容忍度。这种AI将消耗更少的能量，产生更少的随机失误，带来更少的负担。如何做？目前来看，有三种方式。

2

构建AI直面不确定性

五百年前，实用主义大师尼科勒·马基雅维利指出，世俗的成功需要一种反直觉的勇气。对于聪明人来说，大部分不存在的知识将是不必要的；生活往往不会符合我们的预期。因此，人类可以改变对模糊性的处理方式。

例如当AI遇到单词suit时，它会通过分析更多的信息来确定该单词是表示衣服，还是法律名词。分析更多信息通常意味着利用大数据缩小答案范围，这在99.9%的情况下有效，剩下的0.1%，AI仍然会“自信”的将suit表示为法律名词，但实际上它是衣服。

因此，AI应该有足够大的答案范围。研究人员在设计AI时候，应该允许“模棱两可”，并将模糊选项代入后续任务中，就像人类能够读懂一首诗歌的多个潜在含义一样。如果下游任务不允许“模棱两可”的存在，这时设计的AI应该能请求人类的帮助，让人类代替它进行决策。

3

用数据作为灵感来源

目前的AI希望通过大数据的发散性思维实现创造。但众多科学研究显示，生物的创造力往往涉及无数据和非逻辑过程。因此，依靠大数据或许能够批量创造出许多“新”作品，但这些作品仅限于历史数据的混合和匹配。换句话说，大规模的发散性思维的产生必然伴随着低质量。

数据驱动的创造所产生的局限性可以从GPT-3以及Artbreeder等文本和图像生成器中看到。通过“观察”历史场景，然后添加专家意见，试图产生下一个梵高。但结果往往是这位“梵高”只能复制以前画家的作品。这种AI设计文化，显然误解了创新的含义。这种情况从大家对FaceNet的盛誉中可见一斑，因为有一些面部识别的创新，仍然是蛮力优化。可以类比为调整汽车的扭矩带增加汽车性能，并称其为汽车交通革命。

因此，是时候将数据看成灵感来源，而不是伪造来源了。90年前，《科学发现的逻辑》一书的作者卡尔·波普尔就指出：用事实推翻想法比证明想法更合乎逻辑。将这种思维引入到AI产物中，我们可以将数据的功能从小想法的大量产生者转变成大规模的毁灭者（a mass destroyer of anything except），当然一些前所未有的想法除外。（译者注：这里的大规模毁灭者是指将“重复作品”筛选出来）

因此，与其无休止的产生“重复作品”，不如让计算机搜索有价值的作品，从而找到未被赏识的“梵高”。

4

人机结合

将人脑融入AI听起来很科幻，短期内很难有大的进展，但我们可以另辟蹊径，设计友好的人机关系。当前人与机器的合作关系并没有发挥它应有的作用，人类要么充当机器的保姆，要么充当AI系统更新的附属品。前者意味着乏味、枯燥，后者意味着被动。如何解决？当前的工作重点已经关注三个方面：

1.攻关科研，让AI有能力“知道”它何时缺少训练数据。换句话说，追求正确的AI，不如追求让AI知道自己何时不正确，赋予AI认知自己的智慧。人类的大脑无法拥有计算机的数据处理速度，所以当无知的算法认为自己无所不能的时候，人类的干预总是太晚。因此，应该通过编程让“傻瓜”发现自己是“傻瓜”。

2. 完善人机交互界面。因追求优化而造成的不透明设计，即黑盒算法。交互设计应该消除黑盒性质，例如将刚性按钮（只有一个选项）替换成包含概率的选项，标明第一个选项的可能性为70%，第二个选项的可能性为20%，第三个选项的可能性为5%，以此类推。如果没有满意的选项，那么就要求AI重新定向，或者进行手动操作，以最大的限度提高计算机的逻辑和人类的主动性。

3. 仿照大脑建立去中心化的AI模型。大脑包含去中心化的认知机制，例如逻辑、叙述、情感，它们之间相互制约、相互平衡。因此，AI系统也可以设计包含不同推理架构，例如如果深度学习不能访问它所需要的数据，系统就可以过渡到if-then的控制程序。更重要的是，人工智能可以向外看，从人类学的线索中学习，而不是狂热地集中在自己的内部优化策略上。

以上技术建议并不是未来虚幻的想象，它是现在就可以实现的设计创新。需要研究者抛弃大数据以及完美智能的假设，在这个不断变化的世界中，创造性要求比最准确要求来的更加明智。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”