1.3 构建算法治理的内外部约束机制

对于前面说的一些伦理问题，人们可能需要提前构建算法治理的内外部约束机制，这里我谈四点。

第一个是合伦理的AI设计，即要将人类社会的法律、道德等规范和价值嵌入AI系统。这是国际标准化组织IEEE在提倡的。可以分三步来实现。一是规范和价值的发现，首先需要确定AI系统到底需要遵守哪些法律和价值规范，但是在这里可能存在道德过载和价值位阶的问题，在不同价值发生冲突时该如何选择，这个更多需要跨学科的工作。第二步，当已经明确了这些规范以后，怎么嵌入AI系统。道德规范以及法律是不是可以变成计算机代码？现在存在两种方法论，一种是自上而下的，即把需要遵守的规则写入系统，然后在不同的情况下自己将价值具体化，就是从抽象原则到具体行为的推理，比如之前的机器人三定律，但过于抽象。另外一种是自下而上的，是一个自我学习的过程，事先不告诉AI系统价值和规范道德是什么，而是让系统从观察人类行为中获得有关价值的信息，最后形成判断。第三步，在将价值嵌入AI系统以后，需要对规范和价值进行评估，评估它是不是和人类的伦理价值相一致的，而这需要评估标准。一方面是使用者评估，作为用户怎么建立对AI的信任；如果系统的行为超出预期，要向用户解释为什么这么做。另一方面是主管部门、行业组织等第三方评估，需要界定价值一致性和相符性标准，以及AI可信赖标准。

但还是有两个需要面对的困境。第一个是伦理困境。比如，MIT在它的网站上就自动驾驶汽车伦理困境下的选择向全球网民征集意见。在来不及刹车的情况下，如果自动驾驶汽车往前开就会把三个闯红灯的人撞死，但如果转向就会碰到障碍物使车上的五个人死亡。此时，车辆应当如何选择？在面对类似电车困境的问题时，功利主义和绝对主义会给出不同的道德选择，这种冲突在人类社会都是没有解决的，在自动化的场景下也会遇到这样的问题。

第二个是价值对接的问题。其实现在的机器人很多都是单一目的的，你让他去拿咖啡，他就会“一心一意”地克服任何困难去拿咖啡，扫地机器人就会一心一意地扫地。但机器人的行为真的是我们人类想要的吗？这就产生了价值对接问题。可以举一个神话故事，Midas国王想要点石成金的技术，结果当他拥有这个法宝时，他碰到的所有东西包括食物都会变成金子，最后却被活活饿死。为什么？因为这个法宝并没有理解Midas的真正意图，那么机器人会不会给我们人类带来类似的情况？这个问题值得深思。所以有人提出来了兼容人类的AI，包括三项原则，一是利他主义，即机器人的唯一目标是最大化人类价值的实现；二是不确定性，即机器人一开始不确定人类价值是什么；三是human-in-the-loop，即人类行为提供了关于人类价值的信息。

第二个是需要在AI研发中贯彻伦理原则。一方面，针对AI研发活动，AI研发人员需要遵守一些基本的伦理准则，包括有益性、不作恶、包容性的设计、多样性、透明性，以及隐私的保护等。另一方面，可能AI需要伦理审查制度。伦理审查应当是跨学科的，多样性的，对AI技术和产品的伦理影响进行评估并提出建议，包括业界的DeepMind、IBD等都已经成立伦理审查委员会。而且DeepMind医疗部门的独立审查委员会今年6月将会发布一个独立的报告，未来定期会发布评估报告。

第三点，可能需要对算法进行必要的监管，避免算法作恶。因为现在的算法确实是越来越复杂，包括决策的影响都是越来越重大，所以我们未来需要对算法进行一定的，由行业组织或者监管部门进行的监管，可能的监管措施包括标准制定，涉及分类、性能标准、设计标准、责任标准等；透明性方面，包括算法自身的代码透明性，以及算法决策透明性，国外现在已经有OpenAI等一些人工智能开源运动。此外，还有审批制度，比如对于自动驾驶汽车、智能机器人等，可能带来公共安全问题，未来可能需要监管部门进行事先审批，如果没有经过审批就不能向市场推出。

第四，针对前面说的算法决策以及歧视，包括造成的人身财产损害，需要提供法律救济。对于算法决策，一方面需要确保透明性，如果用自动化的手段进行决策决定，是需要告知用户，用户有知情权，并且在必要时需要向用户提供一定的解释；另一方面需要提供申诉的机制。对于机器人造成的人身财产损害，一方面，无辜的受害人应该得到救助；另一方面，对于自动驾驶汽车、智能机器人等带来的责任挑战，严格责任、差别化责任、强制保险和赔偿基金、智能机器人法律人格等都是可以考虑的救济措施。

最后总结一下，因为今天的分论坛是智能系统测试，包括图灵测试、语义测试、安全测试等，但是伦理的测试同样重要，包括道德代码、隐私、正义、歧视。现在的AI界更多是工程师在参与，缺乏哲学、伦理学等其他学科的参与，未来这样的跨学科的AI伦理测试需要加强研究。因为在某种意义上我们已经不是在制造一个被动的简单工具，而是在设计像人一样具有感知、认知、决策等能力的事物，你可以称其为“更复杂的工具”，但不可否认，我们需要确保这样的复杂工具进入人类社会以后和人类的价值规范和人类的需求是相一致的。

（本报告根据速记整理）