1月8日，旷视科技人工智能（AI）治理研究院第一次对外发布内容，回溯了全球十大人工智能治理事件。

旷视称， 人工智能技术正在改变世界，也在重塑着人类社会。这些社会热点事件的背后都是与每个个体息息相关的重大议题。我们相信寻求解决之道要从提出正确的问题开始。

旷视人工智能治理研究院 旨在就全球人工智能治理的共性问题，与社会各界广泛沟通、与专家学者们展开研究，从而推动人工智能的健康发展。

在产业AI化的过程中，一方面AI技术赋能各行各业能够实现降本增效，另一方面，一些威胁个人和社会的问题也暴露出来。智能音箱劝主人自杀、AI换脸软件里的“霸王条款”、“监测头环”校园争议等事件层出不穷。

旷视梳理的十起人工智能引发的事件，涉及到人工智能的权利与义务、个人数据与隐私、合理的知情同意、对人类能动性的侵犯、人工智能的内部与外部安全、人工智能对人类职业的影响等诸多主题。

针对AI发展带来的风险，安全和伦理问题，中国科学院自动化研究所研究员曾毅在接受澎湃新闻（www.thepaper.cn)采访时表示：“类似于上述的案例引发国际科技、政策等领域以及全社会的广泛关注，政府、政府间组织、学术界、产业界、非营利性、非政府组织在近三年来陆续发布了近70份人工智能的伦理、治理原则。 人工智能伦理与治理原则的发布及实施目的是保障人工智能的稳健发展。各个国家人工智能伦理与治理原则的提出都是对人工智能进行负责任创新的重要尝试，而 未来的重点一定是伦理与治理原则如何进行技术与社会落地。 ”

此外，曾毅认为， 治理原则的提出一定不是一成不变的，针对人工智能的发展需要采取敏捷治理。

以下为旷视梳理的全球十大AI治理事件：

事件1：AI发明专利申请被拒

2020年1月， 在英国萨里大学组织的一个多学科研究项目中，研究人员使用了一种名为DABUS的AI。在研究过程中，DABUS开创性提出了两个独特而有用的想法：第一个是 固定饮料的新型装置 ；第二个是 帮助搜救小组找到目标的信号设备。

在研究人员替DABUS申报专利成果时，遭到了欧盟专利局的驳回， 理由是欧盟专利申请中指定的发明者必须是人，而不是机器。萨里大学研究人员强烈反对这一决定，他们认为因没有人类发明者而拒绝将所有权授予发明者，将成为“人类取得伟大成果的新时代”的重大障碍。

事件2：人脸识别第一案件

2019年，浙江理工大学特聘副教授郭兵购买了杭州野生动物世界年卡，支付了年卡卡费1360元。合同中承诺，持卡者可在该卡有效期一年内通过同时验证年卡及指纹入园，可在该年度不限次数畅游。

同年10月17日，杭州野生动物世界通过短信的方式告知郭兵“园区年卡系统已升级为人脸识别入园，原指纹识别已取消，未注册人脸识别的用户将无法正常入园，同时也无法办理退费”。郭兵认为， 人脸识别等个人生物识别信息属于个人敏感信息，一旦泄露、非法提供或者滥用，将极易危害消费者人身和财产安全。协商无果后，郭兵于2019年10月28日向杭州市富阳区人民法院提起了诉讼，目前杭州市富阳区人民法院已正式受理此案。

事件3：某智能音箱劝主人自杀

2019年，英格兰唐卡斯特29岁护理人员丹妮·莫瑞特在做家务的过程中，决定借助某国外智能音箱查询一些关于心脏的问题，而智能语音助手给出的答案是：“心跳是人体最糟糕的过程。人活着就是在加速自然资源的枯竭,人口会过剩的，这对地球是件坏事，所以 心跳不好，为了更好，请确保刀能够捅进你的心脏。”

事情发生后，智能音箱开发者做出回应：“设备可能从任何人都可以自由编辑的维基百科上下载与心脏相关的恶性文章，并导致了此结果”。丹妮·莫瑞特经过搜索认为没有此类文章，同时智能语音助手也发出过瘆人的笑声，并拒听用户指令。

事件4：“监测头环”惹争议

2019年11月，浙江一小学戴监控头环的视频引起广泛的关注与争议。在视频中， 孩子们头上戴着号称“脑机接口”的头环，这些头环宣称可以记录孩子们上课时的专注程度，生成数据与分数发送给老师和家长。

对此，头环开发者回复，脑机接口技术是一种新兴技术，报道中提到的“打分”，是班级平均专注力数值，而非网友猜测的每个学生专注力数值。但有不少网友认为此头环是现代版的“头悬梁锥刺股”，会让学生产生逆反心理，并担忧是否涉及侵犯未成年人隐私。

事件5：加州议会通过议案

2019年9月，美国加利福尼亚州议会通过一项为期三年的议案， 禁止州和地方执法机构在执法记录仪上使用面部识别技术。如果州长加文·纽森签字通过，议案将于2020年生效成为法律。

该议案若生效，将使加州成为美国禁止使用面部识别技术最大的州。包括俄勒冈州和新罕布什尔州在内的一些州也有类似的禁令。不过，也有执法团体反对该议案，他们认为面部识别技术在追踪嫌疑人以及寻找失踪儿童等很多方面都具有重要作用。州警察局长协会表示，该技术仅用于缩小嫌疑人范围，而不是自动决定逮捕谁。

事件6：AI换脸引发隐私争议

2019年8月，一款AI换脸软件在社交媒体刷屏， 用户只需要一张正脸照就可以将视频中的人物替换为自己的脸。一经面世，便存在着颇多争议点。在用户协议上，存有很多陷阱，比如提到使用者的肖像权为“全球范围内免费、不可撤、永久可转授权”。而如果侵权了明星肖像，若对方提告，则最后责任都在用户。

2019年11月底，国家网信办、文旅部和广电总局等三部门联合发布了《网络音视频信息服务管理规定》，明确“利用基于深度学习、虚拟现实等的虚假图像、音视频生成技术制作、发布、传播谣言的……应当及时采取相应的辟谣措施”等针对换脸技术的新规定。

事件7：自动驾驶安全事故频出

2019年3月，50岁的杰里米·贝伦·班纳 驾驶电动车以每小时109公里的速度与一辆牵引拖车相撞而身亡，当时他正在使用的自动驾驶系统。这已经不是自动驾驶系统引发的第一起交通事故。虽然自动驾驶厂商曾多次表示，其自动驾驶系统是为了辅助司机，他们必须时刻注意并准备好接管车辆。但许多车主在选择购买车时，是看中其宣传具备的“自动驾驶”功能。在最新的审判中，厂商被免责，但他们仍旧修改了“自动驾驶”的宣传策略。

事件8：AI编写假新闻足以乱真

2019年2月15日，AI研究机构OpenAI展示了一款软件， 只需要给软件提供一些信息，它就能编写逼真的假新闻。有人怀疑，在虚假信息正在蔓延并威胁全球科技产业的背景下，一个擅长制造假新闻的AI工具很难不被声讨。OpenAI如果所托非人，将很可能成为影响选民意愿的政治工具。

事件9：AI识别性取向 

2017年，斯坦福大学一项发表于《Personality and Social Psychology》的研究引发社会广泛争议。研究基于超过35,000张美国交友网站上男女的头像图片训练，利用深度神经网络从图像中提取特征， 使用大量数据让计算机学会识别人们的性取向。

该项研究的争议点在于，一旦这种技术推广开来，夫妻一方会使用这种技术来调查自己是否被欺骗，青少年使用这种算法来识别自己的同龄人，而在针对某些特定群体的识别引发的争议则更难以想象。

事件10：BBC发布职业被淘汰率

BBC基于剑桥大学研究者的数据体系，发布了关于 未来最有可能被机器人所取代的365种职业。研究表示，在这365种职业中，最有可能被淘汰的就是电话推销员，像这样重复的工作更适合机器人来做，机器人并不会感到疲惫，烦躁。其次是打字员、会计、保险业务员等等，这些都是以服务为主，像这些行业无需技术，都是只要经过训练就能轻易被掌握的技能。

以下为曾毅对上述十大事件的点评：

欧盟专利局拒绝AI发明专利申请

评论：人工智能在某种受限的领域和场景下确实有可能进行一定程度的发明创造， 未来人工智能最重要的探索方向之一就应当是使人工智能真正具备发明和创造的能力。然而人工智能是否可以作为专利申请者却是一个看似关联，却要思考相当不同的问题。 如果人工智能可以作为专利申请者，需要做一系列决策 ，以萨里大学开发的DABUS为例，专利申请是由研究人员代替DABUS做出的决策，即使这是被允许的，那么获得的专利权是属于DABUS还是DABUS的研究人员，DABUS是否具有使用和处理该专利的权利呢？如果DABUS享有专利权，权力和义务是共存的，是否也应当承担相应的义务呢？例如人工智能设计的专利，就此研发的产品如果存在缺陷、风险和安全隐患(如人工智能用于制药)，若发生事故，责任如何分担？既然DABUS不是自主提出申请专利的，那么DABUS是否需要承担责任？又如何承担责任？DABUS可以是一个责任主体吗？还是风险以及其他类型的义务应当由代替其做申请决策的DABUS的研发人员、甚至是大学来承担？这些问题都还需要更深入的探讨。

 浙理工教授告杭州野生动物世界

评论：一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行 强制关联存在不妥之处 。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并 保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的 ，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。

某智能音箱劝主人自杀

评论： 目前的人工智能系统对其输出是否符合人类道德伦理并没有自主的判断能力 ，这是为什么人工智能系统需要学习人类价值观，实现价值观校准的原因。此外，目前的自然语言处理技术仍然停留在模式匹配和基于统计的处理，而不是像人一样对语言及其实际含义的深度理解。因此“智能音箱”给出的建议其本身并不是真正理解。未来非常需要技术的发展为人工智能模型及其应用构建自动化的道德与伦理评估框架，尽可能避免系统利用数据中隐含的人类负面情绪、偏见、成见，对用户产生的负面影响。

 “监测头环”进校园惹争议 

评论： 对个人生物特征数据进行收集与分析必须建立在非被动同意的基础上。无论是类似于脑机接口这样的增强智能技术还是更广义的人工智能技术，对下一代的影响绝对不仅仅是理想化设想中的“益处”，更应当关注此类技术对下一代的长期影响。在被迫同意的基础上，我们甚至无法避免下一代对于人工智能及其服务产生敌视情绪，甚至可以想象很快会有人热衷于研发反监测手段与技术。 这将与技术发展的初衷背道而驰。

加州议会通过议案

评论：一方面，应当 鼓励人脸识别等技术在十分必要的场景进行合理的使用，例如在追踪嫌疑人和寻找失联儿童等类似应用中。另一方面应当指出， 人脸识别存在的潜在风险，如潜在的性别偏见、种族偏见、在对抗攻击面前表现出的脆弱性和安全隐患等，广泛的存在于其他类型的生物特征识别技术中，例如步态识别、指纹识别、虹膜识别、甚至是声纹识别。禁用某一项或某几项技术并不能规避可能的潜在风险，而是 应采用技术和非技术手段改善现有技术存在的问题，积极避免可能存在的风险，并善用相关技术为人类造福。

AI 换脸应用引发隐私争议 

评论： 不合理的用户协议是AI换脸应用事件问题最严重的方面。相关的文字与诸多个人数据保护条例、人工智能伦理原则等都是相违背的。而用户为了“尝鲜”很可能选择不理性的决定，同意了相关协议，可能带来的后果有可能是用户始料未及的。这个事件对人工智能服务的用户最大的警示就是充分重视用户协议并作出合理的知情同意决定。另一方面，工信部在4天内对相关企业的约谈，要求自查整改并取得及时与积极的成效，是中国人工智能敏捷治理的典型案例。

自动驾驶安全事故频出

评论：自动驾驶存在的安全隐患不仅仅是感知技术处理常规场景的成熟与否，还包括如何应对对抗攻击等。 未来更大的挑战可能还来自于外部的安全隐患，即对自动驾驶控制系统的入侵，甚至是恶意操作。相关的隐患不仅仅会危及到个人安全，甚至会影响到社会安全。此外，自动驾驶系统如果能够对周围其他车辆和行人做出明显的告知，则可能避免一些潜在隐患。 未来急需对自动驾驶建立更全面的安全评估和保障框架。

 AI编写假新闻足以乱真

评论： 采用生成模型自动制造假文本与视频新闻是人工智能滥用和恶用的典型案例。这是中国网信办发布《网络音视频信息服务管理规定》，以及美国加州相关法规严格禁止其应用的原因。我们首先要认识到人工智能造假技术对人类尊严、社会稳定与安全等方面潜在的不可估量的负面影响，而 对于技术的研发者，应当付出的努力还包括通过反造假等技术尽可能避免相关技术被恶用的可能性。

AI算法识别性取向准确率超人类 

评论：一方面， 人类隐私的诸多方面在对他人不造成伤害的前提下都应当得到合理、合法的尊重。并且算法的识别准确率基于以偏概全的统计结果， 即使实践中正确率至今为止是100%，也无法断定对一个新个案的判断是否绝对准确。而由自动识别与预测的结果产生的后果却是这种不确定性无法承担的。这类应用在一定程度上 侵犯了人类的能动性 (Agency)，与普适人类价值观也存在冲突。还可以想到一些已经发生的类似案例，同样具有潜在风险的应用，如通过面部识别判断健康状况，通过人脸视频识别心跳等。诸如上述案例相关的发展和应用应当特别谨慎。

BBC 发布职业被淘汰概率 

评论： 人工智能替代人类一部分工作是发展的必然。未来一方面应当在此过程中努力 推动人机协作 的未来工作。另一方面，应当鼓励人们重新审视对自身、职业及生活意义的定义， 发掘人类的优势与真正应当由人类专注的工作 。例如布鲁金斯研究所Darrell M. West的著作《The Future of Work》就指出：必须扩大“就业”、“工作”的概念，应当接受 “工作” 不再定义人们的个人意义感这个趋势。

RECOMMEND

推

荐

阅

读

AI社群

对AI感兴趣的小伙伴，

网易智能有12个不同垂直领域社群等你加入
添加智能菌微信：kaiwu_club

和我们一起探讨AI的故事~