对抗性攻击轻松愚弄人工智能

对抗性攻击欺骗图像识别算法将3D打印乌龟认作步枪。

来源：中国科学报

摘要：在日前于瑞典斯德哥尔摩举行的国际机器学习会议上，一群研究人员描述了他们的3D打印乌龟。

在日前于瑞典斯德哥尔摩举行的国际机器学习会议上，一群研究人员描述了他们的3D打印乌龟。大多数人会说，它看上去就像一只乌龟，但人工智能（AI）算法有不同的看法。在大多数时候，AI认为这只乌龟看上去像一支步枪。类似地，它将一个3D打印的棒球视为浓缩咖啡。这是“对抗性攻击”的例子——稍作改变的图片、物体或者声音可愚弄AI。

AI领域一些引人注目的进步，尤其是在消化了训练数据集后能识别声音或物体的机器学习算法，刺激了语音助手和自动驾驶汽车的发展。但这些AI应用很容易被欺骗。

在此次会议上，对抗性攻击是一个热门主题。研究人员报告了欺骗AI以及保卫它们的各种新方法。令人担忧的是，会议的两个最佳论文奖之一给了这样的结论：其发现受到保护的AI并非像其开发者可能认为的那样安全。“我们这些机器学习领域的专家并不习惯于从安全性的角度看待问题。”共同主导上述3D打印研究的麻省理工学院（MIT）计算机科学家Anish Athalye表示。

致力于研究对抗性攻击的计算机科学家表示，他们正在提供一种服务，就像指出软件安全缺陷的黑客一样。“我们需要重新思考所有的机器学习途径，以便使其更强劲。”MIT计算机科学家Aleksander Madry认为。

研究人员表示，这些攻击在科学上也有用处，为了解被称为神经网络的AI应用提供了罕见的窗口。神经网络的内在逻辑无法得到清晰明了的解释。加州大学伯克利分校计算机科学家Dawn Song表示，对抗性攻击是强大的镜头，“透过它，我们能理解获得的机器学习知识”。

去年，Song和同事将一些贴纸放到停车标志上，从而欺骗一种常见的图像识别AI认为其是每小时不超过45英里的限速标志。这一结果令自动驾驶汽车公司不寒而栗。

研究人员正在设计更复杂的攻击。在另一场会议上，Song还将报告一种让图像识别AI不只误判物体，还对其产生幻觉的“花招”。在一项测试中，凯蒂猫隐约出现在机器的街景视图中，而路上行驶的汽车却消失了。

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

对抗性攻击轻松愚弄人工智能相关推荐

人工智能医疗是把双刃剑，“对抗性攻击”后可导致误判
https://static.cdsb.com/micropub/Articles/201903/c92bdfc86585e8298a7c4b596e946584.html 去年,美国食品药品监督管理 ...
对抗性攻击的原理简介
来源:Deephub Imba 本文约2200字,建议阅读5分钟本文介绍了对抗性攻击的原理. 由于机器学习算法的输入形式是一种数值型向量(numeric vectors),所以攻击者就会通过设计一种 ...
独家 | 神经网络的对抗性攻击：快速梯度符号方法的探索（附链接）
作者:Patrycja Jenkner 翻译:陈之炎校对:欧阳锦本文约2300字,建议阅读8分钟本文将尝试一种非常流行的攻击:快速梯度符号方法,来证明神经网络的安全漏洞. 标签:对抗性攻击,神经 ...
图的对抗性攻击与防御
Adversarial Attacks and Defenses on GraphsA Review and Empirical Study --图的对抗性攻击与防御:回顾与实证研究 (2020-03 ...
如何“愚弄”人工智能？
人工智能概念虽然已经流行了很多年,并且在一些产品上得到落地与应用.不过从使用效果来说,人工智能偶尔还是会被调侃为"人工智障",被人们"玩弄于鼓掌之间". 很多人 ...
18 岁清华毕业，95后博士生杨幻睿将深度学习 “单核” 变“多核”，显著提高 “对抗性攻击” 防御力-1
9 月 26 日,杜克大学陈怡然教授在微博秀出了组里博士生的成绩--杨幻睿同学的论文被 NeurIPS 评为最优的 Oral 级别,并不忘强调"还是家里领导最牛",狠狠向粉丝撒了一 ...
机器学习中对抗性攻击的介绍和示例
来源:DeepHub IMBA 本文约1000字,建议阅读5分钟本文为你展示微小的变化如何导致灾难性的影响. 概念对抗样本是专门设计的输入,旨在欺骗机器学习 (ML) 模型,从而导致高置信度的错误 ...
机器学习HW10对抗性攻击
机器学习HW10对抗性攻击一.任务描述二.算法 1.FGSM 2.I-FGSM 3.MI-FGSM 4.多种输入(DIM) 评估指标三.实验 1.Simple Baseline 2.Medium ...
火炬电阻_火炬神经网络的对抗性攻击和防御
火炬电阻 The rise of deep learning and neural networks brought various opportunities and applications su ...

对抗性攻击轻松愚弄人工智能

对抗性攻击轻松愚弄人工智能相关推荐

最新文章

热门文章