你的 AI 算法模型安全吗？来 AI 安全测试基准平台测试下

整理 | 伍杏玲

出品 | AI 科技大本营（ID:rgznai100）

回顾人工智能 60 多年的发展历程，我们经历了第一代以知识驱动的人工智能，第二代以数据驱动的人工智能，如今来到第三代以安全、可控为主的阶段。

为何 AI 安全如此重要？譬如去年引发全民“吃瓜”的“AI 换脸杨幂”等换脸技术，在娱乐之余，还有可能被不法分子应用到黑产以及金融欺诈事件中。

另外，由于算法存在的“对抗样本”特征，黑客可基于对抗样本技术，通过简单伪装，便能引发 AI 算法新漏洞，随之攻击系统。去年美国东北大学和麻省理工学院共同研制出“基于对抗样本”的 T 恤。用技术生成有较强干扰性的图案替换掉衣服上的原有图案，从而改变 T 恤的视觉效果。因此干扰 AI 检测，无法检测出行人，达到“隐身”的效果。

面向恶性 AI 安全事件不断涌现，如何提前评估 AI 算法安全，检测算法漏洞？

6月3日，清华大学联合阿里安全、Real AI发布了 AI 攻防对抗基准平台（Adversarial Robustness Benchmark），可对 AI 防御和攻击算法进行自动化和科学地评估。

AI 模型攻防“标尺”

AI 安全基准平台基于清华大学在 2020 年GitHub 开源的 ARES 算法库，提供模型攻击与防御的排行榜。

安全性对抗稳健性评估 ARES 库，是一个用于对抗性机器学习研究的 Python 库，专注于对图像分类的对抗性稳健性进行基准测试。曾在完整的威胁模型下使用 15 次攻击和 16 次防御对对抗性稳健性进行了基准测试。

谈及 AI 安全基准平台的研发初衷，据官方表示，由于攻击算法是经常变化的，需要考虑模型在多种攻击算法下和更强的攻击下的防御能力，如果只在一种攻击算法下进行测试的话，不够全面。另外，以往一些攻击排行榜只有一些零散和仅针对一个防御算法的排行版，有些也没有统计攻击算法的耗时。

对此，不同于以往只包含零散攻防模型的对抗攻防基准，AI 对抗安全基准平台涵盖目前主流的人工智能对抗攻防模型，并覆盖数十种典型的攻防算法。并且在不同算法比测的过程中尽量采用了相同的实验设定和一致的度量标准，最大限度上保证比较的公平性，做 AI 模型攻防“标尺”。

官网：http://ml.cs.tsinghua.edu.cn/adv-bench/

未来发展

在本次发布的 AI 安全排行榜里，涵盖刚结束的 CVPR2021 人工智能攻防竞赛中诞生的排名前五代表队的攻击算法。此次竞赛吸引到了全球 2000多支代表队提交的最新算法，进一步提升了该安全基准的科学性和可信性。

据介绍，工业界可用该平台来评估自己的 AI 算法安全性，帮助尽早发现模型的安全漏洞。对有学术界而言，平台提供全面、客观、公平、科学地比较模型防御能力和对抗攻击算法攻击能力，具有行业标准性。由于该基准评测平台不是专属于某一家机构或者公司搭建的平台，需要大家共同参与，一起将它打造为更全面、权威的 AI 安全评估平台。

扫描下方二维码，添加小助手
即刻加入 AI 科技大本营「读者群」
群内将不定期放送福利
快快加入吧！

你的 AI 算法模型安全吗？来 AI 安全测试基准平台测试下相关推荐

阿里开源新一代 AI 算法模型，由达摩院90后科学家研发
最炫的技术新知.最热门的大咖公开课.最有趣的开发者活动.最实用的工具干货,就在<开发者必读>! 每日集成开发者社区精品内容,你身边的技术资讯管家. 每日头条阿里开源新一代 AI 算法模型 ...
阿里90后科学家研发，达摩院开源新一代AI算法模型
整理 | 一一出品 | AI科技大本营(ID:rgznai100) AI科技大本营7月5日消息,阿里达摩院宣布开源新一代人机对话模型ESIM.该算法模型提出两年多,已被200多篇论文引用,更曾在国际 ...
阿里 90 后科学家研发，达摩院开源新一代 AI 算法模型
整理 | 一一出品 | AI科技大本营(ID:rgznai100) 7月5日,阿里达摩院宣布开源新一代人机对话模型ESIM.该算法模型提出两年多,已被200多篇论文引用,更曾在国际顶级对话系统评测大 ...
【AI算法模型评测】2 如何评价多标签分类模型的好坏？
F1 Micro 不考虑标签之间的差异,将不同的混合矩阵相加的和算取F1的 precison Micro,Recall Micro,F1 Micro. F1 Macro 考虑标签差异,单独计算每个标签 ...
c语言中国象棋ai算法,【中国象棋】AI算法中的棋子价值是怎么衡定的？
棋子价值在对弈时,双方都要进行不可避免的兑子[帅(将)是唯一不可兑换的棋子,下列子的价值如下(以车9分为例,帅(将)除外] 车--9分战斗力最强大的棋子,是作战主力的第一位.车的价值最大,用分值来 ...
节后综合征疗愈神器，这个开源项目帮你10分钟上手AI算法开发！
想要应用AI技术进行产业智能化升级,又担心缺乏计算机.数学等理论基础? AI算法训练完成,优化部署上线又是一个趟不过去的大坑? 别担心,今天就教大家应用一个开源项目--飞桨全流程开发工具PaddleX ...
通过预先数据标注让AI算法更加精确
在机器学习中,数据标注是为原始数据(图像.文本.语音.视频.点云等)上的目标或事件标注丰富的标签以为机器学习模型提供理解数据上下文的能力的过程.例如,标注标签会说明图片中是否包含汽车和行人.在语音文件 ...
目标检测算法模型YOLOV3原理及其实战课程简介
前言在移植目标检测算法模型到海思AI引擎上运行的过程中,深切感受到理解和掌握算法模型原理的重要性. 基于此,我出了一门专门来讲目标检测算法模型原理及实战的课程.虽然讲的是YOLOV3模型,但是对理解 ...
AI大模型知识点大梳理
文章目录 AI大模型是什么 AI大模型发展历程 AI大模型的底层原理 AI大模型解决的问题大模型的优点和不足影响个人观点 AI大模型是什么 AI大模型是指具有巨大参数量的深度学习模型,通常包含数 ...

你的 AI 算法模型安全吗？来 AI 安全测试基准平台测试下

你的 AI 算法模型安全吗？来 AI 安全测试基准平台测试下相关推荐

最新文章

热门文章