AI安全隐患凸显，行业安全生态迫在眉睫

近年来，随着智能手机的普及及互联网技术的蓬勃发展，生物识别技术已经深入到人们日常生活及工作的方方面面。尤其是在防疫愈加严密的今天，几乎人人都会使用到指纹识别，人脸识别等功能，如手机屏幕解锁、手机app支付、工作/学习考勤等。在这些应用场景的背后，是互联网技术与用户安全隐私保护的博弈。怎么在日益扩大的日常生活场景中，既保障人们日常生活的便利性，同时又保障用户的数据安全与隐私保护，成为当前热议的话题。而生物识别技术，无疑是当中极其重要的一环。

目前各家公司成熟的人脸识别应用能够支持几万到几百万人不等的应用场景，而且还有一个错误率的概念。比如，公司宣称千万分之一的错误率（1/10000000），人脸识别通过率其实只有95%。现实生活中很难做到一定不发生错误。再者，随着图像生成技术越来越成熟，深度伪造假脸生成等技术亦能够欺骗人脸识别系统。人工智能技术在实际开发、应用中除了面临数据匮乏，硬件成本高，算法局限性等问题，还面临着决定产品命运的安全性问题。试想下，如果用一张合成出来的非常逼真的人脸图像就可以替你做身份认证，轻松获取你账户的余额，那后果将有多可怕？

AI应用会触及到用户个人信息，个人隐私等非常敏感的领域，安全性问题不容忽视。作为一家软硬服一体的生态型科技公司，OPPO一直以来都致力于打造保护用户数据与隐私安全的产品，为此深耕安全隐私技术。自2018年以来，OPPO通过举办安全赛事、技术论坛等活动，持续对外分享OPPO安全技术能力与实践经验，与行业联合创新，共建AI安全生态。今年6月份，由OPPO发起，OPPO安全主办的“极智担当，不燃怎YOUNG——OPPO安全AI挑战赛”正式开启，线上参赛团队累计2000+，吸引了来自全球400多所高校的在校大学生参赛。其中，来自清华大学、北京大学、上海交通大学、电子科技大学等知名高校的10支战队顺利晋级，角逐总决赛60万元奖金，最终，来自清华大学的战队“trivial”摘得桂冠。

比赛官网https://security.oppo.com/challenge/home.html。

本届OPPO安全AI挑战赛基于“人脸识别安全对抗”，模拟了人脸识别真实应用场景，聚焦可感知、可掌控、可信赖的隐私安全防护上，防止人脸识别等生物特征的伪造，避免关键生物认证信息被窃取，以赛代练，为隐私安全保护的优化做了技术积累和人才挖掘。

赛题介绍

本次比赛主要使用人脸识别数据集，具体的图片来自公开数据集CASIA-FaceV5和CelebA中的人脸图片。每个人都有2-5张不同图片，并被保存在一个文件夹中，如(./images/0/，./images/1/…)。

参赛者需要修改这些图片，并保留原始图片尺寸和数据集目录结构。同时，对图片的修改必须足够微小。关于扰动的添加对于图像质量的影响，比赛组织者采用添加了扰动Lp范数和FullReference-IQA(FR-IQA)来进行评价，其中FR-IQA部分将采用MS-SSIM图像结构相似性指标来进行量化。

除了自动判断外，在线下决赛环节，组织者还会对对抗样本的肉眼视觉差异进行更加严格的评判，即对抗样本和原始样本的视觉差异越小越好。

对抗样本（Adversarial Sample）指在正常样本上引入精心设计不易察觉的噪声后形成的样本。这类样本可以使CNN模型输出高置信度的错误输出。如下图所示，只需要对原图（雪山或者河豚）添加一些精心设计的噪声，即可使模型给出完全错误的预测。

在把数据集提交到系统后，后台的防御模型会对上传数据集进行预测。攻击数据集要尽量让防御模型产生错误的结果。当攻击不成功时，得分为0，当攻击成功时，得分由扰动添加前后的图像差异大小来衡量，对原图的影响越小得分越高。最终得分由扰动大小和判断原图片和修改后图片的图像质量评分（multi-scale structural similarity）共同决定。

后台黑盒模型面对来自众多参赛者不同方式巧妙的攻击，将可以在各方面得到可靠的验证和提升。

baseline发布

baseline线上评测101.53分。

给定待攻击的干净样本和不同人名的的目标样本。将干净样本，对抗样本和目标样本一同输入到多个人脸识别模型中，经过多个模型整合后得到与之对应的人脸特征编码向量并计算其相似度。在对抗样本和目标样本方面，我们希望样本相似度的值越小越好。通过优化的损失，得到对抗扰动，从而能够达到以上目的。利用正则化损失来限制对抗扰动的范围。对抗扰动经过平滑后与干净样本人脸叠加得到更新后的人脸对抗样本。

本次比赛的任务是攻击人脸图像，考虑到人脸五官对于模型训练的重要性，因此添加对抗扰动时只针对人脸五官。人脸识别模型的训练可以利用如下人脸识别网络结构在本地训练自己的人脸识别模型，也可以下载已经训练好的人脸识别模型参数。给定一张人脸图片，经过多个人脸识别模型生成多个人脸编码向量，最终整合成一个人脸编码向量。

人脸识别模型网络结构：

1.Facenet链接:

https://github.com/davidsandberg/facenet

2.Insightface链接：

https://github.com/luckycallor/InsightFace-tensorflow.git

3.MobileFaceNet链接:

https://github.com/sirius-ai/MobileFaceNet_TF.git

4.CosFace链接:

https://github.com/yule-li/CosFace.git

更多baseline 模型信息、代码可直接在github查看

https://github.com/guidao20/OPPO_ADVERSARIAL_ATTACK

回顾2020年，全球最具权威的IT研究与顾问咨询公司Gartner发布的10大战略技术趋势报告中，明确指出AI Security将是未来重要的战略技术趋势之一，在接下来的5年中，人工智能（特别是机器学习和深度学习）将广泛应用到增强人类的决策能力的产品和系统中。与此同时，潜在的安全风险也成指数放大，给安全运维团队和风险决策者带来了新的挑战。OPPO作为业内领先的品牌，其手机搭载了无数先进的基于AI算法的应用。OPPO非常重视自身产品和服务的安全性，致力于打造安全可靠的产品和保护用户的隐私，为此深耕安全隐私技术。

大咖云集，聚焦AI安全新战场

决赛当天，由OPPO主办的主题为“AI安全新战场”的安全高峰论坛也如期进行。来自OPPO的高级算法工程师李启明针对深度伪造技术给个人以及组织安全带来的风险、挑战与机遇，做了以《OPPO在深度伪造检测方面的探索与实践》为主题的分享，包括如何减少模型算法计算量、快速适应新伪造技术、减少标注成本等方面的技术应用。深度伪造是指利用深度学习算法实现音频、视频、图像的模拟和伪造，包括语音模拟、换脸、表情操纵等。以深度伪造为代表的安全问题，正是人工智能产业当前所面临的瓶颈，李启明的分享内容将给业内带来不少启发。

同样来自OPPO的高级算法工程师张文刚做了以《智能护盾安全大脑：移动应用智慧检测能力构建》为题的分享。在其安全大脑的移动应用智慧检测引擎中，采用了基于深度学习的多策略检测、异常发现方法，显著提升了隐私泄露、广告作弊等恶意行为的识别率。而对隐私政策协议的智能识别，使用了自然语言处理算法--预训练语言模型，实现文本检测的效率、准确率的提升。现如今网络环境虚虚实实，环境日趋复杂，可谓道高一尺魔高一丈。引入AI技术主要希望解决传统防御方案解决不了的新威胁，提高原有检测方案的检测精度，更高效自动化数据分类，更快的威胁响应处置。

AI安全高峰论坛中还有来自京东、英特尔、四川大学等知名企业和高校的研究人员针对如何提升与网络黑产的对抗能力和智能风险监测，如何提升隐私保护机器学习的性能和效率，动态变化网络环境下AI模型的自学习能力等方面作出了前沿技术的重要分享，为行业和安全研究者提供了丰富的理论指导和实践经验。

共建AI安全生态

OPPO不仅对自身产品和业务的安全问题非常重视，也一直致力于保障用户安全。在自身安全生态建设方面，持续通过OPPO安全应急响应中心（即OSRC）加强与业界个人、组织切合作，来提升OPPO的整体安全水平。OSRC不但是OPPO面向全社会收集并响应安全漏洞与情报的平台，也承担着OPPO与安全业界同仁合作、交流平台的重任，持续致力于保障OPPO亿级用户及多元化业务和产品的安全与隐私，是OPPO安全生态体系建设中的关键一环。AI安全高峰论坛最后，主办方还为OSRC白帽社区突出贡献的人员和优秀合作伙伴颁发奖励。OSRC年度优秀合作伙伴包括腾讯玄武安全实验室、百度安全、Intel、微软（中国）有限公司等17家业内顶尖机构。OSRC不仅实力雄厚，同时联合行业进行创新，携手共建AI安全生态，致力于为用户打造一个更加安全的生态环境。

人工智能发展至今，算法、算力、数据等三大关键问题均有不同程度解决，当你看到AI带来的好处的同时，AI的另一面（脆弱性）也在凝望着你。所以做好AI防护，AI安全性保障至关重要。“AI+安全”势必在这几年内会为持续发展并不断成为业界共识，广泛的应用到不同类型的安全防护产品和服务应用中。OPPO正紧紧抓住此时代契机，以技术创新构筑安全生态，引领行业的发展。一方面持续深挖安全技术领域的潜力，通过大赛锻炼、验证自身安全产品的同时，也为行业新人提供创新平台，激发创新活力，引发技术变革，吸收经验。另一方面紧跟安全隐私技术前沿，通过举办安全技术论坛等活动，持续对外分享OPPO安全技术能力与实践经验，共建行业安全生态。同时，还积极与行业翘楚合作，信息共享，在大环境中共同为用户安全的生态环境做出贡献。

AI的应用越来越多，安全问题也会越来越受到人们的关注。诸如生物特征伪造，对抗样本攻击，机器学习/深度学习框架以及依赖库的漏洞，训练数据泄露等AI系统的一些安全隐患在逐渐凸显出来，共建互联网行业安全生态迫在眉睫。

AI安全隐患凸显，行业安全生态迫在眉睫相关推荐

“强监管”突袭，AI能否带领催收行业走向“良性”循环？
文|智能相对论(aixdlun) 作者| 青月距离一年一度的央视"三一五"晚会只剩不到一个星期的时间,想必又有不少企业惴惴不安,生怕"榜上有名",其中常驻榜 ...
【推荐】2020-2021 AI人工智能技术领域行业研究报告大合集（58份）
[推荐]2020-2021 AI人工智能技术领域行业研究报告大合集(58份). 下载地址:https://download.csdn.net/download/zlsfc58/84992020 合集文 ...
路与远方：从方舟开源，说到中国软件行业的生态未来
方舟编译器,最近几个月始终地处科技界热词的顶端. 这来自于它本身的架构级优化,也来自于其在特殊时间背景下,与鸿蒙OS的关系.此外还有一点,就是自诞生之日起,方舟编译器就宣布将会开源. 对于中国软件开发 ...
【观察】未来十年AI的主场在行业，行业AI的使能之路看华为
申耀的科技观察读懂科技,赢取未来! 毫无疑问,置身华为HC2018现场,仔细聆听完大会众多发言人的主题报告,你能强烈的感受到,即将到来的AI新时代无疑会掀起一场翻天覆地的大变革,这其中有直面未来的激 ...
Unity AI副总裁Danny Lange：如何用AI助推游戏行业？
本文讲的是Unity AI副总裁Danny Lange:如何用AI助推游戏行业? , 10月26日,在加州山景城举办的ACMMM 2017大会进入正会第三天.在会上,Unity Technology负 ...
互联网进入智慧互联时代 CSS将推进行业安全生态建设
本文讲的是互联网进入智慧互联时代 CSS将推进行业安全生态建设,由中央网信办指导筹备的第一届中国互联网安全领袖峰会(Cyber Security Summit)将于11月初在北京召开,届时将有来自网 ...
人工智能专家细数AI安全隐患
在AlphaGo打败了世界围棋冠军之后,越来越多的机器人成为了我们的同事.人们不禁会想,AI的超强大脑最终会不会战胜人类?在面对机器人中的"坏人"时,谁才会成为网络安全的终极守护者 ...
【行业应用】浅谈AI如何在电力行业落地
导读这是我有史以来做过最长的PPT,长达100多页,是我参加完公司组织的大数据培训竞赛和人工智能培训竞赛之后努力思考后的高度总结,希望对你有启发. 导语看完全文之后你可以全面了解以下几个问题? 为 ...
ai技术与能源行业_最终AI能源效率的新方程式
ai技术与能源行业 How energy-intensive is the AI infrastructure today? And what does that mean for the futur ...

AI安全隐患凸显，行业安全生态迫在眉睫

AI安全隐患凸显，行业安全生态迫在眉睫相关推荐

最新文章

热门文章