机器学习算法易受攻击?阿里“安全基建”这样应对AI的不安全
出品 | AI科技大本营(ID:rgznai100)
数字基建的浪潮之下,诸多行业领域都在加速融合5G、大数据中心、AI等新技术,向数字化转型。近日,多位全国政协委员、院士和安全行业专家提出,应尽快出台安全基建国家标准,让数字化程度高、安全技术能力强的企业充分发挥作用,把它们在不同应用场景中沉淀的安全能力推广应用。
今年3月底,阿里发布了数字基建新一代安全架构,其核心理念就是安全基建。安全基建主打事前、事中的建设防护,目的是为各类App和网站等数字经济实体的搭建过程建立标准化流程,确保数字经济实体在建设之初就运行在较高安全基线上。
阿里安全首席架构师钱磊介绍,安全基建概念的提出,解决的是数字经济实体搭建的“安全施工标准”问题,内容涵盖软件供应链安全、技术和业务漏洞检测、隐私与内容风险检测、应用可信等多个维度。
如果说,强调生产要素标准化的安全基建层,是让数字经济实体具备了免疫能力。安全运营层则通过决策引擎,让风险从事后发觉处置走向了事前的态势感知。以风控分析师、安全策略师和风险运营师为代表的安全专家,通过海量数据分析,寻找规律并定义策略,从多个维度感知对抗威胁,并进行应急响应。
安全技术层是整个安全体系的基石。由攻防技术、数据安全技术、密码学、算法等安全技术构建的安全技术矩阵,是新一代安全架构的能力“底座”。
这里就不得不提到技术效率的问题。在钱磊看来,安全发展到最后,其实是一个效率问题。“即便是什么都能做,但是假如一整套安全模型走下来,需要10分钟,那么这个安全体系同样是垃圾。”
“我们可以把网络空间安全建设比喻成修建城墙。城墙是为了抵御外敌,但城门则是为了让人们顺畅同行。在进入城门的人群知中,如何识别潜伏在好人中的坏人,如何去识别坏人,这就是安全算法层面要解决的问题,只有不断的沉淀精准识别模型算法,才能真正的提高技术效率,做到让好人一路绿灯让坏人寸步难行。”
安全AI技术作为安全技术矩阵中的一环,显然就是提高“城门通行效率”的核心能力。
去年12月,阿里安全提出“安全AI”概念,指出安全和AI是互相促进的有机体。一方面,AI技术应用在安全领域,可以让安全能力更智能;另一方面,安全技术应用在AI领域,可以让AI能力更可靠。阿里安全认为,安全技术在经历了专家运营阶段、数据智能阶段后,已经迎来的安全AI阶段。在安全AI阶段,更多的安全识别、决策、处置等关键动作将主要依靠AI来实现。
要想让AI安全地“卖力”,技术人需要付出巨大努力。不容忽视的一个关键问题是,如何解决AI算法模型鲁棒性不足、易受攻击的特性?
目前,阿里安全正在做的是,主动挖掘机器学习算法的安全漏洞,以期构建更加安全和可信的AI系统,并发展新的机器学习算法,逐步将AI的安全问题体系化、标准化。
当然,阿里安全并不是独自在战斗。来自全球的庞大开发者群体也在用各种方式协同作战,来提升机器学习算法的安全性和可靠性。
为了发现AI领域中目标检测模型的脆弱性、为此领域的工作者敲响警钟。近期,阿里启动了安全AI挑战者计划第四期,是全球首个结合黑盒白盒场景,针对多种目标检测模型的对抗攻击竞赛。
与前三期重在算法领域深耕不同,新一期计划实现AI算法和网络安全的融合,打破行业ML/DL一家独大的情况,引领AI技术在落地时一定程度上结合传统技术,运用多种技术组合解决业务问题,更好的抵御深度学习时代的安全问题。
据介绍,比赛采用COCO数据集,其中包含20类物体。任务是通过向原始图像中添加对抗补丁(adversarial patch)的方式,使得典型的目标检测模型不能够检测到图像中的物体,绕过目标定位。
为了更好的评价选手的攻击效果,大赛创造了全新的得分计算准则。除了加入攻击成功率之外,我们还对添加补丁的数量和大小进行了约束。选手添加的补丁数量、修改的像素和模型识别到的包围盒越少,则代表攻击更加成功,得分则越高。为了保证比赛难度,大赛选取了4个近期的State-of-the-art检测模型作为攻击目标,包括两个白盒模型——YOLO v4和Faster RCNN和另外两个未知的黑盒模型。
从技术难度看,目标检测攻击要求对目标的类别、未知等信息同时进行攻击,问题的复杂度更高也更有挑战;另外,本次竞赛采用了全新的设定,允许参赛这通过多块patch对目标进行攻击,进一步提高了问题的挑战性。此外,也鼓励参赛者能够发挥自己的创造性,提出有价值的解决方案。
总之,他们希望从实际业务出发,通过场景、技术、数据、算力、经验等支持,帮助更多的安全爱好者在数字基建浪潮的多元复杂场景中得到磨练,具备真正的安全能力。
最后放出大赛链接,感兴趣的开发者可以报名:http://suo.im/6cVz5w
推荐阅读
吊打一切:YOLOv4的tricks汇总
解读TF、PaddlePaddle、天元等AI框架,你想知道的都在这里了
Python 编程语言的核心是什么?
CSDN 创始人蒋涛:开源吞噬世界,得开发者得天下
“自由主义教皇” 、Linux 之父的封神之路
以太坊2.0究竟何时落地?V神这样说……
你点的每个“在看”,我都认真当成了AI
机器学习算法易受攻击?阿里“安全基建”这样应对AI的不安全相关推荐
- 分段显示 linux_ArchAudit:一款在 Arch Linux 上检查易受攻击的软件包的工具 | Linux 中国...
Arch-audit 是一个类似于 Arch Linux 的 pkg-audit 工具.它使用了令人称赞的 Arch 安全小组收集的数据.-- Prakash Subramanian 我们必须经常更新 ...
- C/C++ 最易受攻击、70% 漏洞无效,揭秘全球开源组件安全现状
开源是一种精神,更是一种合作共赢的模式.不过如今的开源生态虽然得以让诸多的程序员.技术人们学习.修改以及以任何目的向任何人分发开源软件,但是这并不意味着足够的安全.在本文中,我们将从最新发布的< ...
- 第三方依赖关系的风险:利用数十个易受攻击的 NuGet包瞄准 .NET 平台
聚焦源代码安全,网罗国内外最新资讯! 编译:奇安信代码卫士 研究人员分析NuGet 仓库上托管的现成可用软件包后指出,51个唯一的软件组件易受多个可活跃利用高危漏洞的影响,再次说明了第三方依赖关系对 ...
- SoftPAC 虚拟控制器漏洞使 OT 网络易受攻击
聚焦源代码安全,网罗国内外最新资讯! 编译:奇安信代码卫士团队 工业网络安全公司 Claroty 的一名研究员在 Opto 22 的 SoftPAC 虚拟可编程自动控制器 (PAC) 中发现了多个漏 ...
- 微软反向 RDP 漏洞补丁不当,第三方 RDP 客户端易受攻击
聚焦源代码安全,网罗国内外最新资讯! 作者:Ravie Lakshmanan 编译:奇安信代码卫士团队 还记得反向 RDP 攻击吗?易受路径遍历漏洞影响的客户端系统通过微软远程桌面协议远程访问服务器 ...
- 内存完整性已关闭,你的设备可能易受攻击已解决之处理方法
最近有用户在打开安全中心内存完整性的时候提示内存完整性已关闭,你的设备可能易受攻击,这是有些驱动的兼容问题确实会导致内存完整性不能开启,那么该怎么解决呢?下面来看看解决方法吧!内存完整性是 Windo ...
- 十大最易受攻击的软件 Java第一Adobe第三
本文讲的是十大最易受攻击的软件 Java第一Adobe第三,一份最近的区域性调查报告显示,美国个人电脑上安装的软件中,甲骨文公司的Java,苹果公司的QuickTime,以及Adobe公司的PDF阅读 ...
- 【网络研究院】攻击者扫描 160 万个 WordPress 网站以查找易受攻击的插件
安全研究人员检测到一场大规模的活动,该活动扫描了近160万个WordPress网站,发现存在一个允许在未经身份验证的情况下上传文件的易受攻击的插件. 攻击者的目标是KaswaraModernWPBak ...
- 【web-攻击web服务器】(13.2)易受攻击的服务器软件、Web 应用程序防火墙
目录 一.易受攻击的服务器软件 1.1.简介: 1.2.应用程序框架缺陷 简述: .NET填充提示 1.3.内存管理漏洞 简述: 1.4.编码与规范化漏洞 简述: 1.5.查找Web服务器漏洞 简述: ...
最新文章
- 结巴分词和自然语言处理HanLP处理手记
- 1、Android测试入门
- Windows 2012 R2 中 AD DS 部署
- Struts1 处理接收参数插入到数据库之后呈乱码的问题解决
- matlab 8.4,《DSP using MATLAB》Problem 8.42
- C#调用Java方法(详细实例)
- 【maven】maven dependencyManagement 锁定Jar包版本
- Java项目:大学生实习管理系统(java+SpringBoot+Thymeleaf+html+JQuery+bootstrap)
- 飞信的 SIP 协议分析
- 关于nginx报499的问题排查分析
- ZZNU17级新生周赛第六场
- GitHub使用教程详细图解
- C# 中的委托和事件1
- ios获取UUID的方法
- JustifyTextView 解决TextView中英文混排排版问题,android文字排版不齐,
- extjs调试错误 TypeError:p is null 或 TypeError: el is null
- 硬盘质保、保修期网上查询
- IBM Websphere Premises Server V6.1入门介绍和API实践
- 错误:The Operation Couldn't be Completed
- Realme GT ROOT 解锁BL教程
热门文章
- BootStrap 模态框禁用空白处点击关闭
- ABP官方文档翻译 6.1.2 MVC视图
- 在VMware Workstation上安装Ubuntu 16.04 Server操作系统
- python3正则表达式符号和用法
- 如何制作一个类似Tiny Wings的游戏 Cocos2d-x 2.1.4
- php实现无限分类超牛逼,PHP超牛逼无限极分类生成树方法_php技巧
- 暑期集训1:C++STL 例2:UVA-10935
- 力扣—— 三维形体投影面积
- $.ajax居然触发popstate事件?
- Oozie 配合 sqoop hive 实现数据分析输出到 mysql