构建第三代人工智能核心能力，清华、阿里、RealAI等联合发布最新AI安全评估平台
科技是发展的利器，也可能成为风险的源头。近日，张钹院士在智源大会上表示，AI的发展带来了科技是发展的利器，也可能成为风险的源头。近日，张钹院士在智源大会上表示，AI的发展带来了新的风险和安全隐患。
在算法层面看，现有的AI算法很脆弱，泛化能力很差。这就意味着如果将算法运用到与训练场景区别很大的实际场景中，就会存在安全问题。
从数据层面看，现在人工智能应用效果很大程度上依赖数据质量，但由此会带来隐私泄漏、数据确权等问题。在应用层面，人工智能技术已经逐渐对人们的生活造成冲击，比如售楼处看房戴头盔、困在算法里的外卖骑手等等。还有像深度伪造之类可能对社会造成重大影响的技术，都必须保证安全可控。说明AI的发展与治理之间存在更大与更多的矛盾。
因此，随着AI算法技术不断提升，安全可控性变得十分重要。特别是像人脸识别领域，易攻击性等安全问题的不断出现，促使大众深层次关注AI技术发展过程中的社会影响以及技术本身的可靠性。
产业侧对人工智能的期待进一步提升，但第一二代人工智能都存在天然的算法漏洞和缺陷，难以支撑人工智能的长久高质量发展。为此，RealAI创始人田天提出，需加快发展第三代人工智能，从目前的产业阶段与技术需求来看，第三代人工智能需发展“安全、可控”两大核心能力。
近日，清华大学联合阿里安全、Real AI发布了首个公平、全面的AI攻防对抗基准平台，该评测基准基于清华大学在2020年GitHub开源的ARES算法库，该平台致力于对AI防御和攻击算法进行自动化、科学评估。AI模型究竟是否安全，攻击和防御能力几何？只需提交至该平台，就可见能力排行。
构建这个平台的最初设想是什么？
“就像打仗一样，攻击者可能用水攻，也可能火攻，还可能偷偷挖条地道来攻打一座城，守城的人不能只考虑一种可能性，必须布防应对许多的攻击可能性。”参与该评测基准平台设计的阿里安全高级算法专家越丰这样比喻。
尤其要关注恶意攻击者对数据或样本进行“投毒”，故意影响AI模型的攻击行为。
UIUC（伊利诺伊大学）计算机科学系教授李博认为，机器学习在推理和决策的快速发展已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中，但传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布，并未考虑到潜在攻击者恶意修改两种数据分布。
这相当于在一个人成长的过程中，故意对他进行错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动，误导机器学习模型的预测，或将精心设计的恶意实例注入训练数据中，通过攻击训练引发AI系统产生错误判断。好比是从AI“基因”上就做了改变，让AI在训练过程中按错误的样本进行训练，最终变成被操控的“傀儡”，只是使用的人全然不知。
“深入研究潜在针对机器学习模型的攻击算法，对提高机器学习安全性与可信赖性有重要意义。”李博指出。
之前的研究者在衡量模型的防御性能时，基本只在一种攻击算法下进行测试，不够全面。攻击算法是经常变化的，需要考虑模型在多种攻击算法下和更强的攻击下的防御能力，这样才能比较系统地评估AI模型的防御能力。
再加上业界此前提出的各种“攻击算法排行榜”只包含一些零散的算法，测量攻击算法的环境只包含单一的防御算法，用于评测的数据集也不多，并没有合适的统计、度量标准。
阿里巴巴安全部技术总监薛晖表示，参与推进这项研究工作，除了帮助AI模型进行安全性的科学评估，也是为了促进AI行业进一步打造“强壮”的AI。
为解决上述问题，近日，清华大学、阿里安全、RealAI三方联合提出深度学习攻击防御算法及评测的基准平台。
不同于之前只包含零散攻防模型的对抗攻防基准，此次推出AI对抗安全基准基本上包括了目前主流的人工智能对抗攻防模型，涵盖了数十种典型的攻防算法。不同算法比测的过程中尽量采用了相同的实验设定和一致的度量标准，从而在最大限度上保证了比较的公平性。
除此之外，本次发布的AI安全排行榜也包括了刚刚结束的CVPR2021人工智能攻防竞赛中诞生的排名前5代表队的攻击算法。此次竞赛吸引到了全球2000多支代表队提交的最新算法，进一步提升了该安全基准的科学性和可信性。
“通过对AI算法的攻击结果和防御结果进行排名、比较不同算法的性能，建立AI安全基准具有重要学术意义，可以更加公平、全面地衡量不同算法的效果。”朱军介绍道。
“该基准评测平台利用典型的攻防算法和CVPR 2021比赛积累的多个性能优越的算法进行互相评估，代表当前安全与稳定性测量的国际标准。”RealAI副总裁唐家渝说。
越丰认为，该平台的发布对工业界和学术界都能带来正面的影响，比如工业界可以使用该平台评估目前AI服务的安全性，发现模型的安全漏洞。同时，也可为学术界提供一个全面、客观、公平、科学的行业标准，推动整个学术界在AI对抗攻防领域的快速发展。
清华方面介绍，本次发布的AI安全基准也是依托清华大学人工智能研究院研发的人工智能对抗安全算法平台ARES（Adversarial Robustness Evaluation for Safety）建立。ARES作为古希腊神话中的战神，双手持矛和盾是攻防合一的化身，集中体现了AI安全算法攻防博弈的特点。该平台对主流的攻防算法实现了模块化的设计，支持数十种主流攻防算法的实现，可以方便研究者和开发人员进行使用，有助于推动AI对抗攻防领域的发展。
清华大学、阿里安全、Real AI三方强调，该基准评测平台不是专属于某一家机构或者公司搭建的平台，需要工业界和学术界的共同参与才能把它打造为真正受认可的全面、权威的AI安全评估平台。因此，三方将联合不断在排行榜中注入新的攻击和防御算法，并且欢迎学术界和产业界的团队能提供新的攻防模型。
最后，张钹院士表示，AI的创新发展是大道理，纵观信息科技的发展历史，尽管信息科技发展异常迅猛，但基本上安全可控。而AI的发展却缓慢曲折，安全问题层出不穷。两者的差别在哪里？值得我们深思。不同在于，从信息革命一开始，信息的3大理论就已经建立，即图林机理论（1936），申论的通讯理论（1948），维纳的控制论（1948）。有了坚实的理论基础，从而引导信息技术健康地发展。AI则相反，它的理论基础至今没有建立，尽管经历了第一代AI的符号主义模型（知识驱动），和第二代AI的亚符号（连接）主义模型（数据驱动），由于它们均具有很大的局限性，不能构成AI的理论基础。由于缺乏理论指导，AI的发展处于难以控制的局面。必须解决这个“卡脖子”的基础理论问题，因此建立AI的理论基础是我们提出“第三代人工智能”的初衷。所谓的“第三代人工智能”，其发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能，利用知识、数据、算法和算力4个要素，建立新的可解释和鲁棒的AI理论和方法，从而发展安全、可信、可靠和可扩展的AI技术。这样发展第三代AI和AI治理一起抓，以达到相辅相成共同发展。
附1：基准测试平台网站http://ml.cs.tsinghua.edu.cn/adv-bench/
附2：ARES开源算法库https://github.com/thu-ml/ares
构建第三代人工智能核心能力，清华、阿里、RealAI等联合发布最新AI安全评估平台相关推荐
- 中移物联与阿里云IoT联合发布“中移天枢”智能云模组 全面接入AliOS Things
8月24日,在2018云栖大会·重庆峰会上,中国移动全资子公司中移物联网有限公司与阿里巴巴旗下阿里云IoT宣布达成重大合作,双方将联合发布"中移天枢"智能云模组,全面接入阿里云Io ...
- BCG、阿里、百度联合发布中国互联网经济白皮书2.0，解读“中国互联网新篇章：迈向产业融合”...
来源:阿里研究院 2017年9月13日,BCG携手阿里研究院.百度发展研究中心和滴滴政策研究院共同发布了中国互联网经济白皮书1.0,第一次全面解读了中国互联网的"中国特色". 该报 ...
- 第三代人工智能基础设施背后，是一次技术应用的常识普及运动
来源:脑极体 买了新电脑和手机,你会提前安装好杀毒或安全软件,还是等被黑客攻破了才悔之晚矣? 处理传染病疫情,是从源头释放药物和疫苗,还是坐等医院的患者超过治疗和处理能力? 面对危机舆情,是快速遏制传 ...
- 跨国企业在中国 | 葛兰素史克与阿里健康签署联合商业计划；上海迪士尼举办首届“国际美食趴”...
摘要 英特尔.麦德龙中国.伊蒂之屋.欧莱雅.雀巢.菲仕兰.伍尔特中国.CEVA物流.爱彼迎.万豪国际.上海迪士尼.嘉德诺.葛兰素史克.飞利浦.勃林格殷格翰等跨国企业在中国业务发展最新资讯. IT科技与 ...
- 清华孵化、张钹加盟的这家公司，现在把“第三代人工智能”落地了
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 转载自:量子位 一家清华孵化的公司,最近"口出狂言"了. 回顾2020的A ...
- 对话清华教授孙茂松：第三代人工智能要处理“可解释性”问题
来源:澎湃新闻 本文约3800字,建议阅读10分钟. 孙教授与你分享当下人工智能的发展.困境与解决方法. 正如人类会综合利用视觉.听觉.触觉.语言等信息,让人工智能(AI)从多角度.多模态.多学科学习 ...
- 清华张钹院士专刊文章：迈向第三代人工智能（全文收录）
来源:清华大学人工智能研究院 作者:张钹.朱军.苏航 人工智能(ArtificialIntelligence,简称 AI)在 60 多年的发展历史中,一直存在两个相互竞争的范式,即符号主义与连接主义( ...
- 驱动AI产业“第二增长曲线”，清华系RealAI发布首个企业级隐私保护机器学习平台与升级版AI模型杀毒软件
12月9日,由清华大学人工智能研究院.北京智源人工智能研究院.北京瑞莱智慧科技有限公司联合主办的"2020第三代人工智能产业论坛暨瑞莱智慧RealAI战略发布会"在北京召开.清华大 ...
- 年薪达不到23.5万全额退款 | 人工智能核心能力培养计划
面试过很多AI岗位,为什么就是拿不到offer? 掌握哪些技能才能顺利进入AI行业? AI行业很多职位,怎样才能成为最核心的那个? AI行业是21世纪的风口行业,但是很多AI领域从业者思维和技能陈旧, ...
最新文章
- iOS HitTest 机制
- swift实现ios类似微信输入框跟随键盘弹出的效果
- 只知道TF和PyTorch还不够，快来看看怎么从PyTorch转向自动微分神器JAX
- mysql停电后无法启动不了_急求mysql 断电后无法启动解决方法！！！！
- ZJOI2019游记
- 带你走进网站分析的世界！
- 与 OpenCV 1 同时使用
- array_agg_探索强大SQL模式：ARRAY_AGG，STRUCT和UNNEST
- Ubuntu 创建文件夹时出现：用户名 不在 sudoers 文件中。此事将被报告。
- web前端基础（11html5和css）
- Unicode 与 UTF-8 之间的转换
- vbs格式编程教程基础
- 简单Python爬虫实例：抓取豆瓣热映电影信息
- Js函数加括号、不加括号
- win10系统wifi能连上但不能上网怎么办
- U811.1接口EAI系列之二--生成销售出库单调用U8的EAI通用处理方法--PowerBuilder语言...
- day16-简单网页数据爬取
- mysql 设置外键
- regl fake-3d 静态图变动态图, 使用深度信息图片
- 基于JAVA（Springboot框架）助农商城平台系统设计与实现 毕业设计开题报告