微软开放 AI 系统工具 Counterfit 源代码

近日，微软开源了 AI 安全风险评估工具 Counterfit，该工具旨在帮助开发人员测试 AI 和机器学习系统的安全性。该公司表示，Counterfit 可以使组织进行评估，以确保其业务中使用的算法是可靠和可信赖的。

当前，人工智能技术正越来越多地应用在医疗，金融和国防等受监管的行业中。但是，组织在采用风险缓解策略方面处于落后状态。一个微软的调查发现，部分企业用户表示，他们没有合适的资源，以确保他们的 AI 系统的稳定性和安全性。

微软表示，Counterfit 诞生于该公司评估 AI 系统是否存在漏洞的需求，目的是主动保护 AI 服务。该工具起初是专门为目标 AI 模型编写的攻击脚本集，然后演变为自动化产品以对多个系统进行大规模基准测试。

在底层，Counterfit 是一个命令行实用程序，为对抗性框架提供了一层，并预先加载了可用于逃避和窃取模型的算法。Counterfit 寻求使安全社区可以访问已发布的攻击，同时提供一个界面，通过该界面可以构建，管理和发起模型攻击。

当使用 Counterfit 在 AI 系统上进行渗透测试时，安全团队可以选择默认设置，设置随机参数或自定义每个参数以覆盖广泛的漏洞。具有多个模型的组织可以使用 Counterfit 的内置自动化功能进行扫描，并可以选择多次扫描，以创建操作基准。

Counterfit 还提供日志记录以记录针对目标模型的攻击。正如微软指出的那样，遥测技术可能会促使工程团队提高对系统故障模式的了解。

在内部，微软将 Counterfit 用作其 AI 红色团队运营的一部分，并在 AI 开发阶段中使用，以在漏洞投入生产之前发现漏洞。该公司还表示，它已经与多家客户进行了 Counterfit 的测试，其中包括航空航天巨头空客公司(Airbus)，该公司正在开发基于 Azure AI 服务的 AI 平台。

“人工智能在工业中的使用越来越多”。空客公司高级网络安全研究员 Matilda Rhode 在一份声明中说：“确保这种技术的安全至关重要，特别是要了解在问题空间中可以在何处实现特征空间攻击。”

基本上，企业希望人们相信 AI 是不受操纵，是安全的。1 月发布的 Gartner 的“管理 AI 风险的 5 大优先事项”框架中的一项建议是，组织“ 针对攻击性攻击采取特定的 AI 安全措施，以确保抵抗和复原力。”这家研究公司估计，到 2024 年，实施专门的 AI 风险管理控制的组织将避免负面的 AI 结果的发生频率是未消除负面结果的两倍。”

根据 Gartner 的一份报告，到 2022 年，所有 AI 网络攻击中有 30%将利用训练数据中毒，模型盗窃或对抗性样本攻击以机器学习为动力的系统

【编辑推荐】

Kafka 2.8.0发布，与ZooKeeper正式分手！
你应该了解的11个微型前端框架
程序员靠谱的副业是什么
九成Windows 10用户不知道的功能！神一样的无线投屏
21H2确定为五月更新！Windows 10今年首个大更新将至

微软开放 AI 系统工具 Counterfit 源代码相关推荐

微软 Github AI 编程工具 Copilot 正式上线，学生免费使用
2022年6月22日,微软 GitHub AI 编程工具 Copilot 在经过了近一年测试后,已正式上线,定价每月 10 美元(约 66.9 元人民币)或每年 100 美元(约 669 元人民币), ...
微软开源AI诊断工具Error Analysis
喜欢就关注我们吧! Error Analysis 使用机器学习技术,助数据科学家更好地了解模型错误模式. 在 2020 年 5 月的微软 Build 大会上,微软推出了三个响应式的 AI(Respon ...
linux查看源码工具,快速查看Linux系统工具的源代码
Ubuntu/Debian: which ping dpkg -S /bin/ping apt-get source iputils-ping 同样,你可以自己到软件源去下载: Ubuntu: htt ...
微软开源AI修图工具让老照片重现生机
GitHub - microsoft/Bringing-Old-Photos-Back-to-Life: Bringing Old Photo Back to Life (CVPR 2020 oral ...
登顶AI服务器全球第一后，浪潮发布AI系统浪潮元脑
雷刚假装发自上海量子位报道 | 公众号 QbitAI AI汹涌,时代转关. 这已一次次被证明. 而且天道轮回,疆界重构,也见怪不怪. 但当浪潮开放AI系统,推出浪潮元脑,还是不得不令人感慨时 ...
Ubuntu20.04部署微软counterfit AI系统安全测评工具实战
一.介绍 Counterfit是微软创建的一个开源工具,用于自动化组织的AI系统的安全测试.鉴于人工智能系统在各行业的使用量很大,其最终目标是让企业对其人工智能系统的稳健性和可靠性有很高的信心. Co ...
微软为什么要公开AI系统测试数据集和度量指标？
来源: 微软研究院AI头条概要:微软研究院Maluuba团队的研究员Samira Ebrahimi Kahou等人在研究如何利用人工智能理解柱线图和饼图中所包含的信息这一问题时遇到了一个难题:没有现 ...
微软AI 绘图工具+ChatGPT免费用，10秒轻松出图，超详细教程，纯干货分享
文 / 高扬(微信公众号:量子论) 人嘛,总爱喜新厌旧.很多朋友找我(gaoyang677)建议将"量子论"公众号的教程再做个扩展,比如讲讲如何用AI绘图. 经过内部讨论,认为这个 ...
微软开放 .NET 框架源代码
微软将会在 Visual Studio 2008 正式发布的同时开放.NET框架的源代码库,开放是基于 Microsoft Reference License 的,也就是说,任何同意了此协议的人都可以 ...

微软开放 AI 系统工具 Counterfit 源代码

微软开放 AI 系统工具 Counterfit 源代码相关推荐

最新文章

热门文章