机器学习典型隐私威胁
现在流行的 MlaaS 一般包括机器学习模型训练和提供模型预测服务两个阶段.在这两个阶段,可能面临的典型隐私攻击主要有:模型逆向攻击、模型提取攻击和成员推断攻击.
(1) 模型逆向攻击(model inversion attack)
模型逆向攻击是指攻击者从模型预测结果中提取和训练数据有关的信息，这种攻击手段结合生成对抗网络后，尤为见效。
Fredrikson 等人对基于线性回归算法的定制药物医疗系统实施了一种反向攻击，不仅泄露了病人的隐私，还可能导致药物的错误配置，从而危及患者生命.Fredrikson 等人分析了从已知模型中检索原始学习数据的可行性,他们成功地利用基于神经网络的人脸识别模型重建了人脸图像.Hitaj 等人的研究表明，分布式或联邦机器学习结构很难保护诚实参与者的训练数据集免遭基于 GAN 的攻击(GAN-based attack)。一个基于 GAN 的对手可能愚弄受害者，让他们透露出更多的隐私信息.Ateniese 等人[8]构建了一个新的元分类器(meta-classifier)，并对其进行训练,使其能够攻击其他的分类器，从而获得它们训练数据集的敏感信息。例如，供应商利用这种信息泄漏,可以直接从竞争对手的设备上获取贸易证书,侵犯竞争对手知识产权.。
(2) 模型提取攻击(model extraction attack)
模型提取攻击是指攻击者获得对某个目标模型的黑盒访问权后，取得模型内部的参数或结构，或是试图构造出一个与目标模型近似甚至完全等价的机器学习模型。Song 等人证实了恶意机器学习算法可以创建满足精度和泛化要求的高质量模型，同时泄漏大量关于其训练数据集的信息，即使对手只有该模型的黑盒访问权,并指出机器学习模型不能盲目地应用于敏感数据，特别是如果模型训练代码是由另一方提供的。Tramer 等人发现,敌手通过有限次访问预测服务的 API 接口，可以提取出模型的信息，对于一个 N 维的线性模型,理论上通过N+1 次查询访问就能够窃取到这个模型。
(3) 成员推断攻击(membership inference attack)
成员推断攻击是指攻击者通过访问模型预测 API，从预测结果中获知某个特征数据是否包含在模型的训练集中在这种攻击中，攻击者仅需要得到预测分类的置信度，不需要知道模型结构、训练方法、模型参数、训练数据集分布等信息。对于过拟合的模型，这种攻击尤其有效。Shokri 等人利用成员推理攻击，推测出某一数据是否在训练数据集中.Melis 等人[42]证明了在协作机器学习和联合学习中,敌手不仅可以在其他参与者的训练数据中推断出准确的数据点(如特定的位置)的存在(成员推理攻击),还可推断出其他参与者的训练数据的属性(属性推断攻击)，并且可以推断出某个属性在训练期间什么时候在数据中出现和消失。例如，确定某个特定的人何时第一次出现在用于训练通用性别分类器的照片中。
机器学习典型隐私威胁相关推荐
- 机器学习典型步骤以及训练集、验证集和测试集概念
1. 机器学习典型步骤 数据采集和标记 数据清洗 特征选择 如房子的面积.地理位置.朝向.价格等. 模型选择 有监督还是无监督,问题领域.数据量大小.训练时长.模型准确度等多方面有关. 模型训练和测试 ...
- 3.15国际消费者权益日：消费者隐私威胁与保护
恰逢315,今天来谈谈消费者隐私保护(隐私一般是指仅与特定人的利益或者人身发生联系且权利人不愿为他人所知晓的私人信息.私人事务和私人领域).犹记去年315,最引人注目的当属作家六六帮她朋友程茉维权.她 ...
- 机器学习的安全威胁管控
出品 | CDA数据科学研究院 美国陆军坦克大队再次在中东作战.它的坦克最近配备了基于计算机视觉的瞄准系统,该系统采用了遥控无人机作为侦察兵.不幸的是,敌军欺骗了视觉系统,认为手榴弹闪光实际上是大炮射 ...
- 【隐私】大数据下的隐私威胁【转载】
[内容转载]最近对隐私比较敏感,收集质量高的博文供自己学习使用 [NO.1]数据全裸时代,公开获取上百万条四六级成绩 [NO.2]QQ盗号 [这篇连接也是转载,找不到原创的地址]
- 万向区块链技术研究报告 | 隐私机器学习的威胁、对策和挑战的初步分析
本文作者:万向区块链通用架构技术部 孙宗臣 如今,搜索查询记录.浏览历史记录.购买记录.视频播放记录.出行计划等日常生活中的大量数据被收集并存储下来.也许发生在自己的移动终端.笔记本等智能设备,也许发 ...
- 机器学习复盘（2）：机器学习主要应用场景及典型案例
人工智能(AI)和机器学习(ML)正在成为主流,有越来越多的企业正在利用这种模仿人类思维的技术来吸引客户并加强业务运营.而这种趋势只会越来越受欢迎. 为什么需要机器学习 机器学习的出现主要是为了解决一 ...
- 机器学习的安全及隐私保护研究
云计算:为机器学习数据存储.计算的平台. 大数据:为机器学习提供了数据管理.支撑的平台. 物联网:为机器学习提供了丰富的数据来源. 以机器学习为代表的人工智能技术正在发挥越来越大的优势 ...
- 如何在机器学习的框架里实现隐私保护？
编者按:数据时代,人们从技术中获取便利的同时,也面临着隐私泄露的风险.微软倡导负责任的人工智能,因此机器学习中的隐私保护问题至关重要.本文介绍了目前机器学习中隐私保护领域的最新研究进展,讨论了机密计算 ...
- 微软研究院：如何在机器学习的框架里实现隐私保护？
编者按:数据时代,人们从技术中获取便利的同时,也面临着隐私泄露的风险.微软倡导负责任的人工智能,因此机器学习中的隐私保护问题至关重要.本文介绍了目前机器学习中隐私保护领域的最新研究进展,讨论了机密计算 ...
最新文章
- 香港深水埗一街道新春气氛浓厚
- VS2010与.NET4系列 20.VS2010的JavaScript智能感知增强
- JQuery的无缝滚动
- 如何发现 GitHub 上那些有趣好玩的项目？
- 二维数组foreach嵌套遍历，判断连续3天以上的算有效数据
- 用于大型事件处理的Akka Java
- Servlet - cookie、session、servletContext概述
- Python元类(type()和metaclass)
- CV学习笔记-边缘提取
- 软件设计师2004年5月下午试题6(C++ 数组下标检测)
- 《敏捷个人》周刊 第13期 （可下载）
- 网络工程师知识-盘点网工调试工具常用console线汇总
- ios 推送通知服务证书不受信任（Apple Push Service certificate is not trusted）
- 计算机去基金公司好,电子、通信、计算机 基金更看好哪个行业？
- unity如果编辑器意外崩溃了，但场景未保存，怎么办
- dat2img格式转换-ROM定制开发教程
- Ant Design Pro 企业级后台实战（73 个视频）
- C语言实现循环读入txt文件
- 一键端服务器维护,游戏服务器一键端
- IO模型有哪些，讲讲你理解的nio ，他和bio，aio的区别是啥，谈谈reactor模型。