PATE是ICLR2017的best paper，可以在YouTube上观看作者的演讲视频

https://www.youtube.com/watch?v=bDayquwDgjU

PATE论文的源代码可以在privacy/research/pate_2017 at master · tensorflow/privacy · GitHub

找到，还有后续ICLR2018对PATE的改进SCALABLE PRIVATE LEARNING WITH PATE。

下面是对文章的翻译以及自己的理解，不足之处望批评指正。

背景：

一些机器学习应用程序涉及敏感的训练数据，例如临床试验中患者的病史。模型可能会无意中隐式存储一些训练数据；因此，仔细分析模型可能会揭示敏感信息。直接公布模型会受到成员推理等攻击手段[Membership Inference Attacks Against Machine Learning Models]，导致私有数据集的隐私泄露。

Differential privacy是Dwork等人在2006年提出的隐私的数学定义。自DP被提出以来，DP已被隐私社区广泛使用，并已成为隐私社区事实上的黄金标准。DP提供了可证明的针对攻击者的保护，具有先验知识和明确的隐私损失量化。Abadi等人[dp on deep learning2016年]将差异隐私应用于机器学习，并提出了一种差异差异训练方法（DP-SGD）。这种基于差异隐私的机器学习可以确保攻击者无法区分使用或不使用特定样本训练的模型，从而解决了机器学习中的训练集泄漏问题。

PATE：

本文主要是利用了迁移学习和差分隐私来解决了隐私问题。

该方法将私有数据集划分为N个不相交的数据集，然后独立于这些数据集训练不同的模型，得到N个教师模型。在部署经过训练的教师模型时，我们记录每个教师模型的预测结果，对预测结果进行聚合，并在聚合结果中加入符合差异隐私的拉普拉斯噪声，以保护隐私信息。（采用RNM策略，直接将加噪声后投票的最大值作为伪标签，直觉上肯定会造成精度损失，作者的后续工作也对此进行了改进）然后，使用聚合教师模型对公共数据进行注释，将加入噪声后投票数量最高的一类作为公共数据的伪标签，并传递知识来训练学生模型。

学生模型的训练中作者讨论了几种方式知识蒸馏，主动学习，半监督学习，最优的方式是用GAN生成的数据和带伪标签的公共数据进行半监督训练。以半监督的方式培训学生可以更好地利用学生可用的全部数据，同时仍然只标记其中的一个子集。

在实践中，当策略集是非凸的（例如DNN）时，这些动态往往很难控制。Salimans等人（2016年）在将GANs应用于半监督学习时做了以下修改。鉴别器从二进制分类器（数据与生成器样本）扩展到多类分类器（k类数据样本中的一类，加上生成样本的一类）。然后对该分类器进行训练，以将标记的真实样本分类到正确的类中，将未标记的真实样本分类到任意k类中，并将生成的样本分类到附加类中。

为什么要还要训练学生模型？

1.如果直接公布聚合教师模型，攻击方还是很有可能从模型中推出隐私数据集，导致隐私泄露。而通过将知识迁移到学生模型上，攻击方通过攻击学生模型最多也只能得到公共数据集以及加噪声之后的标签。

2.PATE的隐私手段是通过向教师聚合结果中加拉普拉斯噪声实现的，每次查询都会消耗隐私预算，随着我们进行更多的预测，所需的噪声会增加，使得模型在有限数量的查询之后变得无用。而通过训练学生模型之后，隐私成本即被固定住，后续操作不会再增加隐私成本。

假设数据集是一个二分类（0,1）问题，当投票结果出现混淆时，假设0类投票占了50%，1类投票占了50%，这时结果很可能会因为特定数据的存在而改变（DP定义），那么这时候会导致隐私泄露，而这种混淆结果也会导致精度丢失。

在理想状态下，教师数量的选择当然是越多越好。当教师模型数量足够大时，教师一直性会更强，即投票后的结果差距会越大。同时，由于教师一致性更强，可以向聚合结果中添加更大的噪声以得到更强大的隐私保证。

但实际情况下，数据集的大小是有限的，当教师模型数量很大时，每个教师模型训练不足，导致欠拟合，造成精度下降。所以实际情况中要在数据效用性和隐私性之间做一个权衡。

PATE的思想其实很简单，输入一张公共数据进入到聚合教师模型之后，向聚合结果中加入可量化的拉普拉斯噪声，这样最终的隐私成本epsilon可通过每步添加的噪声叠加得到（简单的组合定理）。

而PATE利用了最先进的MA技术（moment accountant），当最高投票人数达到法定人数时，该技术会收紧隐私限制。

隐私分析和实验：（略）

当我们训练好学生模型之后，总的隐私损失就被固定，不会随着最终用户查询学生模型而增加。隐私损失现在取决于学生模型训练是对聚合教师模型的查询数量。

查询数量：

利用GAN对学生模型进行半监督训练的时学生模型对聚合教师模型提出的查询。100代表学生模型的训练数据集有100个来自于聚合教师模型，其他的来自GAN生成的样本。

可以看出将查询数量从100→1000时，学生模型的准确率也只提高了0.1%，而隐私成本却增加了很多，所以实际需要限制学生对聚合教师模型的查询数量。

由于GAN半监督的手段，学生模型的准确率始终比聚合教师模型的准确率要高（不论是加噪声前还是加噪声后）。

总结：

为了保护敏感训练数据的隐私，本文提出了一种学习策略，并进行了相应的隐私分析。PATE方法基于知识聚合和转移，从基于不相交数据训练的“教师”模型转移到属性可以公开的“学生”模型。结合起来，本文的技术在MNIST和SVHN基准任务上取得了卓越的效用，同时为用户的隐私损失提供了正式的、最先进的约束。虽然我们的结果并非没有限制——例如，它们需要大量教师的不相交培训数据（对于许多输出类的任务，其数量可能会增加）——但它们令人鼓舞，并强调了将半监督学习与精确的、依赖数据的隐私分析相结合的优势，这有望引发进一步的工作。特别是，此类未来工作可能会进一步调查我们的半监督方法是否也会减少教师对MNIST和SVHN以外任务的查询，例如，当离散输出类别没有明显的输入空间特征定义时。

一个关键优势是，本文的技术以直观和严格的方式建立了培训数据隐私的精确保证。因此，它们对专家和非专家受众都具有吸引力，并且易于解释。然而，也许同样令人信服的是这些技术的广泛适用性。我们的学习方法和分析方法都是“黑盒”，即独立于教师或学生的学习算法，因此通常适用于非凸、深度学习和其他学习方法。此外，由于我们的技术不限制培训数据的选择或划分，因此当培训数据是自然和非随机划分的（例如，出于隐私、监管或竞争考虑）时，或者当每个教师单独接受培训时，使用不同的方法时，这些技术也适用。我们期待这种进一步的应用，例如RNN和其他基于序列的模型。

作者在2018提出了PATE的改进版，主要在投票策略上改进，添加更适合的高斯噪声，并用RDP进行了更严格的隐私分析。

SEMI-SUPERVISED KNOWLEDGE TRANSFERFOR DEEP LEARNING FROM PRIVATE TRAINING DATA（PATE）论文笔记相关推荐

Geometric deep learning: going beyond Euclidean data译文
Geometric deep learning: going beyond Euclidean data(几何深度学习:超越欧几里得数据) 摘要: 许多科学领域研究具有非欧几里德空间的底层结构的数据. ...
Deep Learning for Remote Sensing Data
Deep Learning for Remote Sensing Data_A technical tutorial on the state of the art 一,Abstract 二,ADVA ...
Brain tumor segmentation using deep learning +HybridResUnet脑胶质瘤分割BraTs +论文解读
Brain tumor segmentation using deep learning 下载地址摘要 Brain tumor is one of the deadliest forms of ca ...
A Survey on Deep Learning Techniques for Stereo-based Depth Estimation论文阅读
第一次校正,改正了一些错误和生硬的翻译(像机器翻译一样).一定会有一些笔误.翻译不准确甚至错误的地方.还望批评指正. 1. 摘要估计RGB图片的深度一直以来都是棘手的问题,计算机视觉.图形学.机器学 ...
《Deep Learning for Computer Vision withPython》阅读笔记-StarterBundle(第6 - 7章)
6.配置您的开发环境当涉及到学习新技术(尤其是深度学习)时,配置开发环境往往是成功的一半.在不同的操作系统.不同的依赖版本以及实际的库本身之间,配置您自己的深度学习开发环境可能是相当令人头痛的事情. ...
《Deep Learning for Computer Vision withPython》阅读笔记-PractitionerBundle(第9 - 11章)
9.使用HDF5和大数据集到目前为止,在本书中,我们只使用了能够装入机器主存储器的数据集.对于小数据集来说,这是一个合理的假设--我们只需加载每一个单独的图像,对其进行预处理,并允许其通过我们的网络 ...
Deep Learning for Massive MIMO CSI Feedback-学习笔记
文章学习资源:https://sci-hub.do/10.1109/lwc.2018.2818160 学习笔记,不完全翻译,上下文大致理解,大家多多提意见. Abstract: In frequenc ...
《Deep Learning for Computer Vision withPython》阅读笔记-StarterBundle(第4 - 5章)
4.图像分类基础这句格言在我们的生活中已经听过无数次了.它只是意味着一个复杂的想法可以在一个单一的图像中传达.无论是查看我们股票投资组合的折线图,查看即将到来的足球比赛的传播,还是简单地学习绘画大师 ...
Knowledge-based Collaborative Deep Learning for Benign-Malignant Lung Nodule Classification论文阅读
作者信息: Yutong Xie, Yong Xia, Member, IEEE, Jianpeng Zhang, Yang Song, Member, IEEE, Dagan Feng, Fel l ...

SEMI-SUPERVISED KNOWLEDGE TRANSFERFOR DEEP LEARNING FROM PRIVATE TRAINING DATA（PATE）论文笔记

背景：

PATE：

隐私分析和实验：（略）

总结：

SEMI-SUPERVISED KNOWLEDGE TRANSFERFOR DEEP LEARNING FROM PRIVATE TRAINING DATA（PATE）论文笔记相关推荐

最新文章

热门文章