Meta-Classifier in Membership Inference

文章目录

1. 什么是 meta-classifier
2. 如何训练一个 meta-classifier
- 2.1 符号定义
- 2.2 meta-classifier 训练过程
- 2.3 预测过程
3. 总结
参考资料

1. 什么是 meta-classifier

Google 上发现了一个对 meta-classifier 的英文解释[1] ：

Meta-Classifier Definition: A classifier, which is usually a proxy to the main classifier, used to provide additional data preprocessing.

用中文翻译过来，meta-classifier 就是一个主分类器的代理，用于作额外的数据预处理。

没有继续往下介绍之前，可以先将 meta-classifier 理解为一个简单的分类器。

2. 如何训练一个 meta-classifier

接下来，我将根据一篇15年的论文[2] 来介绍在成员推理攻击中训练 meta-classifier 的过程。

2.1 符号定义

首先，论文中一些符号符号定义如下：

D \mathcal{D} D : 训练集
C \mathcal{C} C : 主分类器
F c \mathcal{F_c} Fc : 分类器 C \mathcal{C} C 的特征向量（i.e. 如果分类器是 SVM，则 F c \mathcal{F_c} Fc 就是支持向量）
P \mathbb{P} P : 表示训练集 D \mathcal{D} D 中的隐私属性（property）
P ≈ D \mathbb{P} \thickapprox \mathcal{D} P≈D : 表示隐私属性 P \mathbb{P} P 保存在 D \mathcal{D} D 中
P ˉ \bar{\mathbb{P}} Pˉ: 表示训练集 D \mathcal{D} D 中的非隐私属性
M C \mathbb{MC} MC : 表示 meta-classifier
l l l : 标签 l ∈ { P , P ˉ } l \in \{\mathbb{P, \bar{P}}\} l∈{P,Pˉ}

2.2 meta-classifier 训练过程

在论文[2]中，主分类器 C \mathcal{C} C 是已知的。

攻击者目的： 从训练集 D \mathcal{D} D 中推理出隐私属性 P \mathbb{P} P

训练过程如下：

训练过程算法如下：

2.3 预测过程

攻击者（adversary）利用 meta-classifier 进行隐私属性预测的过程如图；

3. 总结

结合 meta-classifier 训练过程来看，其本质也是一个分类器，不过是在已知主分类器下进行训练、分类。之后会阅读学习 meta-classifier 在 membership inference 上的应用。

思考方向：

若是不知道主分类器，或不知道主分类器在训练集上训练的结果，如何使用 meta-classifier？
能否和 adversarial machine learning 进行结合解决？都是未来需要解决思考的问题。

谢谢大家的阅读，本人水平有限，有问题欢迎大家跟我及时反映。

参考资料

[1] https://www.igi-global.com/dictionary/meta-classifier/45744

[2] Ateniese G, Felici G, Mancini L V, et al. Hacking smart machines with smarter ones: How to extract meaningful data from machine learning classifiers[J]. arXiv preprint arXiv:1306.4447, 2013.