Frequency Estimation in Local and Multiparty Differential Privacy

此为Graham Cormode在ICLR2021上的讲座笔记，由于对这块尚未开始研究，内容有待校正，建议观看原视频。
LDP部分参考论文 Frequency estimation under local differential privacy
MDP部分参考论文 Frequency Estimation Under Multiparty Differential Privacy: One-shot and Streaming

本次讲座主要介绍在Frequency Estimation 上的两种差分隐私机制：Local differential privacy 和 multiparty differential privacy

在LDP中重要介绍了

利用Sketch 实现维度下降

使用树型结构实现高效准确的Heavy Hitter

LDP的四层结构

在MDP中介绍了

one-shot MDP协议，即一个瞬间的MDP协议

Streaming MDP协议，即一个时间段的MDP协议。计算包括两个部分
intra-epoch

inter-epoch

1. Preliminary

1.1 介绍Local Differential Privacy

1.2 介绍 Multiparty Differential Privacy

多方差分隐私是本地模型和中心化模型的一种概括

存在k个本地实体p₁ ~ p_k，一个中心聚合器p₀
与本地差分隐私的区别：一个本地实体不再只有一条数据，而是存在一个数据集D_i
N个本地实体相互隔离，每个本地实体有n_i条数据，总计N=Σn_i

Multiparty Differential Privacy 定义

Multipart Differential Privacy 与LDP 和 CDP相互转化

当n_i=1时，Multiparty DP等价于LDP
当k=1时，Multiparty DP等价于CDP

1.3 The Frequency Estimation Problem

在multiparty中频率估计的定义

frequency estimation 关注的问题是：如何在有限的绝对误差下提高准确率 & 允许随机化，实现在p较大时，相对较小的误差

Heavy Hitters 介绍

Frequency Estimation 和 Heavy Hitters 时许多复杂问题的基础，比如流算法、分布式算法、sketch算法、压缩感知等等，隐私的算法往往时基于这些已有的算法进行改进和拓展的

Two Linear transforms for LDP and MDP

Hadamard transform

是二进制超立方体的离散傅里叶变换

对稀疏矩阵进行hadamard 变换得到稠密矩阵

Count-Sketch

2 LDP-FO

2.1 FO

针对数值值域d的大小进行分析，当d较大时，将大维度映射到小维度，两种方法：

Hash-based
Hadamard response

当d特别大时，采用sketch操作，实现维度下降

2.2 Heavy Hitter Searching

频繁项估计：如果通过罗列所有的频率得到将会花销太大

为了限制搜索空间并降低时间开销，提出如下两种方法：

expectation maximization：将string划分为多个substring，然后再恢复频繁项
puzzle piece

其中一种方法是利用树形结构

所有的叶子节点都是individual items，即string；所有的内部节点都是prefix，即前缀

如果一个叶子节点是heavy hitter，那么他的每个祖先prefix 都是heavy hitter

那么在利用树型结构进行遍历的过程中，发现不是heavy hitter的prefix，则无需再向下遍历子孙节点，

2.3 LDP data collection bakeoff

实验结果

3. MDP-FO

3.1 Basic one-shot ε-MDP protocol

提高准确率措施：

假设知道item的总值N

这过程产生了两类误差：sketches误差、noise误差

比单纯地在每个item上添加LDP要来的 less communication & more accuracy

3.2 Streaming MDP Protocol for sliding windows

在流模型中，每个参与方在每个时间戳收到一个新的item

我们希望计算item j在时间段 t₁到t₁+w的频率估计

使用两个协议实现：

intra-epoch:在收到新的item的时间点
inter-epoch：所有之前的时间段

intra-epoch

在最新的时间点t，进行两个操作：采样+LDP

每个参与方i，以p的概率采样是否参加
如果参加，则以LDP协议报告自己的数据项

采样概率p的选择，总的误差

高效的，但是误差随着时间增大，故要限制epoch size

inter-epoch protocol

每个叶子节点是一个epoch，任何一个时间窗口都可以表示为一个epoch的数据收集
对于每个内部节点使用 one-shot MDP协议

MDP 实验结果

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-auwgF9l9-1638792724741)(C:\Users\CLOUDNESS\AppData\Roaming\Typora\typora-user-images\image-20211206195927362.png)]

Conclusion