Handing Incomplete Heterogeneous Data using VAEs

文章目录

概
主要内容
- ELBO
- 网络结构
- 不同的数据
- HI-VAE
代码

Nazabal A., Olmos P., Ghahramani Z. and Valera I.
Handing incomplete heterogeneous data using VAEs.
Pattern Recognition, 2020, 107: 107501.

概

这篇文章利用VAE处理缺失数据, 以往的对缺失数据的处理往往是不区分连续离散, 数字符号的, 感觉这里利用分布的处理方式非常精彩.

主要内容

ELBO

首先, 既然是利用VAE, 那么就需要推导出相应的ELBO来.
文章首先假设数据xxx和隐变量之间关系满足:
p(xn,zn)=p(zn)∏dp(xnd∣zn),p(x_n, z_n) = p(z_n) \prod_d p(x_{nd}|z_n), p(xn,zn)=p(zn)d∏p(xnd∣zn),
即xnx_nxn的各分量关于znz_nzn的条件独立的.
进一步引入观测数据xox^oxo和xmx^mxm, 即
xndo={xnd,d∈On0,d∈Mn,xnm=xn−xno.x^o_{nd} = \left \{ \begin{array}{ll} x_{nd}, & d \in \mathcal{O}_n \\ 0, & d \in \mathcal{M}_n \end{array} \right ., \\ x^{m}_n = x_n - x_{n}^o. xndo={xnd,0,d∈Ond∈Mn,xnm=xn−xno.
其中O,M\mathcal{O}, \mathcal{M}O,M 分别是观测的元素和缺失的元素位置, 且彼此是互斥的.
那么
p(xn∣zn)=∏d∈Onp(xnd∣zn)∏d∈Mnp(xnd∣zn).p(x_n|z_n) = \prod_{d \in \mathcal{O}_n} p(x_{nd}|z_n) \prod_{d \in \mathcal{M}_n} p(x_{nd}|z_n). p(xn∣zn)=d∈On∏p(xnd∣zn)d∈Mn∏p(xnd∣zn).
q(zn,xnm∣xno)=q(zn∣xno)∏d∈Mnp(xnd∣zn).q(z_n, x_n^m|x_n^o) = q(z_n|x_n^o) \prod_{d \in \mathcal{M}_n} p(x_{nd}|z_n). q(zn,xnm∣xno)=q(zn∣xno)d∈Mn∏p(xnd∣zn).

则通过极大似然即可推出ELBO:
log⁡p(Xo)=∑nEq(zn∣xno)log⁡p(xno,zn)q(zn∣xno)q(zn∣xno)p(zn∣xno)≥∑nEq(zn∣xno)log⁡p(xno∣zn)−∑nKL(q(zn∣xno)∥p(zn)).\begin{array}{ll} \log p(X^o) &= \sum_{n} \mathbb{E}_{q(z_n|x_n^o)} \log \frac{p(x_n^o, z_n)}{q(z_n|x_n^o)} \frac{q(z_n|x_n^o)}{p(z_n|x^o_n)} \\ &\ge \sum_n \mathbb{E}_{q(z_n|x_n^o)} \log p(x_n^o|z_n) - \sum_n \mathrm{KL}(q(z_n|x_n^o)\| p(z_n)). \end{array} logp(Xo)=∑nEq(zn∣xno)logq(zn∣xno)p(xno,zn)p(zn∣xno)q(zn∣xno)≥∑nEq(zn∣xno)logp(xno∣zn)−∑nKL(q(zn∣xno)∥p(zn)).
其中p(xno∣zn)=∏d∈Onp(xnd∣zn)p(x_n^o|z_n)=\prod_{d \in \mathcal{O}_n} p(x_{nd}|z_n)p(xno∣zn)=∏d∈Onp(xnd∣zn).

网络结构

从上面的假设就可以看出, 整体的VAE的结构是这样的:

观测数据xox^oxo经过encoder得到μq(xo),Σq(xo)\mu_q(x^o), \Sigma_q(x^o)μq(xo),Σq(xo), 并从高斯分布中采样得到zzz.
隐变量zzz经过独立的网络h1,⋯,hdh_1, \cdots, h_dh1,⋯,hd得到预测的数据γ1,γ2,⋯,γd\gamma_1, \gamma_2, \cdots, \gamma_dγ1,γ2,⋯,γd, 这些用于构建各自的分布p(xd∣γd)p(x_d|\gamma_d)p(xd∣γd), 这个分布是数据的类型而不同.

不同的数据

这对不同的数据类型, 可以假设不同的分布p(xd∣γd)p(x_d|\gamma_d)p(xd∣γd), 这我认为是非常有趣的一个点.

如果xdx_dxd是实值变量, 则可以假设其为高斯分布:
p(xd∣γd)=N(xd∣μd(z),σd2(z)).p(x_d|\gamma_d) = \mathcal{N} (x_d|\mu_d(z), \sigma_d^2(z)). p(xd∣γd)=N(xd∣μd(z),σd2(z)).
如果xd∈R+x_d \in \mathbb{R}^+xd∈R+, 则
log⁡p(xd∣γd)=N(xd∣μd(z),σd2(z)),xd≥0.\log p(x_d|\gamma_d) = \mathcal{N} (x_d|\mu_d(z), \sigma_d^2(z)), x_d \ge 0. logp(xd∣γd)=N(xd∣μd(z),σd2(z)),xd≥0.
xd∈{0,1,2,⋯}x_d \in \{0, 1, 2, \cdots \}xd∈{0,1,2,⋯}, 则假设poisson分布:
p(xd∣γd)=Poiss(xd∣λ(z))=λd(z)xdexp⁡(−λd(zn))xd!.p(x_d|\gamma_d) = \mathrm{Poiss}(x_d|\lambda(z)) = \frac{\lambda_d(z)^{x_d} \exp (-\lambda_d(z_n))}{x_d!}. p(xd∣γd)=Poiss(xd∣λ(z))=xd!λd(z)xdexp(−λd(zn)).
类别数据, γd∈{hd0(z),⋯,hd(R−1)(z)}\gamma_d \in \{h_{d0}(z), \cdots, h_{d(R-1)}(z)\}γd∈{hd0(z),⋯,hd(R−1)(z)}此时为logits, 最后的概率分布
p(xd=r∣γd)=exp⁡(−hdr(z))∑rexp⁡(−hdr(z))p(x_d = r|\gamma_d) = \frac{\exp (-h_{dr}(z))}{\sum_r \exp (-h_{dr}(z))} p(xd=r∣γd)=∑rexp(−hdr(z))exp(−hdr(z))
Ordinal data
p(xd=r∣γd)=p(xd≤r∣γd)−p(xd≤r−1∣γd),p(x_d = r | \gamma_d) = p(x_d \le r|\gamma_d)-p(x_d \le r-1|\gamma_d), p(xd=r∣γd)=p(xd≤r∣γd)−p(xd≤r−1∣γd),
其中
p(xd≤r∣γd)=11+exp⁡(−(θr(z)−hd(z))).p(x_d \le r|\gamma_d) = \frac{1}{1 + \exp (-(\theta_r(z)- h_d(z)))}. p(xd≤r∣γd)=1+exp(−(θr(z)−hd(z)))1.

HI-VAE

上述的假设有些过于强了, 为此, 作者做出了一些调整.

假设一个了一个混合的高斯先验: p(z∣sn)p(z|s_n)p(z∣sn);
隐变量需要先经过一个共同的变化得到YnY_nYn再和sns_nsn一起经过独立的网络得到γ1,γ2,⋯,γd\gamma_1, \gamma_2, \cdots, \gamma_dγ1,γ2,⋯,γd.

个人感觉第二点的设计还是不错的.

代码

原文代码