分布的距离（Distance of Distributions）

(X,Σ)(X,\Sigma)(X,Σ)为一个measurable space.

1. Total Variation (TV，全变分) distance

δ(Pr,Pg)=supA∈Σ∣Pr(A)−Pg(A)∣\delta(P_r,P_g)=\mathop{sup}\limits_{A\in \Sigma}|P_r(A)-P_g(A)|δ(Pr,Pg)=A∈Σsup∣Pr(A)−Pg(A)∣
当XXX是有限空间时，有δ(P,Q)=maxx∈X∣P(x)−Q(x)∣\delta(P,Q)=\mathop{max}\limits_{x\in X}|P(x)-Q(x)|δ(P,Q)=x∈Xmax∣P(x)−Q(x)∣

参考：

Total Variation

2. Kullback-Leibler (KL) divergence

KL((Pr∣∣Pg))=E(log(Pr(x)Pg(x))Pr(x))KL((P_r||P_g))=E(log(\frac{P_r(x)}{P_g(x)})P_r(x))KL((Pr∣∣Pg))=E(log(Pg(x)Pr(x))Pr(x))
KL(Pr∣∣Pg)=1n∑i=1nlog(Pr(xi)Pg(xi))Pr(xi)KL(P_r||P_g)=\frac{1}{n}\sum_{i=1}^n log(\frac{P_r(x_i)}{P_g(x_i)})P_r(x_i)KL(Pr∣∣Pg)=n1i=1∑nlog(Pg(xi)Pr(xi))Pr(xi)
KL(Pr∣∣Pg)=∫log(Pr(x)Pg(x))Pr(x)du(x)KL(P_r||P_g)=\int log(\frac{P_r(x)}{P_g(x)})P_r(x)d_{u(x)}KL(Pr∣∣Pg)=∫log(Pg(x)Pr(x))Pr(x)du(x)

问题：不具有对偶性。

3. Jensen-Shannon (JS) divergence

JS(Pr,Pg)=KL(Pr∣∣Pm)+KL(Pg∣∣Pm)JS(P_r, P_g)=KL(P_r||P_m)+KL(P_g||P_m)JS(Pr,Pg)=KL(Pr∣∣Pm)+KL(Pg∣∣Pm)

问题：不能解决平行线问题。

4. Wasserstein Distance

total cost（minimize）
C(π∗)=infπ∈Π(u,v)E(x,y)∈(X,Y)c(x,y)C(\pi ^*)=\mathop{inf}\limits_{\pi \in \Pi(u,v)} \mathop{E}\limits_{(x,y)\in (X,Y)} c(x,y)C(π∗)=π∈Π(u,v)inf(x,y)∈(X,Y)Ec(x,y)
转移策略
Π(u,v)={π∈P(X×Y):πx=u,πy=v}\Pi(u,v)=\{\pi\in P(X\times Y):\pi_x=u,\pi_y=v\}Π(u,v)={π∈P(X×Y):πx=u,πy=v}
其中πx,πy\pi_x,\pi_yπx,πy分别是π\piπ在XXX和YYY上的边缘分布。
1-Wasserstein Distance
C(π∗)=infπ∈Π(u,v)∫X×Yc(x,y)dπ(x,y)C(\pi ^*)=\mathop{inf}\limits_{\pi \in \Pi(u,v)} \int_{X\times Y}c(x,y)d_{\pi(x,y)}C(π∗)=π∈Π(u,v)inf∫X×Yc(x,y)dπ(x,y)
优点
Wasserstein distance 衡量的是把数据从分布p“移动成”分布q时所需要移动的平均距离的最小值。
即使两个分布没有重叠或者重叠非常少，仍然能反映两个分布的远近。
缺点
不好优化。

5. Wasserstein Distance的对偶形式

*Learning parallel lines问题

gθ(z)=(θ,z)g_\theta(z)=(\theta,z)gθ(z)=(θ,z)：x=θx=\thetax=θ且y=z,z∼U[0,1]y=z,z \sim U[0,1]y=z,z∼U[0,1]；
PθP_\thetaPθ：gθ(z)g_\theta(z)gθ(z)的分布。
可求得：
δ(P0,Pθ)={1θ≠00θ=0\delta(P_0,P_\theta)=\begin{cases} 1 & \theta\neq 0\\0 & \theta=0\end{cases}δ(P0,Pθ)={10θ=0θ=0
KL(Pθ∣∣P0)=KL(P0∣∣Pθ)={+∞θ≠00θ=0KL(P_\theta||P_0)=KL(P_0||P_\theta)=\begin{cases} +\infty & \theta\neq0\\0 & \theta=0 \end{cases}KL(Pθ∣∣P0)=KL(P0∣∣Pθ)={+∞0θ=0θ=0
JS(P0,Pθ)={log2θ≠00θ=0JS(P_0,P_\theta)=\begin{cases}log2 & \theta\neq0\\0 &\theta=0\end{cases}JS(P0,Pθ)={log20θ=0θ=0
JS散度是怎么求的，不太懂？\color{red}{JS散度是怎么求的，不太懂？}JS散度是怎么求的，不太懂？
W(P0,Pθ)=∣θ∣W(P_0,P_\theta)=|\theta|W(P0,Pθ)=∣θ∣