gan 的要点（弱点与改进、推土距离）

1、如何度量两个分布的相似度

kl散度，分布的对数差异的数学期望（两个分布在所有取值上的加权平均）。

2、极大似然估计可以看作最小化模型分布的kl散度距离等价。

使得对数似然函数最大>等价转换（引入负号)>引入常数项>相除形式>kl散度定义

3 、kl散度作为损失函数的模式塌陷问题：因为p(x)为其中一个分布的加权，所以不具有对称性，假设p(x) q(x)一个为单峰、一个为双峰，用双峰逼近的时容易忽视其中一个。通常改用js散度。（假设10个模式，有可能只生成其中几种模式，丢失其他模式）

4、gan的损失函数改进之一：加log。（虽然该方法在wgan中被批判），把目标函数的值域拉大。

5、在最优判别器下，gan定义的生成器loss可等价变换为最小化真实分布与生成分布之间的js散度。

（真、假样本混合可以找出真的样本）

6、推土机距离（绝妙，纳什平衡依据）（最优路径规划最小消耗）（接近于连续，js、kl有突变、空间不要有悬崖）

1）取log的问题导致没有上界；判别器参数绝对值截断（lipschitz连续)

2）解决训练不稳定（dc gan碰巧平衡生成、判别器）判别器过快最优，梯度为0

3）解决模型崩溃，生成多样性。

4）gan最优判别器下，p(r)和g(g) 真实的分布和造出来的分布可能没有重合，梯度消失

gan 的要点（弱点与改进、推土距离）相关推荐

使用’推土距离‘构建强悍的WGAN
读者读到此处时或许会有一个感触,网络训练的目的是让网络在接收输入数据后,它输出的结果在给定衡量标准上变得越来越好,由此"衡量标准"设计的好坏对网络训练最终结果产生至关重要的作用. ...
推土距离， Wasserstein distance
在鲁棒优化中见到一个名词:Wasserstein distance, 又称作 earth mover's distance,推土距离.用来测量两个随机分布的距离. 之所以叫推土距离,是因为它的物理含义 ...
【阿里云课程】生成模型之GAN优化目标设计与改进
大家好,继续更新有三AI与阿里天池联合推出的深度学习系列课程,本次更新内容为第11课中的一节,介绍如下: GAN优化目标设计与改进本次课程是阿里天池联合有三AI推出的深度学习系列课程第11期,深度生 ...
液压推土车设计_氢源电动摩托车3D数模_可倾倒的垃圾推车_机场手推车行李推车_汽车悬挂系统solidworks设计_电动物料搬运车三维………………
玩具吉普车发动机吊车三维图玩具滑板车轮组件成型模具液压推土车设计模型吉普车积放小车组推车器工程推土车三维套图 Hydrogen Scooter氢源电动摩托车3D数模图纸可倾倒的垃圾推车 ...
【Matlab】基于改进的 Hausdorf 距离的DBSCAN船舶航迹聚类
[Matlab]基于改进的 Hausdorff 距离的DBSCAN船舶航迹聚类一.模型简介 1.1问题背景 1.2具体内容 AIS数据的预处理船舶轨迹分割船舶轨迹相似度度量船舶轨迹表达方式船 ...
Nat. Mach. Intell. | FFPred-GAN：“以假乱真“—基于GAN创建合成特征样本改进蛋白质功能预测...
今天给大家介绍伦敦大学学院David T. Jones 教授课题组发表在Nature Machine Intelligence 的一篇文章.文章中指出,现存的蛋白质功能预测方法受限于训练样本量的瓶颈, ...
邀请逝者参加Party？ Facebook道歉并利用AI改进推送机制
选自 | New York Times 编译 | 网易智能 (Yuki) [网易智能讯4月12日消息]在Facebook上,有些通知是不那么令人愉悦的: 1. 向堂兄去世的儿子添加朋友的建议. 2. ...
[论文阅读]（图像/视频质量评价系列）
文章目录 [2021] (QoMEX) Image Super-Resolution Quality Assessment:Structural Fidelity Versus Statistical ...
wasserstein距离_EMD(earth mover#x27;s distances)距离
对于离散的概率分布,Wasserstein距离也被描述为推土距离(EMD).如果我们将分布想象为两个有一定存土量的土堆,那么EMD就是将一个土堆转换为另一个土堆所需的最小总工作量.工作量的定义是 ...

gan 的要点（弱点与改进、推土距离）

gan 的要点（弱点与改进、推土距离）相关推荐

最新文章

热门文章

gan 的要点 （弱点与改进、推土距离）

gan 的要点 （弱点与改进、推土距离）相关推荐

最新文章

热门文章

gan 的要点（弱点与改进、推土距离）

gan 的要点（弱点与改进、推土距离）相关推荐