迁移学习 MMD距离

MMD距离（Maximum mean discrepancy)

最大均值差异（Maximum mean discrepancy），度量在再生希尔伯特空间中两个分布的距离，是一种核学习方法。两个随机变量的距离为：

其中k(.)是映射，用于把原变量映射到高维空间中。X,Y表示两种分布的样本，F表示映射函数集。

基于两个分布的样本，通过寻找在样本空间上的映射函数K，求不同分布的样本在K上的函数值的均值，通过把两个均值作差可以得到两个分布对应于K的mean discrepancy。寻找一个K使得这个mean discrepancy有最大值，就得到了MMD。最后取MMD作为检验统计量（test statistic），从而判断两个分布是否相同。如果这个值足够小，就认为两个分布相同，否则就认为它们不相同。更加简单的理解就是：求两堆数据在高维空间中的均值的距离。

近年来，MMD越来越多地应用在迁移学习中。在迁移学习环境下训练集和测试集分别取样自分布p和q，两类样本集不同但相关。我们可以利用深度神经网络的特征变换能力，来做特征空间的变换，直到变换后的特征分布相匹配，这个过程可以是source domain一直变换直到匹配target domain。匹配的度量方式就是MMD。

迁移学习 MMD距离相关推荐

读懂深度迁移学习，看这文就够了 | 赠书
百度前首席科学家.斯坦福大学副教授吴恩达(Andrew Ng)曾经说过:迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力. 本文选自<深度学习500问:AI工程师面试宝典> ...
迁移学习——入门笔记
一.简介背景: 现如今数据爆炸: 对机器学习模型来说要求快速构建,强泛化对于数据来说,大部分数据没有标签所以收集标签数据和从头开始构建一个模型都是代价高昂的,需要对模型和带有标签的数据进行重用 ...
将同构迁移学习应用于脑机接口，解决训练数据不足的问题
脑机接口 (BCI) 通过识别大脑活动并将其转化为外部命令,提供了大脑与外部设备之间的另一种通信方式.功能性近红外光谱 (fNIRS) 作为一种非侵入性的大脑活动检测方式正变得越来越流行. 基于人工智 ...
迁移学习领域自适应：具有类间差异的联合概率最大平均差异
©PaperWeekly 原创 · 作者|张玮玮学校|东北大学硕士生研究方向|情感识别论文标题:Discriminative Joint Probability Maximum Mean Dis ...
迁移学习——Balanced Distribution Adaptation for Transfer Learning
<Balanced Distribution Adaptation for Transfer Learning>学习 2017 IEEE International Conference ...
迁移学习-域适应损失函数MMD-代码实现及验证
迁移学习损失函数MMD(最大均值化差异)–python代码实现 MMD介绍 MMD(Max mean discrepancy 最大均值差异)是迁移学习,尤其是Domain adaptation (域适 ...
迁移学习_迁移学习简明手册(王晋东)_阅读笔记5-6
5.迁移学习的基本方法基于样本迁移: 根据一定的权重生成规则,增加源域中跟目标域样本相似度高的样本的权重. 增加狗类别样本的权重基于特征迁移: 通常假设源域和目标域间有一些交叉的特征,通过特征变换 ...
阅读《迁移学习简明手册》总结（二）
一.迁移学习的基本方法 1.基于样本迁移根据一定的权重生成规则,对数据样本进行重用,进行迁移学习. 在迁移学习中对于源域和目标域,通常假定产生它们的概率分布是不同且未知的,由于实例的维度和数量通常非 ...

迁移学习 MMD距离

迁移学习 MMD距离相关推荐

最新文章

热门文章