两个分布的特征映射_DDC:直接对齐特征空间进行领域自适应

论文题目：Deep Domain Confusion: Maximizing for Domain Invariance

概括：在源域和目标域的网络中加入一个共同的自适应层来对齐两个网络的特征，从而进行domain adaptation。采用MMD(maximum mean discrepancy)来度量分布之间的距离。

思路：源域(source domain)和目标域(target domain)的数据是相似而不相同的，由于目标域的数据量不足，因此希望网络在源域上学到的知识能帮助网络在目标域上进行学习。

在深度神经网络中，神经网络会先进行特征提取，再利用数据在这些特征下的表示进行计算。也就是说，训练数据进入深度神经网络后，先被映射到了由特征向量张成的特征空间中，再被映射到最终结果。

能否让网络在源域上学出的特征和在目标域学出的特征是接近的？源域和目标域的数据本来就是相似的，一个分类猫的图像分类器和一个分类狗的图像分类器，他们的网络结构在前几层可能是很相似的，提取出的特征也非常相似。因此DDC的思路就是，先让源域的网络进行训练，同时对源域和目标域上的网络进行特征对齐。对齐之后，目标域上的网络就获得了和源域网络相似的特征。对获得的特征进行fine tune，就可以得到目标域上训好的网络。当然，也可以将目标域中的标记数据加入源域中一起训练。

如图就是DDC的网络结构，原网络总共有八层，网络的前七层作为特征提取层，DDC在第七层与第八层之间加入特征自适应层，特征自适应层用于对齐两个网络的特征。（之所以选择第七层与第八层之间，是因为实验表示这样选结果最好）

在对齐网络的特征时，用MMD作为度量。MMD是度量两个分布的一种方法。

源域和目标域的数据，在对应的特征下的表示，形成了两个分布。计算特征使得这两个分布的距离尽量小，就可以对齐特征。

两个分布的特征映射_DDC:直接对齐特征空间进行领域自适应相关推荐

两个分布的特征映射_跨语言分布表示学习方法概述
分布表示(distributed representation)与深度神经网络(deep neural network)极大地推动了近几年自然语言处理研究的发展.我们知道,分布表示指的是对于一个客观描 ...
拉普拉斯分布_理解拉普拉斯特征映射中的优化问题的约束条件
引言:在学习拉普拉斯特征映射(Laplacian Eigenmaps, LE)的过程中,发现大多数参考资料仅列出了其中的最优化问题,然后直接过渡到特征值问题,对于该优化问题,特别是其中的约束条件解释的 ...
深入理解拉普拉斯特征映射
目录 1. 一些定义 2. 矩阵的迹求导 3. LE 3.1 目标函数 3.2 约束条件 3.3 优化 3.4 广义特征值问题 3.5 结果拉普拉斯特征映射(Laplacian Eigenmaps, ...
图嵌入（拉普拉斯特征映射Laplacian Eigenmaps）
图嵌入(Graph embedding)的意义 Graph广泛存在于真实世界的多种场景中,即节点和边的集合.比如社交网络中人与人之间的联系,生物中蛋白质相互作用以及通信网络中的IP地址之间的通信等等. ...
Laplacian Eigenmaps 拉普拉斯特征映射
Laplacian Eigenmaps 继续写一点经典的降维算法,前面介绍了PCA,LDA,LLE,这里讲一讲Laplacian Eigenmaps.其实不是说每一个算法都比前面的好,而是每一个算法都 ...
机器学习降维算法四：Laplacian Eigenmaps 拉普拉斯特征映射
继续写一点经典的降维算法,前面介绍了PCA,LDA,LLE,这里讲一讲Laplacian Eigenmaps. 其实不是说每一个算法都比前面的好,而是每一个算法都是从不同角度去看问题,因此解决问题的思 ...
“强化学习说白了，是建立分布到分布之间的映射”？数学角度谈谈个人观点
简介:F学长是我数模竞赛.科研方法道路上的最重要的启蒙人之一. 去年他成功进入清华大学.巧的是,他的研究方向也是强化学习. 疫情期间,我们打过好几轮长长的电话,讨论强化学习,其中给我印象最为深刻的是, ...
卷积神经网络及图像处理中共享权重、特征映射等理解
一,前言卷积神经网络(Constitutional Neural Networks, CNN)是在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法.先回顾一下多层神经网络 ...
机器学习竞争神经网络与自组织特征映射神经网络(SOFM)
本文按照案例-分析-代码-原理四段式进行介绍,为便于有一定理论基础的童鞋进行学习,将原理以链接其他博客的形式给出,有兴趣的童鞋可以跳转进行学习和推敲. [案例介绍]利用竞争神经网络和自组织特征隐射 ...

两个分布的特征映射_DDC:直接对齐特征空间进行领域自适应

两个分布的特征映射_DDC:直接对齐特征空间进行领域自适应相关推荐

最新文章

热门文章