迁移学习领域自适应:具有类间差异的联合概率最大平均差异
©PaperWeekly 原创 · 作者|张玮玮
学校|东北大学硕士生
研究方向|情感识别
论文标题:Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
论文链接:https://arxiv.org/abs/1912.00320
代码链接:https://github.com/chamwen/JPDA
领域适应(DA),或迁移学习,通过将知识从标记的源域转移到新的未标记或部分标记的目标域,广泛应用于图像分类、情绪识别、脑机接口等。传统的 DA 方法遵循这个假设,即主要使用一些度量方法来分别度量边际概率或条件概率分布。然而,联合概率分布可以更好地测量两个域的分布差异。
为了方便利用 DA 方法,在特征转换时需要考虑两个方面:1)可迁移性,它最小化了同一类在不同域之间的差异;2)区分性,它最大限度地扩大了不同域的不同类之间的差异,从而使不同的类更容易区分。
传统的 DA 方法只考虑可迁移性,而忽略了类内可区分性。作者直接考虑了源域和目标域具有不同的联合概率分布的情况, 提出了具有类间差异的联合概率最大平均差异。
通过直接考虑联合概率分布的差异,作者提出了一种用于分布适应的具有类间差异的联合概率 MMD ( discriminative joint probability MMD, DJP-MMD)。
它同时最小化了同一类不同域之间的联合概率分布差异以获得可迁移性,最大化了不同域之间的联合概率分布差异以获得可识别性。还可以很容易地将 DJP-MMD 用于考虑不同域之间的非线性转移。
DJP-MMD知识基础
1.1 传统MMD方法
在传统的 DA 方法中,经常使用 MMD 来度量源域和目标域之间的分布差异。一个分布差异完全是由它的联合概率
来描述的,它可以被 或 等价地计算出来。
上式需要两步才能被近似计算出来。
条件分布差异是:
边缘分布差异是:
表示子空间样本的期望。
引入一个非线性映射
,MMD 距离可以写成如下式:
当
是 TCA 方法,是 JDA 方法,是 BDA。因此,这些传统的 DA 方法是基于边际和条件的权值完成 MMDs 近似联合概率分布。
论文方法
2.1 DJP-MMD
上图将传统的联合 MMD 提出的 DJP-MMD 进行了比较,从图中可以看出,DJP-MMD 使来自不同域的同一个类更加一致,使不同的类更加分离,便于分类。
联合概率差异可以定义为:
,表示两个领域之间的类内差异与类间差异。
因此具有差异的联合概率差异可以定义为:
,其中 可以表示为:
可以表示为:
同样
表示为:
作者将其嵌入到一个非监督联合概率 DA (JPDA) 框架中,该框架具有一个正则化项和一个主成分保留约束。整体优化函数需要将式中的最小化,即,求解最优线性映射
:
其中,
,,是中心矩阵。
2.2 JPDA优化
让
,可以得到拉格朗日函数 :
通过设置
,成为一个广义的特征分解问题 :
2.3 JPDA伪代码
结果
为了评估本文方法的性能,作者在 Offifice+Caltech 、COIL 、Multi-PIE 、USPS 、MNIST 数据集进行了实验,将所提出的 JPDA 与三种无监督 DA 方法(TCA、JDA和BDA)进行比较 。实验结果与 t-SNE 数据分布结果如下图。
JPDA 在大部分任务中都优于 3 个基线实验,平均性能也最好,这说明 JPDA 在跨域视觉适应中可以获得更强的可迁移性和更强的鉴别特征映射。
t-SNE 数据分布图中,Raw 表示原始数据分布。对于原始分布,来自源域和目标域的类 1 和类 3(也有一些来自类 2)的样本混合在一起。在 DA 之后,JPDA 将源域和目标域的数据分布放在一起,并将来自不同类的样本很好地分隔开。
从柱形图上看,JP-MMD 优于联合 MMD,而 DJP-MMD 进一步考虑了可分辨性,获得了最好的分类性能。
结论
本文提出了一种简单而有效的 DJP-MMD 方法。通过最小化源域和目标域(即,提高域可转移性),最大限度地提高不同类的联合概率 MMD(即,增加类的辨别力)。
与传统的基于 MMD 的方法相比,JPDA 更简单、更有效地测量了不同领域之间的差异。在 6 个图像分类数据集上的实验验证了 JPDA 的优越性。
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
迁移学习领域自适应:具有类间差异的联合概率最大平均差异相关推荐
- 迁移学习---迁移学习领域各位大佬的ppt,视频下载(百度云链接)
先附一张和迁移学习领域权威杨强教授的合影 1.王晋东---迁移学习简明手册 链接:https://pan.baidu.com/s/1mkTtxLRZA4hlxZiKchuOjg 提取码:9bj0 2 ...
- 基于MK-MMD度量迁移学习的轴承故障诊断方法研究
摘要 上一篇文章实验是基于凯斯西厨大学轴承数据集,使用同一负载情况下的6种轴承数据进行故障诊断,并没有进行不同负载下轴承故障诊断.之前没做这块迁移学习实验,主要是对于迁移学习理解不到位,也没有不知道从 ...
- 迁移学习:领域自适应的理论分析
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 领域自适应即Domain Adaptation,是迁移学习中很重要 ...
- 领域自适应(同构迁移学习)
DA就是源域和目标域不一样,具体是说分布不一样,维度是一致的. 参考链接: https://zhuanlan.zhihu.com/p/50710267 https://www.iqiyi.com/w_ ...
- 迁移学习前沿探究探讨:低资源、领域泛化与安全迁移
点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 作者丨王晋东 整理丨维克多 迁移学习是机器学习的一个重要研究分支,侧重于将已经学习过的知识迁移应用于新的问题中,以增强解决新问题的能力. ...
- 4个计算机视觉领域用作迁移学习的模型
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|AI公园 导读 使用SOTA的预训练模型来通过迁移学习解决 ...
- 基于联合分布适配的迁移学习(论文翻译)
基于联合分布适配的迁移学习 Abstract 迁移学习应用在计算机视觉是一种有效的技术,可以利用源域中丰富的标记数据为目标域构建准确的分类器.然而,大多数现有方法并没有同时减少域间边缘分布和条件分布的 ...
- 大作业论文之基于迁移学习的图像预测研究
基于迁移学习的图像预测研究 摘 要:深度学习技术发展迅速,在图像处理领域取得了显著成果.[2]但是由于部分图像样本少,标注困难,使得深度学习的效果远未达到预期.迁移学习是机器学习中一种新的学习范式, ...
- 自然语言处理中的迁移学习(上)
作者:哈工大SCIR 徐啸 来源:Transfer Learning in Natural Language Processing Tutorial (NAACL 2019) 作者:Sebastian ...
最新文章
- 【Java学习笔记】字符串和Date的转换
- PHP新增与修改的区分
- 怎样选择合适的PoE交换机?POE交换机选用小常识!
- 前端学习(773):内置对象介绍
- 小程序·云开发实战 - 校园约拍小程序
- 【Sqoop】从MySQL同步数据到Hive的操作参数解析
- 洛谷P1288 取数游戏II[博弈论]
- 变速恒频风电机组的优缺点_保障风电齿轮箱的有效润滑
- 95-110-020-源码-Env-StreamExecutionEnvironment
- Python - 优雅而简单地完成http请求
- paip.提高效率---微信 手机app快速开发平台—微网络撬动大市场
- php宠物管理系统的开题报告,基于JSP的宠物医院开发与设计(开题报告)
- linux过滤端口抓包_linux抓包命令tcpdump
- C语言大作业-车辆信息管理系统
- 万恶IE兼容之input change事件
- (Unity)太空大战笔记
- uniapp——显示不了网络图片或者本地图片
- 基于JSP的共享单车管理系统的设计与实现
- NYOJ 33 蛇形填数
- Unity3d场景渲染出图
热门文章
- idea社区版和企业版区别_IntelliJ IDEA 旗舰版与社区版有什么不同
- 用Python解决数据结构与算法问题
- 【翻译】关于vertical-align所有你需要知道的
- golang实现dns域名解析(一)
- mac下virtualbox安装win7系统
- 将SQL中数据输出到Excel中
- C# hashtable
- 字符串原样输出程序python_Python格式化字符串(格式化输出)
- jre环境变量配置_详解java环境变量意思-用于解决环境搭建问题
- 英文 电气与计算机工程学报,ei来源刊分为哪三大类?如何区别compendex和ei page one的文章?...