来自PaperWeekly的CSDN 文章

14 篇论文为你呈现「迁移学习」研究全貌 | 论文集精选 #04

迁移学习对于人类来说，就是掌握举一反三的学习能力。对于计算机而言，所谓迁移学习，就是从一个或多个源任务（source task）中抽取知识和经验，然后将其应用于一个有相关性的目标领域（target domain）。

（1）Domain adaptation via transfer component analysis

论文链接：http://www.paperweekly.site/papers/793

迁移学习领域公认的经典工作，作者团队来自香港科技大学 Qiang Yang 教授团队，推荐所有做迁移学习研究的同学都看一看。

（2）Geodesic flow kernel for unsupervised domain adaptation

论文链接：http://www.paperweekly.site/papers/794

迁移学习领域代表性文章——GFK（Geodesic flow kernel）。GFK 方法首先解决 SGF 的问题：如何确定 source 和 target 路径上中间点的个数。它通过提出一种 kernel 方法，利用路径上的所有点的积分，把这个问题解决了。这是第一个贡献。然后，它又解决了第二个问题：当有多个 source 的时候，我们如何决定使用哪个 source 跟 target 进行迁移？GFK 通过提出 Rank of Domain 度量，度量出跟 target最近的 source，来解决这个问题。

（3）Transfer feature learning with joint distribution adaptation

论文链接：http://www.paperweekly.site/papers/795

迁移学习领域又一经典文章，是 TCA 的增强版本，推荐读。JDA 方法比较巧妙，同时适配两个分布，然后非常精巧地规到了一个优化目标里。用弱分类器迭代，最后达到了很好的效果，值得我们去学习。

（4）Unsupervised Domain Adaptation by Backpropagation

论文链接：http://www.paperweekly.site/papers/1035

代码链接：https://github.com/shucunt/domain_adaptation

深度迁移学习经典文章。

（5）How transferable are features in deep neural networks?

论文链接：http://www.paperweekly.site/papers/796

代码链接：https://github.com/yosinski/convnet_transfer

探究深度网络的可迁移性质，非常值得读。虽然该论文并没有提出一个创新方法，但是通过实验得到了以下几个结论，对以后的深度学习和深度迁移学习都有着非常高的指导意义。神经网络的前 3 层基本都是 general feature，进行迁移的效果会比较好；深度迁移网络中加入 fine-tune，效果会提升比较大，可能会比原网络效果还好；Fine-tune 可以比较好地克服数据之间的差异性；深度迁移网络要比随机初始化权重效果好；网络层数的迁移可以加速网络的学习和优化。

（6）Deep Domain Confusion: Maximizing for Domain Invariance

论文链接：http://www.paperweekly.site/papers/1038

深度迁移学习最早期的代表性文章，虽然至今为止不知道发在哪里（一直只是在 arXiv 上），但是引用量很大，算是比较基础性的工作。值得一读。

（7）Learning Transferable Features with Deep Adaptation Networks

论文链接：http://www.paperweekly.site/papers/797

深度适配网络（Deep Adaptation Netowrk，DAN）是清华大学龙明盛提出来的深度迁移学习方法，最初发表于 2015 年的机器学习领域顶级会议 ICML 上。DAN 解决的也是迁移学习和机器学习中经典的 domain adaptation 问题，只不过是以深度网络为载体来进行适配迁移

（8）Simultaneous Deep Transfer Across Domains and Tasks

论文链接：http://www.paperweekly.site/papers/1040

传统的深度迁移学习方法只进行 domain confusion，这个文章加入了 task transfer，也就是说，充分考虑到类别之间的相似性。

（9）A Unified Framework for Metric Transfer Learning

论文链接：http://www.paperweekly.site/papers/1039

这篇文章的作者团队来自新加坡南洋理工大学，主要老板是 Sinno Jialin Pan，他是迁移学习大牛杨强的学生，《A survey on transfer learning》的第一作者。文章比较新，值得一读。

（10）Adversarial Discriminative Domain Adaptation

论文链接：http://www.paperweekly.site/papers/690

代码链接：https://github.com/erictzeng/adda 和 https://github.com/corenel/pytorch-adda

ADDA 总结了 DA 领域的总体架构，提纲挈领。

（11）Correlation Alignment by Riemannian Metric for Domain Adaptation

论文链接：http://www.paperweekly.site/papers/1042

一个比较新的工作，但是创新性比较小：只是将现有的 CoRAL 工作中的距离度量换成了在黎曼空间下的度量。

（12）Understanding How Feature Structure Transfers in Transfer Learning

论文链接：http://www.paperweekly.site/papers/1044

IJCAI-17 最新文章，理解迁移学习中 feature 是如何进行 transfer 的。有两个大牛 Qiang Yang 和 Dacheng Tao 坐镇，文章肯定不差。

（13）Associative Domain Adaptation

论文链接：http://www.paperweekly.site/papers/686

代码链接：https://github.com/haeusser/learning_by_association

相比较 ADDA 而言，从很大程度上提升了 DA 的性能，值得一读。

（14）Learning to Transfer

论文链接：http://www.paperweekly.site/papers/1041

迁移学习领域比较新的研究方向，将迁移学习与增量学习结合起来，是开创性的工作。建议一读。

迁移学习——论文集推荐相关推荐

14 篇论文为你呈现「迁移学习」研究全貌 | 论文集精选 #04
PaperWeekly 是一个 AI 学术分享社区.这里聚集了大批一线 AI 学者,他们用精炼妙语推荐各自发现的优质论文.点击本文底部的「阅读原文」即刻加入社区,创建属于你的论文集. 这里是第 4 期 ...
迁移学习与跨域推荐，以及解决跨域推荐的方法
本文主要是详细介绍一下跨域推荐,包含但不局限于以下几个部分: 迁移学习跨域推荐跨域推荐可以怎么做冷启动的其他一些方法可以参考的论文有哪些 1. 迁移学习以下内容参考[推荐系统中的多任务学习- ...
人工智能应用实战系列-如何在新闻推荐中使用迁移学习
导读: 新闻推荐已经成为移动设备中的一项重要服务,其目的是让大多数用户知道世界上发生了什么.我们假设用户在某个新闻推荐服务中首次注册,并且以前没有读过任何新闻文章.此任务与新用户冷启动挑战和新物品 ( ...
pytorch卷积神经网络_资源|卷积神经网络迁移学习pytorch实战推荐
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达一.资源简介这次给大家推荐一篇关于卷积神经网络迁移学习的实战资料,卷积神经网络迁移学 ...
CV好文推荐+迁移学习经验分享
前几日,52CV分享了最近一本新出的书<深度学习500问>中迁移学习相关的内容:有故事.有实践,谈一谈深度迁移学习方法的基本思路,并举办了以"论文推荐+经验分享"赠送这 ...
跨域推荐：迁移学习和推荐系统的火花碰撞
作者 | Chilia 整理 | NewBeeNLP 什么是跨域推荐呢?一句话概括就是:跨域推荐(Cross-Domain Recommendation)是迁移学习在推荐系统中的一种应用. 跨域推 ...
#今日论文推荐#NAACL 2022 | 基于Prompt的文本生成迁移学习
#今日论文推荐#NAACL 2022 | 基于Prompt的文本生成迁移学习预训练语言模型(PLM)通过微调在文本生成任务方面取得了显著进展.然而,在数据稀缺的情况下,微调 PLMs 是一项挑战.因 ...
Deep CARs：使用Pytorch学习框架实现迁移学习
全文共13449字,预计学习时长26分钟或更长图片来源:https://www.pexels.com/photo/vehicles-parked-inside-elevated-parking-lo ...
杂谈 | 当前知识蒸馏与迁移学习有哪些可用的开源工具？
所有参与投票的 CSDN 用户都参加抽奖活动群内公布奖项,还有更多福利赠送作者&编辑 | 言有三来源 | 有三AI(ID:yanyousan_ai) [导读]知识蒸馏与迁移学习不仅仅属于 ...

迁移学习——论文集推荐

14 篇论文为你呈现「迁移学习」研究全貌 | 论文集精选 #04

（1）Domain adaptation via transfer component analysis

迁移学习——论文集推荐相关推荐

最新文章

热门文章