域自适应的理解(简单易懂)
推荐阅读文章
对抗思想在域适应中的应用:
——Adversarial Multiple Source Domain Adaptation(2018)
——DANN:Unsupervised Domain Adaptation by Backpropagation(2015)
—— DANN:Domain-Adversarial Training of Neural Networks(2016)
多源域适应:
——Boosting for transfer learning with multiple sources(2010)
——Adversarial Multiple Source Domain Adaptation(2018)
——Aligning Domain-Specific Distribution and Classifier for Cross-Domain Classification from Multiple Sources(2019)
部分文章已上传资源,可免费获取~
域自适应性
- 域适应的引入
- 域适应方法分类
- 参考
领域自适应(Domain Adaptation)是迁移学习(Transfer Learning)的一种特殊情况,思路是将不同领域(如两个不同的数据集)的数据特征映射到同一个特征空间,这样可利用其它领域数据来增强目标领域训练。
域适应的引入
在经典的机器学习模型中,我们习惯性假设训练数据集和目标训练集有着相同的概率分布。而在现实生活中,这种约束性假设很难实现。当训练数据集和测试集有着巨大差异时,很容易出现过拟合的现象,使得训练的模型在测试集上表现不理想。
举个栗子,假设训练数据集是各种英短蓝猫,而想训练得到可以区分田园猫的模型,该模型相比于英短蓝猫识别情况性能会下降。当训练数据集和测试数据集分布不一致的情况下,通过在训练数据集上按经验误差最小准则训练得到的模型在测试数据集上性能不佳,因此,我们引入了域适应技术。
例如,我们有时在一个感兴趣的领域中有一个分类任务,但是在另一个感兴趣的领域中我们只有足够的训练数据,在另一个领域中,后者可能位于不同的特征空间或遵循不同的数据分布。在这种情况下,如果成功地进行知识迁移,就可以避免昂贵的数据标记工作,从而大大提高学习性能。
域适应方法分类
域适应(Domain Adaptation)是迁移学习中比较流行的一个分支,它是通过利用训练数据集训练得到的知识,提高模型在测试数据集上的表现性能。
域适应中有两个基础概念:源域(Source Domain)和目标域(Target Domain)。源域中有着丰富的监督学习信息;目标域表示测试集所在的领域,通常无标签或者只含有少量的·标签。源域和目标域往往是同一类任务,但是分布不同。
现实世界当中这个问题又分为不同的类型:
1、数据分布相同,条件分布不同且相关
2、数据分布不同且相关,条件分布相同
3、数据分布和条件分布都不同且相关
通过在不同阶段进行域适应,研究者提出了几种不同的域适应方法:
1、样本自适应:将源域中样本重采样,使其分布趋近于目标域分布;从源域中找出那些长的最像目标域的样本,让他们带着高权重加入目标域的数据学习。
2、特征层面自适应:与一般的将源域映射到目标域方法不同,该类方法将源域和目标域投影到公共特征子空间,进而使得源域上的训练知识可以直接应用于目标域;
3、模型层面自适应:对源域误差函数进行修改,考虑到目标与的误差。
潜下心,沉住气~
参考
https://www.cnblogs.com/LiYimingRoom/p/12095523.html
https://www.cnblogs.com/Terrypython/p/10645520.html
域自适应的理解(简单易懂)相关推荐
- 【深度域自适应】DANN梯度反转层(GRL)理解
加入GRL的目的是为了让领域判别器和特征提取器之间形成一种对抗.先不管标签分类器,领域判别器就是GAN里的判别器,目的就是区分出real(目标域)与fake(源域),所以领域判别器的目的同样也是最小化 ...
- 迁移学习之域自适应理论简介(Domain Adaptation Theory)
©作者 | 江俊广 单位 | 清华大学 研究方向 | 迁移学习 本文主要介绍域自适应(Domain Adaptation)最基本的学习理论,全文不涉及理论的证明,主要是对部分理论的发展脉络的梳理,以及 ...
- 从近年CVPR看域自适应立体匹配
©PaperWeekly 原创 · 作者|张承灏 单位|中科院自动化所硕士生 研究方向|深度估计 深度立体匹配(deep stereo matching)算法能够取得较好的性能,一是来源于卷积神经网络 ...
- Meta-Weight-Net[NIPS‘2019]:关于元学习/域自适应(meta learning/domain adaptation)优化噪声标签与类别不平衡的问题
目录 研究背景 一.为什么存在类别不平衡现象? 二. Meta-Weight-Net[NIPS'2019] 1.Focal Loss 2.self-pacd learning 3.Meta-Weigh ...
- 【转】区块链是什么,如何简单易懂地介绍区块链?
作者:知乎用户 链接:https://www.zhihu.com/question/37290469 来源:知乎 著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 友情提醒:比特币 ...
- 对迁移学习中域适应的理解和3种技术的介绍
域适应是计算机视觉的一个领域,我们的目标是在源数据集上训练一个神经网络,并确保在显著不同于源数据集的目标数据集上也有良好的准确性.为了更好地理解域适应和它的应用,让我们先看看它的一些用例. 我们有很多 ...
- 目标检测的渐进域自适应,优于最新SOTA方法
作者 | Han-Kai Hsu.Chun-Han Yao.Yi-Hsuan Tsai.Wei-Chih Hung.Hung-Yu Tseng.Maneesh Singh.Ming-Hsuan Yan ...
- 超越最新无监督域自适应方法,研究人员提轻量CNN新架构OSNet
作者 | Kaiyang Zhou, Xiatian Zhu, Yongxin Yang, Andrea Cavallaro, and Tao Xiang 译者 | TroyChang 编辑 | Ja ...
- 近期必读的9篇CVPR 2019【域自适应(Domain Adaptation)】相关论文和代码
[导读]最近小编推出CVPR2019图卷积网络.CVPR2019生成对抗网络.[可解释性],CVPR视觉目标跟踪,CVPR视觉问答,医学图像分割,图神经网络的推荐相关论文,反响热烈.最近,Domain ...
最新文章
- kuka机器人股票代码_【内幕】溢价收购KUKA机器人 美的钱从哪来?
- 201103阶段二linux gdb调试与ftp配置
- 音视频技术开发周刊(第123期)
- JDK 14的征兆开始出现
- 如何使用NodeManager来控制WebLogic Server
- html绘制城堡,网页上的虚幻3,HTML5版《史诗城堡》体验
- unix网络编程各种TCP客户-服务器程序设计实例(三)
- 机器学习基础 -- 李宏毅2020机器学习课程笔记(一)
- System.SetString - 获取字符串
- STM32F407——蓝牙模块CC2541
- 恒大人寿保险搭载EastFax USB SERVER推动U盾管理革新
- MSI(Message Signaled Interrupt)/MSI-X
- PPT提取文字C代码实现
- bios显示计算机故障,笔记本电脑BIOS出现故障怎么办 三种常见BIOS故障解决方案...
- 【FFMPEG】AVFrame中buffer分配的两种方式
- cfa专题突破网课资源
- 无线打印服务器与什么打印机相配,网络打印服务器-本地打印机和网络打印机有什么区别? 爱问知识人...
- 重庆赛区ACM热身赛 8526. 小埋的烦恼
- 【java笔记】day01
- JS逆向、破解、反混淆、反浏览器指纹——JS补环境框架