【深度域自适应】DANN梯度反转层（GRL）理解

加入GRL的目的是为了让领域判别器和特征提取器之间形成一种对抗。先不管标签分类器，领域判别器就是GAN里的判别器，目的就是区分出real(目标域）与fake(源域），所以领域判别器的目的同样也是最小化领域判别误差，特征提取器就是生成器，特征提取器尽量输出一个能够逃过判别器的特征向量f。此时特征提取器的优化目标则是1.减少sigmod(f)与real之间的损失，而域判别器的目标则是：2.减少来自于目标领域的sigmod(f)与fake的损失 3.减少来自于源领域的sigmod(f)与real的损失，对抗关系则是：1与2之间的对抗。

假如没有GRL，那么来自于域判别器的梯度对特征提取器的参数更新目的则是服务于2和3，加入了GRL后，梯度取反，那么特征提取器的参数更新目的则是与2相反，即服务于1.以此形成一种对抗，最后达到平衡。而标签分类器的训练只是并行训练，目的是使得生成的特征向量f依旧有分类能力，并没有与特征提取器有对抗关系，所以不用GRL反转

——来自网友xx_ILY2020.10.06

【深度域自适应】一、DANN与梯度反转层（GRL）详解

【深度域自适应】DANN梯度反转层（GRL）理解相关推荐

[Tensorflow2] 梯度反转层(GRL)与域对抗训练神经网络(DANN)的实现
文章目录概述原理回顾 (可跳过) GRL 层实现使用 GRL 的域对抗(DANN)模型实现 DANN 的使用案例 !!! 后记概述域对抗训练(Domain-Adversarial Train ...
【深度域自适应】一、DANN与梯度反转层（GRL）详解
前言在当前人工智能的如火如荼在各行各业得到广泛应用,尤其是人工智能也因此从各个方面影响当前人们的衣食住行等日常生活.这背后的原因都是因为如CNN.RNN.LSTM和GAN等各种深度神经网络的强大性能 ...
【深度域适配】一、DANN与梯度反转层（GRL）详解
CSDN博客原文链接:https://blog.csdn.net/qq_30091945/article/details/104478550 知乎专栏原文链接:https://zhuanlan.zhi ...
【深度域自适应】二、利用DANN实现MNIST和MNIST-M数据集迁移训练
前言在前一篇文章[深度域自适应]一.DANN与梯度反转层(GRL)详解中,我们主要讲解了DANN的网络架构与梯度反转层(GRL)的基本原理,接下来这篇文章中我们将主要复现DANN论文Unsuperv ...
【迁移学习】深度域自适应网络DANN模型
DANN Domain-Adversarial Training of Neural Networks in Tensorflow 域适配:目标域与源域的数据分布不同但任务相同下的迁移学习. 模型建立 ...
【迁移学习】深度域自适应网络DANN在EEG睡眠质量检测上的应用
应用DANN进行睡眠质量检测论文:Sleep Quality Estimation with Adversarial Domain Adaptation:From Laboratory to Rea ...
关于梯度翻转层GRL的理解
最近在看迁移学习中的DANN算法和DAAN算法,二者都用到了GRL层,是一种梯度翻转层,这里主要想讲一下梯度翻转层为什么有用. 以DANN为例,倘若梯度翻转层不存在,那么,算法在迭代过程中,在减少Ly ...
pytorch实现梯度反转层(Gradient Reversal Layer)（正确代码）
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一 ...
MS-DAYOLO来了！多尺度域自适应的YOLO，恶劣天气也看得见！
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 Multiscale Domain Adaptive YOLO for Cross-Domain Ob ...

【深度域自适应】DANN梯度反转层（GRL）理解

【深度域自适应】DANN梯度反转层（GRL）理解相关推荐

最新文章

热门文章