DANN原理理解

DANN中源域和目标域经过相同的映射来实现对齐。

DANN的目标函数分为两部分：
1. 源域分类损失项
2. 源域和目标域域分类损失项

1.源域分类损失项

对于一个m维的数据点X，通过一个隐含层Gf，数据点变为D维：

然后经过一个分类层Gy得到分类结果：

这个点的源域分类损失定义为：

于是源域的分类损失项定义为：

2.域分类误差

域分类时，源域的标签是0，目标域的标签是1，最大化域分类误差就是让域判别器分不清源域和目标域，如此这样源域和目标域在分布上就变得对齐了。

对于任意一个来自源域或者目标域的点，它通过域判别层后的结果是：

这个点的域分类误差定义为：

交叉熵函数： $-ylg\hat{y}-(1-y)lg(1-\hat{y})$ ，把负号提入对数函数内就是上式的形式。

域分类误差项定义为：

DANN目标函数

DANN目的是最小化源域分类误差项，最大化域分类误差项，但整体目标函数是最小化问题，所以在域分类误差项前加了负号，并且引入超参数λ作为权重平衡参数。

DANN的算法流程图如下：

算法步骤如下：

DANN：Domain-Adversarial Training of Neural Networks相关推荐

KDD2018《Adversarial Attacks on Neural Networks for Graph Data》论文详解
Adversarial Attacks on Neural Networks for Graph Data 论文链接:https://arxiv.org/pdf/1805.07984.pdf evas ...
【论文阅读笔记】Ristretto： Hardware-Oriented Approximation of Convolutional Neural Networks
概念 MAC:multiplication-accumulation operations 2. Convolutional Neural Networks 2.2.1 Normalization l ...
【阅读笔记】Differentiable plasticity: training plastic neural networks with backpropagation
Differentiable plasticity: training plastic neural networks with backpropagation 作者: Thomas Miconi/J ...
目标跟踪算法五：MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
目标跟踪算法五:MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking 原文:https://zh ...
剪枝综述论文阅读：Methods for Pruning Deep Neural Networks
文章目录一.概述 1.分类 2.评估二.Magnitude based pruning 1.权重剪枝 2.彩票定理 3.特征图和过滤器剪枝 (1)基于通道方差的剪枝 Inbound pruning ...
详译：RESIDUAL AND PLAIN CONVOLUTIONAL NEURAL NETWORKS FOR 3D BRAIN MRICLASSIFICATION
论文题目:RESIDUAL AND PLAIN CONVOLUTIONAL NEURAL NETWORKS FOR 3D BRAIN MRI CLASSIFICATION 三维脑MRI分类的残差和平 ...
EWC：Overcoming catastrophic forgetting in neural networks论文笔记
EWC:Overcoming catastrophic forgetting in neural networks 概要根据某些参数对先前任务的重要性来缓解某些参数权重的学习率 EWC 约束重要的参 ...
Domain-Adversarial Training of Neural Networks
本篇是迁移学习专栏介绍的第十八篇论文,发表在JMLR2016上. Abstrac 提出了一种新的领域适应表示学习方法,即训练和测试时的数据来自相似但不同的分布.我们的方法直接受到域适应理论的启发,该理 ...
[深度学习论文笔记][Adversarial Examples] Deep Neural Networks are Easily Fooled: High Confidence Predictions
Nguyen, Anh, Jason Yosinski, and Jeff Clune. "Deep neural networks are easily fooled: High conf ...
Differentiable plasticity: training plastic neural networks withbackpropagation
http://proceedings.mlr.press/v80/miconi18a/miconi18a.pdf 文章目录 Abstract Introduction Related work int ...

DANN：Domain-Adversarial Training of Neural Networks

DANN原理理解

1.源域分类损失项

2.域分类误差

DANN目标函数

DANN：Domain-Adversarial Training of Neural Networks相关推荐

最新文章

热门文章