Learning Transferable Features with Deep Adaptation Networks
研究发现,随着domain之间差异性的增大,高层特征的可迁移性显著下降。作者针对这种情况,提出了“多核”和“多层”的想法,“多核”是指使用了多核MMD,“多层”是指适配了多层特征。
摘要
深度神经网络可以学习可迁移特征,这些特征用于域适应时在新的任务上表现出很好的泛化能力。但是特征的迁移性在高层明显下降,并增加域差异。因此论文的motivation是formally reduce the dataset bias and enhance the transferability in task-specific layers,即形式化地减少数据集偏差,增强任务特定层的可移植性。
论文提出一个Deep AdaptationNetwork (DAN) 结构(深度自适应网络结构),将深度卷积神经网络推广到领域自适应场景,DAN中所有任务层的隐藏表示都能嵌入到Hilber空间中。
1.Introduction
对图片学习,transfer learning很重要,如果能从有训练数据的数据集中学到的特征知识迁移到没有足够训练数据的数据集中应用,即将已有的经验应用到新的任务重去,这可以节省相当大的成本。建立知识转移(knowledge transfer)的主要方法之一是从数据中学习域不变模型,该模型可以在同构的潜在特征空间中架起源域和目标域之间的桥梁。
DAN联合卷积神经网络,减小域差异来实现。(域差异指的是源域和目标域的差异)DAN网络可以学习可跨越域差异的可迁移特性。
本文的贡献总结如下:
- 提出了一种新的领域自适应深度神经网络结构,该结构中与任务特定特征对应的所有层都是分层自适应的,从而从深度自适应中获益。
- 探索多内核自适应深度表示,与单一内核方法相比,大大提高了自适应效率。该模型可以产生无偏的深层特征与统计保证。
2. Related Work
3. Deep Adaptation Networks
在无监督域自适应中,给出了带个标记的源域,带个标记的目标域。源域和目标域分别用概率分布和表示。我们的目标是构建一个深层神经网络能够学习transferable features,并构建一个分类器,可以使用使用源域监督来最小化目标风险。在半监督自适应中,当目标域有少量带标记的例子时,我们用中的表示源域和目标域的注释的例子。
3.1. Model
源域和目标域的数据都放在一起,通过AlexNet来训练,前三层frozen,第四层第五层fine-tuning,当到后面几层时,source data和target data分开,然后通过MK-MMD方法来计算两个域的距离,并且通过损失函数来进行优化,最后当损失函数优化到设定的阈值时,就可进行最终的分类。
因为特征的可迁移性随着层数的加深而显著下降,可以理解为前几层提取的是general的特征,越往后就会提取出更针对当前任务的specific的特征。对于下图中的网络在 conv4 - conv5 处,特征可迁移性变差,在fc6 - fc8处,特征可迁移性显著变差,所以需要对较深的多层全部进行适配而不是只针对其中的某一层。所以和DDC不同,DAN对 fc6 到 fc8 的全连接层都通过MK-MMD进行了适配。
3.2 优化目标
Learning Transferable Features with Deep Adaptation Networks相关推荐
- 时空特征--Learning Spatiotemporal Features with 3D Convolutional Networks
Learning Spatiotemporal Features with 3D Convolutional Networks ICCV 2015 http://vlg.cs.dartmouth.ed ...
- 【论文阅读】Learning Spatiotemporal Features with 3D Convolutional Networks
[论文阅读]Learning Spatiotemporal Features with 3D Convolutional Networks 这是一篇15年ICCV的论文,本篇论文提出的C3D卷积网络是 ...
- 视频分类论文阅读笔记——Learning Spatiotemporal Features With 3D Convolutional Networks
论文:Learning Spatiotemporal Features With 3D Convolutional Networks 作者:FaceBook AI研究院 来源:ICCV2015 代码: ...
- Learning Spatiotemporal Features with 3D Convolutional Networks 读书笔记
最近读了Learning Spatiotemporal Features with 3D Convolutional Networks这篇文章,下面对文章内容进行简要概括. 摘要 摘要主要介绍在大规模 ...
- 动作识别经典C3D论文Learning Spatiotemporal Features with 3D Convolutional Networks的介绍
关于论文Learning Spatiotemporal Features with 3D Convolutional Networks的介绍 这篇论文提出了一个比较高效的C3D网络来提取视频的空间时间 ...
- [翻译]Learning Multiple Tasks with Deep Relationship Networks
Abstract 受过大规模数据训练的深度网络可以学习可转移的特性,以促进学习多种任务.随着深度特征最终从一般到特定的深度网络的转换,一个根本的问题是如何利用不同任务之间的关系,并提高特定任务层的特性 ...
- 论文笔记之C3D(Learning Spatiotemporal Features with 3D Convolutional Networks)
通过构造了对称的3×3×3卷积核来利用3D卷积学习时空特征,计算效率高. 论文地址:http://vlg.cs.dartmouth.edu/c3d/c3d_video.pdf 1. 摘要 本文提出了一 ...
- 模型剪枝三:Learning Structured Sparsity in Deep Neural Networks
论文:https://arxiv.org/abs/1608.03665 代码:https://github.com/wenwei202/caffe/tree/scnn 1 核心思想 前面两篇文章htt ...
- Learning Structured Sparsity in Deep Neural Networks
论文链接:https://arxiv.org/pdf/1608.03665.pdf 代码链接:https://github.com/wenwei202/caffe/tree/scnn 摘要 计算资源的 ...
- CVPR2021/邻域自适应/图像翻译-DRANet: Disentangling Representation and Adaptation Networks
CVPR2021/邻域自适应-DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-D ...
最新文章
- 受益一生的15个学习习惯
- 关于壳的构架的一些感悟
- 链家混三个月底薪_链家悲惨工作经历,新人参考
- 【实例图文详解】OAuth 2.0 for Web Server Applications
- linux -- read(), write()
- ESL:我们如何使用首云混合云产品实现提效降本
- aws dynamodb_如何使用AWS Lambda将DynamoDB集成到您的API中
- 对于一组给定的叶子结点_高糊图片可以做什么?Goodfellow等人用它生成一组合理图像...
- IPv6带给互联网的新契机
- apache tomcat 6集群负载和session复制(转)
- C++学生信息管理系统2.0
- 遗传算法 python_Python实现入门级遗传算法
- 世界各国各地区名称代码对应表
- SPSS实现两独立样本非参数检验
- python元组添加元素_python – 在元组中添加元素
- kubernetes kind类型之Deployment
- 腾讯视频怎么下载 qlv视频怎么转换为MP4格式
- LoRaWAN介绍15 终端设计
- Python使用Treeview制作表格(二)
- 派生类的构造函数和析构函数
热门文章
- AIOps对监控报警架构的挑战
- linux中iso源码解压_linux下解压iso镜像文件方法
- android一键刷机工具,刷机也能如此轻松 Android一键刷机工具
- 合泰单片机市场占有率_科创板亏损第一股年亏26亿背后:核心技术依赖母公司与台积电相差3代...
- 【java】模拟物流快递系统程序设计
- awd的批量脚本 pwn_记一次AWD反杀之旅
- 【leetcode】189.旋转数组 (四种方法开阔思路,java实现!)
- 安装Windows系统时进行磁盘格式化及分区等操作
- 清北学堂模拟赛d4t4 a
- Ring Buffer介绍