Robust Pre-Training by Adversarial Contrastive Learning
文章目录
- 概
- 主要内容
- 代码
Jiang Z., Chen T., Chen T. & Wang Z. Robust Pre-Training by Adversarial Contrastive Learning. NIPS, 2020.
概
本文介绍了一种利用对比学习进行对抗预训练的方法.
主要内容
思想是很简单的, 就是利用对比学习进行训练(样本的augumentation多一个 δ \delta δ), 然后再通过此方法训练得到的参数进行finetune.
比较特别的是, 有三种预训练的方案:
- Adversarial-to-Adversarial (A2A): 即样本对均加了对抗扰动 ( x ~ i + δ i , x ~ j + δ j ) (\tilde{x}_i+\delta_i, \tilde{x}_j + \delta_j) (x~i+δi,x~j+δj);
- Adversarial-to-Standard (A2S): ( x ~ i + δ i , x ~ j ) (\tilde{x}_i+\delta_i, \tilde{x}_j) (x~i+δi,x~j);
- Dual Stream (DS): 作者在实验中发现, 单独使用A2A, 侵略性太强, 故采取了一种中和的方法, 即同时加上Standard-to-Standard (S2S)的损失.
实验结果也显示, DS的效果是最好的, 即
ℓ = ℓ N T ( f ∘ g ( x ~ i , x ~ j ; θ , θ b n ) ) + α ⋅ ℓ N T ( f ∘ g ( x ~ i + δ i , x ~ j + δ j , θ b n a d v ) ) , \ell = \ell_{NT} (f \circ g(\tilde{x}_i, \tilde{x}_j; \theta, \theta_{bn}))+ \alpha \cdot \ell_{NT}(f \circ g (\tilde{x}_i +\delta_i, \tilde{x}_j +\delta_j, \theta_{bn^{adv}})), ℓ=ℓNT(f∘g(x~i,x~j;θ,θbn))+α⋅ℓNT(f∘g(x~i+δi,x~j+δj,θbnadv)),
需要注意的是 θ b n , θ b n a d v \theta_{bn}, \theta_{bn^{adv}} θbn,θbnadv, 因为作者作者发现(其实之前便有文章指出过这个问题了), 如果对抗样本和普通样本使用的是同一个batchnorm, 最后结果会变差, 所以作者训练DS或者A2S的时候, 都是使用两个独立的BN的.
本文还有一些在半监督下的分析, 这里就不多赘述了.
代码
原文代码
Robust Pre-Training by Adversarial Contrastive Learning相关推荐
- Adversarial Representation Learning for Robust Patient-Independent Epileptic Seizure Detection(文章剖析)
Adversarial Representation Learning for Robust Patient-Independent Epileptic Seizure Detection(文章剖析) ...
- Adversarial Self-Supervised Contrastive Learning
论文标题: Adversarial Self-Supervised Contrastive Learning 论文来源: NeurIPS 2020 论文链接: https://arxiv.org/ab ...
- 【CVPR 2021】Joint Generative and Contrastive Learning for Unsupervised Person Re-identification
方法概述 1,提出了一种用于无监督行人重识别的联合生成对比学习框架,生成和对比模块互相提高对方的性能. 2, 在生成模块中,我们引入了3D网格生成器. 3, 在对比模块,我们提出了一种视角无关的损失, ...
- 2022_WWW_Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning
[论文阅读笔记]2022_WWW_Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Lear ...
- 对比学习(Contrastive Learning)综述
A.引入 https://zhuanlan.zhihu.com/p/346686467 A.引入 深度学习的成功往往依赖于海量数据的支持,其中对于数据的标记与否,可以分为监督学习和无监督学习. 1 ...
- 对比学习系列论文SDCLR(二)-Self-Damaging Contrastive Learning
目录 0.Abstract 0.1逐句翻译 0.2总结 1. Introduction 1.1. Background and Research Gaps 1.1.1逐句翻译 第一段(引出对比学习是否 ...
- 对抗机器学习(Adversarial Machine Learning)发展现状
目录 1. 了解对手 1. 1 攻击目标(Goal) 1. 2 知识储备(Knowledge) 1.3 能力限制(Capability) 1.4 攻击策略(Strategy) 2. 学会主动 2.1 ...
- 【论文笔记】Adversarial Multi-task Learning for Text Classification
一.概要 该文章发于ACL 2017,针对于已有的大多数神经网络多任务学习模型进行文本分类,存在的共享特征(shared features)可能再次包含特定任务特征(task-specific f ...
- Poisoning Attack in Adversarial Machine Learning
Poisoning Attack in Adversarial Machine Learning Data Poisoning攻击区别于Evasion攻击,是攻击者通过对模型的训练数据做手脚来达到控制 ...
最新文章
- ES6中this的三种用法
- Push代码:Git@github.com: Permission denied (publickey)
- 每日一题(53)—— 评价代码片段
- Matlab箱线图Boxplot横坐标x轴设置
- numpy mean
- 平稳性的检验 java_[时间序列分析]--平稳性,白噪声的检验
- ubuntu软件包详解
- 如何注册阿里大于申请签名和短信模板
- Sqlserver 日期查询处理
- 2021全国省市区街道社区五级SQL文件以及JAVA爬取代码
- 97-微服务项目的编写(上篇)
- 【web全景】web全景实现方案(转载)
- Shell修改命令提示符
- 微信小程序运行及更新机制
- python过滤敏感词记录
- PDFObject.js的使用
- 天线巴伦制作和原理_巴伦的原理、设计、制作
- 设置EXCEL的默认打印机
- 【高阶累积量】基于高阶累积量的信噪比盲估计法的matlab仿真
- 热敏电阻和温度转换公式和程序