Improving Adversarial Robustness via Channel-Wise Activation Suppressing
文章目录
- 概
- 主要内容
- 代码
Bai Y., Zeng Y., Jiang Y., Xia S., Ma X., Wang Y. Improving adversarial robustness via channel-wise activation suppressing. In International Conference on Learning Representations (ICLR), 2021.
Yan H., Zhang J., Niu G., Feng J., Tan V., Sugiyama M. CIFS: Improving adversarial robustness of CNNs via channel-wise importance-based feature selection. In International Conference on Machine Learning (ICML), 2021.
概
这两篇论文发现natural和adversarial样本在激活层的大小和分布有显著的不同.
主要内容
如上两图所示, 对抗样本的magnitude相较于干净样本要普遍大一些, 重要性的分布相较于干净分布更趋于均匀分布.
所以可以认为, 倘若我们能够恢复正常的大小以及回归正常的重要性指标, 那么就能够提高网络鲁棒性.
注: 上面的重要性分布是这么计算的: 对于固定的类, 计算每个channel对于判别为该类的贡献度是否超越一个阈值, 以统计的综合频率为最后的重要性.
对于每一个block (比如resnet中的block), 在最后的输出部分辅以重加权, 使得重要的激活层能够更加突出.
重加权是通过新的全连接层实现的, 假设特征图大小为
fl∈RH×W×K,f^l \in \mathbb{R}^{H \times W \times K}, fl∈RH×W×K,
其中KKK为channels的数目, 首先通过GAP得到:
f^kl=1H×W∑i∑jfkl(i,j).\hat{f}_k^l = \frac{1}{H \times W} \sum_i \sum_j f_k^l (i, j). f^kl=H×W1i∑j∑fkl(i,j).
再通过全连接层Ml=[M1l,⋯,MCl]∈RK×CM^l = [M_1^l, \cdots, M_C^l] \in \mathbb{R}^{K \times C}Ml=[M1l,⋯,MCl]∈RK×C重加权
f~l={fl⊗Myl,training,fl⊗My^l,test.\tilde{f}^l = \left \{ \begin{array}{ll} f^l \otimes M_y^l, & \text{training}, \\ f^l \otimes M_{\hat{y}}^l, & \text{test}. \end{array} \right . f~l={fl⊗Myl,fl⊗My^l,training,test.
其中训练时, yyy就是样本标签, 而测试时,
y^=argmaxif^TMi,\hat{y} = \arg \max_i \hat{f}^TM_i, y^=argimaxf^TMi,
即预测值.
所以, 显然为了让MyM_yMy能够与样本标签紧密联系, 在训练的时候, 需要额外最小化一个交叉熵损失:
LCAS(p(x′,θ,M),y)=−logpy(x′).\mathcal{L}_{CAS}(p(x',\theta,M), y) = -\log p_y(x'). LCAS(p(x′,θ,M),y)=−logpy(x′).
这里x′x'x′表示对抗样本.
CIFS的思路是类似的, 这里不多赘述了.
代码
CAS
Improving Adversarial Robustness via Channel-Wise Activation Suppressing相关推荐
- 【论文阅读】Feature Denoising for Improving Adversarial Robustness
阅读由来SCRDet++参考文献[20]https://blog.csdn.net/dujuancao11/article/details/121590324 Feature Denoising fo ...
- Improving the Robustness of Question Answering Systems to Question Paraphrasing
<Improving the Robustness of Question Answering Systems to Question Paraphrasing> 新加坡国立大学 这篇论文 ...
- 清华大学董胤蓬:Adversarial Robustness of Deep Learning
2020-01-21 12:30:00 不到现场,照样看最干货的学术报告! 嗨,大家好.这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并 ...
- 从Bayesian Deep Learning到Adversarial Robustness新范式
©作者 | 王灏.毛成志 单位 | Rutgers University / Columbia University 研究方向 | 贝叶斯深度学习 / 对抗鲁棒性 拖延症赶在 2021 结束前来介绍一 ...
- Improving noise robustness of contrastive speech representation learning with speech reconstruction
Improving noise robustness of contrastive speech representation learning with speech reconstruction ...
- Certified Adversarial Robustness via Randomized Smoothing
文章目录 概 主要内容 定理1 代码 Cohen J., Rosenfeld E., Kolter J. Certified Adversarial Robustness via Randomized ...
- Reliable Evaluation of Adversarial Robustness with an Ensemble of Diverse Parameter-free attack
本文首先提出了PGD攻击的两个扩展,以克服由于次优步长和目标函数问题而导致的失败.然后,我们将我们的新攻击与两个互补的现有攻击结合起来,形成一个无参数.计算负担得起且独立于用户的攻击集合,以测试对手的 ...
- 学习笔记:【VALSE短教程】《Adversarial Attack and Defense》
学习笔记:[VALSE短教程]<Adversarial Attack and Defense> 视频地址 1.White-box attacks Direction I 论文地址: EXP ...
- 对抗攻击Adversarial Attack
参考链接: (1)对抗攻击常见方法汇总 https://blog.csdn.net/qq_43367558/article/details/121694626 (2)对抗性样本攻击方法汇总 https ...
最新文章
- UVA 11752 超级幂
- 程序员的视角:java GC
- 真「祖传代码」!你的GitHub代码已打包运往北极,传给1000年后人类
- 5G:4G到5G的演进,整体网络架构的主要区别。
- C++重载下标操作符[](二)
- windows下搭建go开发环境
- postman导入swagger文档,并设置cookies进行测试
- 【线上分享】云游戏面对低延迟挑战的实践
- 学完php在学python_写给PHP程序员的 Python学习指南(建议去看原文)
- 多线程“基础篇”11之 生产消费者问题
- 函数专题:sum、row_number、count、rank\dense_rank over
- 解决firefox和IE9对icon font字体的跨域访问问题
- Python函数声明以及与其他编程语言数据类型的比较
- 冒泡排序之Java实现
- Codesys提示【CmContainer/Wibukey runtime system is not installed】的解决方法
- 用八类网线钳和剥线刀做网线水晶头
- 大数据-浅谈hive优化
- Android 获取图片尺寸大小的方法
- 数据分析·零散知识点
- 微信小程序之实现地图定位(使用腾讯位置服务插件)
热门文章
- 名帖350 高闲 草书《千字文》
- linux下连接手机List of devices attached no permissions
- 单片机测钳形电流表_钳形电流表测量原理及使用方法
- EVC创建DLL及调用的基本方法
- Unity3D - 反射(Refrections)
- 前端知识杂烩(HTML[5]?+CSS篇)
- 舒心稳压素 Cardio-Stolix Revised 240 Vegetarian Capsules
- BMC Control-M Client安装问题及解决方法
- Android中手机录屏及数据解析
- EAGLE初体验--SparkFun上学习--PCB画板