直播 | AMP：针对模型参数施加对抗扰动的高效神经网络正则化算法

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到北京航空航天大学博士生郑耀威，为大家在线解读其发表于 CVPR 2021 的最新工作 AMP：针对模型参数施加对抗扰动的高效神经网络正则化算法。对本期主题感兴趣的小伙伴，5 月 6 日（周四）晚 7 点，我们准时相约 PaperWeekly B 站直播间。

直播信息

在现代深度学习应用中，有效的正则化策略能避免过拟合现象并提升神经网络的泛化性能。本研究基于平坦的损失函数局部最优解易泛化的假设，提出了一种全新的正则化策略，称为模型对抗扰动算法（AMP）。该算法使用梯度下降方法优化一种替代损失函数，该替代损失函数是依照传统损失函数对参数空间内的每个点施加对抗意义的微小扰动而得出的。

与现有的大多数正则化策略相比，该算法具有严谨的理论依据，并可以被证明其更偏好平坦的损失函数局部最优解。经过多种现代深度卷积神经网络架构在多个图像基准数据集上的实验，该算法展示出相较其他正则化方法更优越的性能。

论文标题：

Regularizing Neural Networks via Adversarial Model Perturbation

论文链接：

https://arxiv.org/abs/2010.04925

本次分享的具体内容有：

相关工作介绍及本文创新
算法优化目标和计算流程
算法理论依据的数学证明
论文实验结果分析
总结

嘉宾介绍

郑耀威 / 北京航空航天大学直博生

郑耀威，北京航空航天大学直博生，师从张日崇教授，已在 AAAI、WWW、CVPR 等会议发表多篇一作论文，在校期间曾获得北航大学生年度人物的称号。

直播地址 & 交流群

本次直播将在 PaperWeekly B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

直播 | AMP：针对模型参数施加对抗扰动的高效神经网络正则化算法相关推荐

对抗训练硬核分析：对抗样本与模型参数的关系
©PaperWeekly 原创 · 作者|孙裕道学校|北京邮电大学博士生研究方向|GAN图像生成.情绪对抗样本生成引言对抗训练是防御对抗样本一种有效的方法,但是对于它有效性的边界,一直都是很模 ...
模型参数与模型超参数
什么是模型参数? 模型参数是模型内部的配置变量,其值可以根据数据进行估计. 模型在进行预测时需要它们.它们的值定义了可使用的模型.他们是从数据估计或获悉的.它们通常不由编程者手动设置.他们通常被保存为 ...
隐马尔科夫模型HMM（三）鲍姆-韦尔奇算法求解HMM参数
在本篇我们会讨论HMM模型参数求解的问题,这个问题在HMM三个问题里算是最复杂的.在研究这个问题之前,建议先阅读这个系列的前两篇以熟悉HMM模型和HMM的前向后向算法,以及EM算法原理总结,这些在本篇 ...
数据压缩学习笔记（四）语音参数编码与随机信号的AR模型参数建模
语音信号的特征浊音(Voiced sounds):声带振动,引起声门的打开和关闭,从而发送压力变化的脉冲到声道,在声道形成声波. 清音(Unvoiced sounds):清音是声门保持打开并将气体压 ...
【通知】3月第二周直播预告，模型优化，人脸识别，图像增强核心技术与难题...
文/编辑 | 言有三疫情已经转好!3月春招即将来临,我们3月份给大家准备了一个突击学习计划,来自于有三AI秋季划小组,了解可读.同时由于本月忙于直播,公众号原创将不会每天更新,也留给大家时间消化已有 ...
对抗学习新进展：MIT和微软联合出品“元对抗扰动”
关注公众号,发现CV技术之美导言: 元学习是过去几年AI领域域非常热门的的学习方法之一,各种研究工作都是基于元学习展开的.元学习的目标是使得分类模型能够获取一种学会学习调参的能力,使得模型可以在获取 ...
NeurIPS 2022 Oral | 摘下悬在神经网络上的达摩克利斯之剑：从模型层面获得对抗鲁棒性保证...
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入->CV微信技术交流群本文是NeurIPS 2022入选论文Rethinking Lipsc ...
机器学习填坑：你知道模型参数和超参数之间的区别吗？
翻译 | AI科技大本营(rgznai100) 参与 | 姜沂,焦燕导语机器学习中的模型参数和模型超参数在作用.来源等方面都有所不同,而模型超参数常被称为模型参数,这样,很容易对初学者造成混淆.本 ...
【深度学习】对抗扰动、垃圾/钓鱼邮件自动分类和UEBA
[深度学习]对抗扰动.垃圾/钓鱼邮件自动分类和UEBA 文章目录 1 数据集 2 清洗数据集 3 GloVe + LSTM 4 GloVe词向量模型 5 搭建网络整体结构 6 训练模型并验证 7 对抗 ...

直播 | AMP：针对模型参数施加对抗扰动的高效神经网络正则化算法

直播 | AMP：针对模型参数施加对抗扰动的高效神经网络正则化算法相关推荐

最新文章

热门文章