【博士论文】深度学习的对抗攻击与鲁棒性测评
来源：专知
本文为论文介绍，建议阅读5分钟
深度学习鲁棒性的不足已被证实会对一些与安全密切相关的领域带来威胁。来自清华大学的董胤蓬博士论文，入选2022年度“CCF优秀博士学位论文奖”初评名单！
https://www.ccf.org.cn/Focus/2022-12-08/781244.shtml
以深度学习为代表的人工智能技术在计算机视觉、语音识别等众多领域均取 得了显著进展，规模化应用已现曙光。但现有深度学习模型存在鲁棒性不足的问 题，很容易被攻击者恶意构造的对抗样本欺骗，产生错误的预测结果。深度学习鲁棒性的不足已被证实会对一些与安全密切相关的领域带来威胁。同时，这一问题也阻碍了深度学习的进一步发展。
对抗攻击与鲁棒性测评作为深度学习鲁棒性 研究中的重要方向，旨在面向不同场景高效地生成对抗样本并针对深度学习模型的鲁棒性进行全面的测评。此方面研究有助于发现深度学习模型的脆弱性，比较不同模型的鲁棒性，以及发展更加鲁棒的深度学习模型。对抗攻击与鲁棒性测评方面的研究仍然存在一些亟待解决的问题。第一，现有对抗攻击方法在无法获取模型结构和参数信息的黑盒场景下攻击成功率与效率 较低，阻碍了模型脆弱性机理的分析。第二，现有对抗攻击方法生成对抗样本的多样性不足，限制了基于这些对抗样本训练所得模型的鲁棒性。第三，目前对抗鲁棒性测评的研究工作较为欠缺，研究者难以有效评估不同深度学习模型的鲁棒性以及对抗攻防算法的有效性。为解决上述关键问题，本文构建对抗攻防测评基准与平台，并面向不同场景研发高效对抗攻击算法。主要创新点概括如下：
针对黑盒迁移攻击成功率较低的问题，提出动量迭代法与平移不变对抗攻击方法，分别通过引入动量项以及对一组经过平移变换的图片生成对抗样本，大幅提高黑盒迁移攻击成功率，为理解深度学习模型的脆弱性机理及发现模 型的安全漏洞奠定了理论和方法基础。
针对黑盒决策攻击效率较低的问题，面向人脸识别场景，提出进化攻击方法， 通过建模搜索方向的局部几何结构和降低搜索空间的维度有效提升黑盒决策攻击的效率，为挖掘人脸识别模型的安全漏洞奠定了理论和方法基础。
针对对抗训练模型鲁棒性不足的问题，提出对抗分布训练，利用对抗分布刻画原始样本周围多样化的对抗样本，并通过三种对抗攻击方式参数化建模对抗分布，为构建更加鲁棒的深度学习模型奠定了理论和方法基础。
针对对抗鲁棒性测评较为欠缺的问题，面向图像分类任务构建对抗鲁棒性测评基准，采用鲁棒性曲线针对多个典型的对抗攻防算法进行公平、全面的鲁棒性测评，为今后对抗攻防模型及算法的开发奠定了测评基础。
【博士论文】深度学习的对抗攻击与鲁棒性测评相关推荐
- 【深度学习】深度学习之对抗样本问题和知识蒸馏技术
文章目录 1 什么是深度学习对抗样本 2 深度学习对于对抗样本表现的脆弱性产生的原因 3 深度学习的对抗训练 4 深度学习中的对抗攻击和对抗防御 5 知识蒸馏技术5.1 知识蒸馏介绍5.2 为什么要有 ...
- 利用python实现深度学习生成对抗样本模型，为任一图片加扰动并恢复原像素的全流程记录
利用python实现深度学习生成对抗样本,为任一图片加扰动并恢复原像素 一.前言 (一)什么是深度学习 (二)什么是样本模型 (三)什么是对抗样本 1.对抗的目的 2.谁来对抗? 3.对抗的敌人是谁? ...
- 【深度学习】对抗扰动、垃圾/钓鱼邮件自动分类和UEBA
[深度学习]对抗扰动.垃圾/钓鱼邮件自动分类和UEBA 文章目录 1 数据集 2 清洗数据集 3 GloVe + LSTM 4 GloVe词向量模型 5 搭建网络整体结构 6 训练模型并验证 7 对抗 ...
- 对深度学习的逃逸攻击 — 探究人工智能系统中的安全盲区
ISC 2017中国互联网安全大会举办了人工智能安全论坛. 我们把论坛总结成为一系列文章,本文为系列中的第二篇. 作者: 肖奇学1, 许伟林2, 李康1 (1. 来自 360 Team Seri0u ...
- [深度学习]生成对抗网络的实践例子
系列文章目录 深度学习GAN(一)之简单介绍 深度学习GAN(二)之DCGAN基于CIFAR10数据集的例子 深度学习GAN(三)之DCGAN基于手写体Mnist数据集的例子 深度学习GAN(四)之c ...
- 深度学习中模型攻击与防御（Attack DL Models and Defense）的原理与应用（李宏毅视频课笔记）
文章目录 0 前言 1 Attack(模型攻击) 1.1 Attack on Image Recognition Network Model(对图像识别网络模型的攻击) 1.1.1 Loss Func ...
- 论文 | 图理论 | 2020年明尼苏达大学博士论文《学习强大的深度图神经网络和嵌入》
原创 Saurabh Verma 图科学实验室Graph Science Lab 2022-06-25 00:00 发表于台湾 学习强大的数据嵌入最近已成为机器学习算法的核心,尤其是在自然语言处理和计 ...
- 深度学习生成对抗网络（GAN）
一.概述 生成对抗网络(Generative Adversarial Networks)是一种无监督深度学习模型,用来通过计算机生成数据,由Ian J. Goodfellow等人于2014年提出.模型 ...
- 你真的了解深度学习生成对抗网络（GAN）吗？
生成对抗网络(GANs,https://en.wikipedia.org/wiki/Generative_adversarial_network)是一类具有基于网络本身即可以生成数据能力的神经网络结构 ...
- python深度学习---生成式对抗网络（GAN）
生成式对抗网络(GAN,generative adversarial network)由 Goodfellow 等人于 2014 年提出,它可以替代VAE来学习图像的潜在空间. ''' # 它能够迫使 ...
最新文章
- CVPR2019论文解读：单眼提升2D检测到6D姿势和度量形状
- FPGA之道（78）静态时序分析（四）内部时钟相关时序分析
- nodeJS中读写文件方法的区别
- android xml 解析天气,Retrofit2解析天气API XML接口
- b+树阶怎么确定_你知道危险品运输是怎么包装的吗？
- PHP算法之冒泡排序
- 博客园自动显示随笔标签
- 产品经理该如何做竞品分析
- 阶段1 语言基础+高级_1-3-Java语言高级_05-异常与多线程_第4节 等待唤醒机制_5_线程间通信...
- TS文件格式详解及解封装过程
- springmvc源码阅读之启动加载(2)-----------初始化参数
- vue 中点击叉号，关闭div的方法
- pyscripter与python的关系_【已解决】PyScripter启动出错：Python could not be properly initialized. We must quit....
- 基于pytorch的segnet实现，使用camvid数据集训练
- layui文件上传等待动画
- 数据说话---如何写好年终总结
- python-import自己的写的文件
- ios 使用隐私条款
- SD卡硬件规格 SD/miniSD/microSD(TF卡)
- Maven - 8、大型Maven项目，快速按需任意构建