点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

本期AI TIME PhD直播间，我们有幸邀请到了张弘扬老师，张弘扬老师将分享他近期的一些研究成果，以及他从博士生到教授的工作经验。演讲将由两部分组成。

在演讲的第一部分，张老师将分享最近在对抗攻防方面的研究。针对深度学习的攻击有两种防御方式：1) 经验防御模型；2) 有证明保障的防御模型。经验防御模型方面，张老师将介绍团队在NeurIPS 2018对抗视觉挑战赛中的获胜方法TRADES。该方法帮助张老师的团队在400个团队和3000个提交方案中赢得了第一名的成绩。

为了使TRADES具有可证明的鲁棒性，团队采用Randomized Smoothing的方法研究了有证明保障的防御模型。团队提供了正面和负面的理论结果。分析揭示了通过“基于随机噪声方法”实现有证明保障的鲁棒性的本质困难，并引出了未来工作的新方向。最后，对抗攻击方面，张老师还将介绍团队在最近的CVPR 2021安全AI挑战赛：ImageNet无限制对抗攻击中的获胜方案。使用该方法，张老师的团队在1559支队伍中赢得了第一名的成绩。

在演讲的第二部分，张老师将分享他寻找学术岗位的经验(包括教职申请和博士申请)。希望他的经验能够帮助更多人在未来的学术职业道路上取得成功。

嘉宾介绍

张弘扬：

滑铁卢大学计算机学院助理教授，并隶属于加拿大向量研究院。他在4年时间内(2015-2019)获得卡内基梅隆大学机器学习系博士学位，师从Maria-Florina Balcan和David P. Woodruff。2019至2021年期间，张博士于芝加哥丰田技术研究院完成博士后工作，师从Avrim Blum和Greg Shakhnarovich。他的近期研究方向包括可信赖机器学习，人工智能安全，自监督学习，并强调理论与实践的结合。

张博士的多项理论工作已经被广泛应用于CVPR、NeurIPS等举办的国际大赛中，并荣获多次第一名。相关成果已发表在JMLR, ICML, NeurIPS, COLT, SODA, ITCS, ICALP, Proceedings of the IEEE, IEEE Trans. on Info. Theory等多个顶级会议和期刊，撰写专著一本，并担任多个会议的领域主席。

个人主页：https://hongyanz.github.io

Part 1

研究分享

鲁棒、安全、值得信赖的机器学习模型是自动驾驶的基础，同时也是人工智能落地应用的基础。在设计一个新的方法来解决对抗样本造成新的问题之前，我们先来探索是什么原因造成了机器学习模型对对抗样本拥有较差的鲁棒性。

在输入空间中，会给定一些输入点，将输入点输入深度神经网络f，由此我们可以得到特征空间中的一些特征向量。通常来说，特征点或特征向量是线性可分的，所以一旦训练线性分类器，特征空间中得到的点就会被完美的分开。但是，如果有对抗攻击存在，情形就会截然不同。

假设我们允许对抗者在输入点的近邻区域中加入扰动。由于近邻区域很小，人眼无法察觉图片被扰动或被攻击。但是深度学习网络是非平滑的映射，所以在输入空间中非常小的扰动，可能会对应输出空间或特征空间中非常大的扰动，并且所对应的近邻区域在特种空间中可能是一个非凸的集合。更仔细地观察发现，最差的点相比于原始数据点而言，可能会在分类超平面的两边。对抗样本(图1a特征空间中黄色点)可能会使机器学习犯错误。

针对机器学习模型对对抗样本的鲁棒性较差的问题，研究者们提出了对抗训练的方法解决这个问题。图1a公式中出现的最大化和最小化问题一般分别使用梯度上升法和梯度下降法求解。最大化问题是为了寻找近邻区域中的最差点进而使得机器学习模型犯错，最小化问题是为了更新神经网络f以及线性分类器h的权重，使得神经网络能够正确识别最差点并且能够使得分类超平面尽可能地往最差点的远处进行推进。通过最小化和最大化过程的交替进行，算法最终会达到稳定的状态。

如图1b所示，测试阶段针对对抗训练方法得到的分类器，我们使用相同的最大化问题来测试其鲁棒性；不同的是，此时我们使用的是测试数据。但由于优化问题的非凸性，我们很难保证这一过程能够帮助我们找到最优的对抗样本。所以对抗训练往往也被称为经验防御模型，与此对应的是有证明保障的防御模型。

（a）

（b）

图1(a and b). 对抗训练方法示意图

01

经验防御模型

经验防御模型的设计受到模型的鲁棒性和准确性两者间此消彼长的关系启发。下图2给出了该关系存在性的证明。从表中可以发现，如果我们想通过Bayes分类器得到最优的Rnat，此时Rrob会高达100%；如果我们想通过全判正类的分类器得到最优的Rrob，此时Rnat会高达50%；从下表中我们就可以得到Rnat和Rrob之间此消彼长的关系。既然不能同时对二者进行最小化，那么我们就对他们的加权平均进行最小化，其中λ(正则化参数)用于平均Rnat和Rrob的重要性。

图2. 鲁棒性和准确性之间的trade-off

我们的方法 --- TRADES

针对图2中的加权平均公式，TRADES 由如下的优化形式给出：

其中等式右边第一项通过最小化模型在干净数据上的预测和真实标签之间的差距来提升模型的准确性，等式右边第二项通过最小化模型在干净数据和对抗样本上预测之间的差距来提升模型的鲁棒性。对TRADES的理论分析给出如下定理。

定理1：

对于任意的数据分布D，任意的分类器f，任意的数据点近邻区域Δ(x)以及任意的正则化参数λ而言，我们总是能够用TRADES Loss和最优的Surrogate loss之间的差值来上界Rnat和Rrob之间的差值：

定理2：

对于任意的数据点周围近邻区域Δ(x)，总是存在数据分布D，分类器f以及正则化参数λ>0，使得定理1中的上界是紧的：

02

有证明保障的防御模型

目的：赋予TRADES一些理论证明，能够用数学的方法来证明TRADES拥有较好的鲁棒性。

Randomized Smoothing

这里我们使用Randomized Smoothing，其能够将任意给定的基分类器转化为一个平滑分类器并给出鲁棒性保证。给定任意基分类器及输入点x，Randomized Smoothing利用基分类器预测多个经过高斯噪声扰动后的x，并使用多数表决投票的方式给出x的最后预测标签(我们将该投票分类器称为平滑分类器g，见图3右下角公式)。

如下图3所示，对于每一个输入点x，我们可以使用           来计算每个数据点安全的扰动半径，如图蓝色方框表示，它可以与对抗攻击者的范围(红色方框)进行比较，如果蓝色方框包含红色方框，并且输入点x是在平滑分类器的分类超平面正确的一侧，则可以说平滑分类器g在对抗样本存在的情况下对x的分类依然是非常安全的。

使用该方法，我们可以得到平滑分类器g在数据集上的鲁棒准确率，如下表所示。如果将基分类器取为TRADES训练得到的分类器，运行Randomized Smoothing算法可以发现，当对抗攻击者对每个像素最多扰动2个像素值时，该方法得到的鲁棒准确率可达62.6%，达到当前最优水平。

图3. Randomized Smoothing模型介绍

定理3(负面结果)：

给定任意输入点x，η为任意分布采样得到的噪声，且其第i个分量的方差是σi2。假设平滑分类器g对任意不超过扰动半径ɛ的对抗扰动总是给出相同的预测标签。那么，对于99%的分量i而言，ɛ不会超过，其中为输入点的维数。

Part 2

寻找学术岗位的经验

申请学术岗位的时间漫长。

Tip：此时工作重点应倾向于找教职、申请或者准备材料方面，而不是仍然以出paper为主。

材料准备。

提交30-60封申请，由于不同学校的要求不同，所以对于每一份申请来说，针对不同的学校会需要个性化处理，这也是一个较为艰难痛苦的过程。

面试。

面试过程主要是聊天与交流，这其中有与你研究背景相关或者不相关的研究者。

Offer。

Tip：想方设法尽可能早毕业，教职岗位收紧，越早毕业岗位越多。

01

材料准备

(1)简历(CV)：强调优势

(2)研究声明(Research Statement)：最重要的材料，一般4-5页材料，多找老师同学提建议，甚至找润色公司进行润色。

(3)教学声明(Teaching Statement)：一般1-2页材料，一定要强调自己愿意帮学校分担一些比较基础的大课，例如：线性代数，机器学习基础。

(4)多元化声明(Diversity Statement)：北美的学校需要的更多。主要是需要大家说明如何帮助少数人种或者女性解决她们在科研上遇到的困难。一般1-2页材料。

(5)3-6封推荐信(最重要！)(3-6 Letters)。最好提前半年找老师准备。推荐使用Interfolio来减轻推荐人反复提交推荐信的负担。

02

面试

(1)电话面试

面试过程较短，一般在25-30min左右，面试官为2-5个老师；问的问题较为固定，例如：为什么申请我们学校，当前的研究成果，未来的研究计划和预期成果，如果你来到我们学校你想与谁合作，教哪门课程。这些问题网上都能找到，提前背诵答案或者照着读也比不准备要好。

(2)现场面试(今年因为疫情缘故全部改为视频面试)

这类面试是非常考验体力的过程，一般会持续1-2天。建议：每周只安排一场面试，主要考虑到每个人的精力。

面试过程主要由一个job talk和一堆one-on-one meetings组成。问答，吃饭，闲聊都是考察的过程，所以要时刻保持精神高度绷紧。

这类面试大约只有50%的时间需要面试者说话，其他时间面试者更偏向扮演一个倾听者的角色。所以可以在网上看好每个老师的背景，根据不同老师的背景，提前准备好要问的问题。也可以准备一些一般性的问题对不同老师重复提问。

在面试过程中可能会有人来故意刁难，所以一定要保证一个谦逊的态度，如果实在不会回答，可以用一种高情商的回答方式绕过去，当然如果能直面回答还是最好的。

03

Offers

众所周知这个过程是非常漫长的，一般来说是系主任来通知offer。通知方式是电话或邮件。当收到多个学校的offer时，那优秀的你就可以考虑和学校negotiate啦，包括薪水、基金、免费的学生数量等等问题。

04

硕博士申请

申请过程和教职岗位的申请差不多，但相对来说更简单一些，材料准备一般是CV、Personal Statement和3封推荐信(根据不同学校的要求)。需要注意的是，在申请材料中一定要有一些材料可以帮住你突出你自己，比如高校、学习成绩排名、丰富研究经历和已发表的文章，这些都可以成为你面试的亮点。

整理：张丽

审核：张弘扬老师

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你！

请将简历等信息发至yun.he@aminer.cn！

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。

更多资讯请扫码关注

（点击"阅读原文"查看精彩回放)