点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

01

预告一：NeurIPS 2021专场一

2月17日下午2点，本期AI TIME NeurIPS邀请了来自宾夕法尼亚州立大学、伊利诺伊大学芝加哥分校、威斯康星大学麦迪逊校区、清华大学软件学院、华中科技大学、北卡罗莱纳大学、美国莱斯大学、北卡州立大学、德国亥姆霍兹信息安全中心、北京航空航天大学-虚拟现实技术与系统国家重点实验室以及巴塞罗那自治大学的博士们开启NeurIPS 专场一！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号预约直播

★ 嘉宾简介 ★

丛炜霖：

就读于宾夕法尼亚州立大学电子计算机系，导师为助理教授Mehrdad Mahdavi。他于2017年获得北京理工大学学士学位。他在KDD, NeurIPS, ICLR等人工智能和机器学习领域顶级会议中发表过多篇学术论文。他的主要研究方向是图神经网络中的基础性问题，例如图神经网络的优化，表达力，泛化能力，和模型构建。

分享内容：关于深度图神经网络的有效性的证明

众所周知，图卷积网络 (GCN) 随着层数的增加会出现性能下降的现象，这通常归因于过度平滑 (over-smoothing)。尽管这一解释已经获得了许多认可，但是我们观察到对over-smoothing的理论理解与GCN的实际能力表现之间存在差异。具体来说，我们认为在实际训练GCN过程中不一定会发生over-smoothing。实际上，通过数学可证明更深的GCN理应具有更好的表达能力，并且可以以线性收敛速度收敛到全局最优值，只要经过适当训练就可以达到非常高的训练精度。虽然更深的GCN能够实现高训练精度，但经验结果表明，更深层次的模型在测试阶段的泛化能力很差，对这种行为的现有理论尚且无法很好的解释这一现象。为了更好地理解这一现象，我们通过数学仔细的分析了GCN的泛化能力，并表明实现高训练精度的训练策略会显着降低 GCN 的泛化能力。受这些发现的启发，我们提出了一种用于 GCN 的解耦结构，该结构将权重矩阵与特征传播分离，以保持表达能力并确保良好的泛化性能。我们通过在开源数据集上进行实证评估的方式验证了我们理论的正确性。

张恒瑞：

伊利诺伊大学芝加哥分校计算机系二年级博士生，导师为Philip S. Yu 教授。他在2020年于上海交通大学取得学士学位。他在NeurIPS, ICML, ICLR等会议中发表过多篇论文。他目前专注于研究图上的无监督学习，尤其是设计简单、高效、可拓展的自监督表示学习算法。

分享内容：通过典型相关分析实现图上的自监督表示学习

本文提出了一种简单且有效的图上的自监督表示学习方法。与流行的对比学习的方法类似，我们首先使用图上的数据增强来生成输入图的两个视图。然而,和基于样本区分思想的对比学习不同，我们基于典型相关分析(Canonical Correlation Analysis, CCA)的思想来优化两个视图的低维嵌入的相关程度。我们的理论分析表明我们的方法可以被视为信息瓶颈准则在多视图自监督表示学习。在7个节点分类数据集上的实验表明, 我们的方法能以更快的训练时间，更低的计算开销得到更为优越的性能。值得注意的是，和目前流行的模型相比，我们的方法不需要各种多余的设计以及组件，并且有着线性的时空复杂度。

陈洁锋：

威斯康星大学麦迪逊校区计算机科学系的在读博士生，导师为Somesh Jha教授和梁颖宇助理教授。他本科就读于上海交通大学计算机系。他在ICML, NeurIPS, ICLR等国际会议中发表过多篇学术论文。他的主要研究方向是可信机器学习，具体包括对模型鲁棒性和数据集偏移的研究。他曾担任许多重要期刊和国际会议的审稿人，比如TMLR, ICML, NeurIPS, 和ICLR，以及获评过ICCV和ICLR的杰出审稿人。

分享内容：使用自训练集成模型来检测在未标注的数据上的模型的错误点和预测模型的准确率

当我们在现实生活中使用机器学习模型的时候，模型可能会遇到跟训练数据很不一样的测试数据。这时候模型的性能（比如准确率）就会下降。为了能安全地使用模型，预测一个训练好的模型在测试数据上的准确率就显得非常重要。由于实际应用中我们通常很难得到测试数据的标注，所以我们需要预测模型在未标注的数据上的准确率，这是一个很有挑战性的任务。更进一步，我们可以具体标记出测试数据中模型预测错误的数据点，这样我们就能知道怎样去改善模型。本报告将介绍我们提出的一个算法框架来同时解决这两个任务。这个算法框架通过自训练迭代地学习集成模型来预测给定的训练好的模型的准确率以及标记出模型预测错误的数据点。我们对这个算法框架做了理论分析，证明在适当的条件下，它能在这两个任务上取得比较好的表现。通过大量的实验，我们也证明了这个算法框架的有效性。

吴海旭：

清华大学软件学院在读硕士生，导师为龙明盛副教授。他于2020年获得清华大学软件工程与数学（二学位）学士学位。他在CVPR, NeurIPS, ICLR中发表过多篇学术论文。他的主要研究方向是预测学习、深度学习基础模型，具体包括时间序列分析、视频预测、通用模型架构设计。

分享内容：基于深度分解架构与自相关机制的长期序列预测模型

长期时间序列预测是规避风险与辅助决策的重要基础，在气象预报、经济调控、能源分配、交通规划、疾病传播预防等方面具有重要意义。本报告将围绕长期时间序列预测问题，介绍基于自相关机制的全新网络架构Autoformer。Autoformer全面革新了Transformer架构，包括一种深度分解机制以应对复杂时序变化，以及全新的Auto-Correlation机制代替Self-Attention的点点连接，首次实现了序列级连接。Autoformer在能源、交通、经济、气象、疾病五个领域均取得了大幅的预测效果提升，同时也被应用在2022北京冬奥会中。

陈使明：

华中科技大学2019级博士生。他在NeurIPS, ICCV, AAAI等人工智能和机器学习领域顶级会议中发表过多篇学术论文。他的主要研究方向是生成建模与学习，零样本学习，领域自适应。

内容分享：基于层次适应的零样本学习

针对视觉-语义异构特征难对准的问题，我们提出一种层次视觉-语义层次适应的学习模型，通过同时进行结构对准和分布对准，学习一个具有结构和分布一致性的公共子空间，避免当前学习模型只进行分布对准而造成视觉和语义分布在不同的子流形上，从而有效提高零样本学习识别精度。并为其他visual-language 学习系统进行多模态表示提供了新的研究视野。

沈正阳：

北卡罗莱纳大学教堂山分校博士生，研究方向是点云，图像配准以及深度几何学习。他在NeurIPS, CVPR等国际会议中发表过多篇学术论文。

内容分享：高精度点云配准与最优传输

我们从最优传输的角度展开对各种点云配准任务的讨论。我们会讨论最优传输的一些特性以及如何利用这些特性与深度学习相结合。这里会涉及一些简单的任务比如 rigid 刚体配准，也会涉及一些复杂的任务 大规模（>100K points) 大形变点云配准。我们在多个现实任务上观察到显著的性能提升。相关文档可参考https://zhuanlan.zhihu.com/p/430016990.

傅泳淦：

美国莱斯大学的三年级博士生，本科毕业于中国科学技术大学少年班学院，现导师为Yingyan Lin教授。他的研究方向是通过协同设计AI算法(剪枝，量化，神经网络搜索，对抗训练)和加速器架构，提升AI应用(分类，超分辨，语音识别)的高效性和鲁棒性。他在NeurIPS, ICML, ICLR, ICCV, MICRO等AI算法和架构会议中发表过10+篇一作论文。

内容分享：鲁棒彩票现象：藏在随机初始化神经网络中的鲁棒子网络

深度神经网络已被发现容易受到对抗性样本的影响，即一个人眼不可见的扰动会让神经网络做出错误的预测，对抗训练也因此被提出，通过在原始训练图片中混入即时生成的对抗性样本来提升模型的鲁棒性。我们的工作首次发现了一个有趣的现象：在随机初始化的神经网络中，隐藏着据有天生鲁棒性和准确率的子网络，即使没有经历过对抗训练，它们也能够和类似参数量且对抗训练后的模型达到一致的鲁棒性。这个现象反映出对抗训练对于提升模型的鲁棒性并不是不可或缺的，我们把这种子网络叫做鲁棒彩票(Robust Scratch Ticket)。为了更好的研究和应用鲁棒彩票现象，我们做了大量的实验去研究鲁棒彩票的存在性和性质，来理解神经网络鲁棒性和初始化和过参数化的关系。我们进一步发现了不同鲁棒彩票之间较差的对抗样本迁移性，并利用鲁棒彩票构造了一个简单有效的防御手段。我们的工作为研究神经网络彩票现象和鲁棒性的关系提供了一个新的角度。

万润哲：

北卡州立大学统计学博士，导师为宋瑞教授。研究方向主要是强化学习，在线学习，以及最优决策等。在包括 NeurIPS，ICML，KDD 等会议与期刊一作发表多篇论文。获 ASA Norman Breslow Young  等奖项。

内容分享：基于贝叶斯分层模型与元数据的多任务多臂老虎机

如何有效地探索是多臂老虎机的核心问题。在本文中，我们提出了了基于元数据的多任务老虎机问题，其中我们需要解决大量相关的多臂老虎机任务，并且可以利用一些任务特定的特征（即元数据）来跨任务共享知识。作为一个通用框架，我们提出通过贝叶斯层次模型来捕捉任务关系，并在此基础上设计了一种 Thompson 采样算法来有效地学习任务关系，共享信息，并最小化累积遗憾。我们仔细分析了高斯和伯努利情况下的两个具体例子。高斯老虎机的贝叶斯遗憾清楚地证明了通过我们的算法共享信息的好处。大量的实验进一步支持了所提出的方法。

赵正宇：

德国亥姆霍兹信息安全中心 (CISPA) 博士后研究员。博士毕业于荷兰Radboud 大学。研究方向涉及计算机视觉的安全与隐私问题，主要包括对抗样本 (Adversarial Examples)，训练样本投毒 (Data Poisoning)，以及训练样本成员推理 (Membership Inference)。

内容分享：对有目标对抗图像迁移性的反思

当前有关对抗样本的研究普遍认为基于单图像迭代优化的简单方法很难实现有目标 (targeted) 对抗攻击的迁移性，而是不得不诉诸于大量额外数据来训练多个生成模型的复杂方法。然而，我们在NeurIPS 2021的工作却发现事实并非如此：当简单方法在拥有足够迭代次数保证收敛的前提下，利用非常简单的目标函数 (Logit Loss) 来替代常用的交叉熵函数, 就足以使得其性能碾压当前最强的复杂方法。此外，我们也对当前迁移攻击的常用评估场景进行了反思、改进。具体来说，我们发现当前场景设置过于简单、不现实，导致很多评估结果存在误导性。因此我们提出了三种更具挑战性、更现实的场景，希望可以启发今后更具现实意义的方法评估。

张守龙：

北京航空航天大学-虚拟现实技术与系统国家重点实验室博士生。本科毕业于北京航空航天大学中法工程师学院，硕士研究生阶段获得北航-巴黎中央理工双学位硕士，目前博士阶段主要研究方向为室内场景理解与生成，包括场景点云补全、点云分割、场景图生成和场景生成，相关研究成果发表在AAAI、NeurIPS国际会议。

内容分享：基于知识启发的3D场景图预测

3D场景图近年来逐渐进入到计算机视觉研究者的视野里，旨在分析3D场景中不同物体间的语义关系。同时，室内场景的模式蕴含一定的知识性和常识性的规律，对此规律的编码和建模可以有效提升场景图的预测效果，并且可以规避由纯几何信息带来的信息混淆问题。本报告基于NeurIPS-2021年收录的文章，介绍室内场景的知识编码和场景图预测的相关内容。

杨诗琪：

巴塞罗那自治大学计算机视觉中心第三年博士生，导师为Dr. Joost van de Weijer。研究方向为迁移学习相关，目前主要关注领域自适应，相关论文发表于ICCV，NeurIPS。

内容分享：利用潜在近邻结构的无源域自适应

域适应（DA）旨在减轻源域和目标域之间的domain shift。大多数 DA 方法都需要访问源数据，但通常这是不可行的（例如，由于数据隐私或知识产权因素）。在本文中，我们探讨无源域适应 (SFDA) 问题，其在没有源数据的情况下将源域预训练模型迁移到目标域。我们的方法基于以下观察：目标域数据可能不会被源域分类器正确分类，但仍会产生一定程度的聚类。我们通过定义目标域特征的局部连接性来捕捉这种内在结构，并鼓励具有高度局部连接性的数据之间的预测标签一致。基于最近邻关系，我们观察到应该将更高的连接性分配给reciprocal neighbor，同时我们也考虑2-hop neighbor。在此基础上我们基于一个聚类目标函数实现了有效地无源域适应。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“NeurIPS，将拉您进“AI TIME NeurIPS 交流群”！

02

预告二：青年科学家系列专场-18

2月17日晚 7:30-8:30

AI TIME 特别邀请北京大学人工智能研究院助理教授、博士生导师张牧涵老师为大家带来分享。

哔哩哔哩直播通道

★ 嘉宾简介 ★

张牧涵：

北京大学人工智能研究院助理教授、博士生导师，北京通用人工智能研究院（BIGAI）研究员，2021年国家优青（海外）项目获得者。主要研究方向为机器学习/深度学习和图神经网络的算法、理论、应用等。提出了图神经网络的多种经典算法，如图分类的SortPooling、链路预测的SEAL算法、矩阵补全的IGMC算法等。成果被多次写入图深度学习标准库，如PyTorch Geometric和DGL。2015年本科毕业于上海交通大学IEEE试点班，2019年于美国圣路易斯华盛顿大学获得计算机科学博士学位。2019-2021年期间曾担任Facebook AI研究科学家，参与开发Facebook内部大型图深度学习系统并应用于社交网络和广告推荐中。担任ICML 2022领域主席、IEEE BigData 2021副主席，并常年担任NeurIPS、ICML、ICLR、AAAI、IJCAI和TPAMI、TNNLS、TKDE、AOAS、JAIR等顶级会议和期刊的审稿人。

分享内容：

Labeling Trick: 

一个图神经网络多节点表示学习理论

报告简介：

GNN 旨在学习单节点表示。当我们想要学习一个涉及多个节点的节点集表示（如链路表示）时，以往工作中的一个常见做法是将 GNN 学习到的多个单节点表示直接聚合成节点集的联合表示。在本文中，我们展示了这种方法的一个基本缺陷，即无法捕获节点集中节点之间的依赖关系，并论证了直接聚合单节点表示不能得到多节点集合的有效联合表示。然后，我们注意到之前一些成功的多节点表示学习工作，包括 SEAL、DE和 ID-GNN，都使用了节点标记。这些方法首先根据节点与目标节点集的关系在图中标记节点，然后再应用 GNN，并将标记图中获得的节点表示聚合为节点集表示。通过研究它们的内部机制，我们将这些节点标记技术统一为一个单一且最基本的形式，即labeling trick。我们证明，通过labeling trick，具有足够节点表达能力的 GNN 可以学习最具表达力的节点集表示，因此原则上可以解决节点集上的任何联合学习任务。一项重要的两节点表示学习任务——链接预测——的实验验证了我们的理论。我们的工作为使用 GNN 进行节点集上的联合预测任务奠定了理论基础。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-3”，将拉您进“AI TIME PhD 交流群-3”！

AI TIME微信小助手

主       办：AI TIME

合作媒体：AI 数据派

合作伙伴：中国工程院知领直播、学堂在线、智谱·AI、智源研究院、蔻享学术、AMiner、 Ever链动、biendata

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

关于AI TIME

2019年，清华大学人工智能研究院院长张钹院士、唐杰教授和李涓子教授等人联合发起“AI TIME science debate”，希望用辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者创办的圈子。AI TIME旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家与爱好者，打造成为全球AI交流与知识分享的聚集地。

我知道你

在看

哦

~

点击 阅读原文 预约直播！