点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

01

预告一：NeurIPS 2021专场六

3月9日下午2点，本期AI TIME NeurIPS邀请了来自加州大学尔湾分校、加州大学伯克利分校、广东工业大学、美国卡内基梅隆大学、美国东北大学、罗切斯特理工machine learning & data intensive computing lab 、新加坡国立大学以及香港中文大学的博士们开启NeurIPS专场六！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号预约直播

★ 嘉宾简介 ★

李傲冬：

加州大学尔湾分校计算机科学系的在读博士生，导师是Stephan Mandt教授。他的研究兴趣包括概率模型、贝叶斯（在线）学习和奇异值检测。

个人主页：https://aodongli.github.io/

分享内容：数据分布漂移和贝叶斯在线学习

在线学习中通常会存在以未知速率和未知强度发生的数据分布变化。这样的分布变化通常会使已有模型变得过时。我们提出一种新的贝叶斯在线推理方法：通过融合变点检测、切换动态系统和贝叶斯在线学习，我们在推断数据变点的同时，使模型自动适应检测到的变化。我们使用二元“变化变量”来指示当前数据相比过去是否发生了变化，这样，如果检测到变化，模型会调整并删除过去的信息，为适应新的数据分布提供模型容量。此外，该方法使用集束搜索来跟踪多个变点假设，并在证据充分时选择最可能的一个。我们提出的方法不依赖于模型、有监督学习或无监督学习，并适用于概念漂移或协变量漂移的环境。相较于最先进的贝叶斯在线学习方法，我们的方法有更好的实验效果。

唐琛：

加州大学伯克利分校机械工程系的在读博士生，师从Masayoshi Tomizuka教授。他的研究方向包括轨迹预测，强化学习，运动规划和控制以及在自动驾驶和机器人中的应用。他的研究兴趣主要在于如何提高基于机器学习的智能系统的鲁棒性和可解释性。

主页：https://chentangmark.github.io

分享内容：探究VAE在轨迹预测中的“交互性后验失效“现象

对行人和车辆的行为建模并预测他们的未来轨迹对于自动驾驶车辆的安全运行至关重要。VAE被广泛的应用于包括交通场景在内的多智能体交互系统的建模和预测，并取得了优异的效果。然而，我们发现在过往的研究中，并没有系统地论证和检验基于VAE的预测模型是否有效的利用了场景中的交互信息。在我们的这项研究中，我们发现一类常用的VAE模型会系统性地忽略交互信息，造成更大的预测误差并伤害模型的泛化能力。我们称这一现象为“交互性后验失效” (Social Posterior Collapse)。在报告中，我将介绍这一现象背后的理论原因和在应用中避免这类现象的有效方法，以及如何利用我们提出的基于Sparse Graph Attention的模型架构来在训练中监控“交互性后验失效”的发生。同时，我将通过我们在真实的行人和车辆数据集上的实验来展示“交互性后验失效”对实际问题的影响以及我们提出的方法的有效性。

杨耀青：

加州大学伯克利分校的博士后，导师是Michael Mahoney教授和Kannan Ramchandran教授。他博士毕业于卡耐基梅陇大学，本科毕业于清华大学。他的研究方向主要是机器学习中的泛化和可靠性问题，以及结构化数据的处理。主页：

https://sites.google.com/site/yangyaoqingcmu/

分享内容：机器学习泛化中的局部与全局结构

深度学习不断被应用在需要可靠性的领域，比如医疗和交通，这使得关于泛化能力的研究变得尤为重要。然而，我们对于深度学习的理解仍然有限。比如说，某些机器学习研究得出的结论经常不能迁移到不同的领域，这使得我们对于机器学习的理解不够透明。今天，我会展示近期我们关于“泛化度量”的研究。我们发现，机器学习损失函数的连接性度量可以量化损失函数的全局性质，这种对于全局性质的度量相比较于局部性的度量可以更好地预测模型的泛化能力。同时，我们通过这些泛化度量，发现了机器学习中的相变。这些不同的“相”可以解释为什么机器学习的研究经常会得到相反的结论。最后，我会讨论我们研究中的大规模实验，包括不同的数据、网络结构、参数设置、训练方法等等，以及我们结果的各种应用。

白雨桐：

约翰霍普金斯大学的在读博士生，导师是Alan Yuille教授。本科毕业于西北工业大学，她的研究方向主要是鲁棒性机器学习以及自监督学习。

分享内容：Transformers和CNN哪个更鲁棒？

Transformer 成为视觉识别的强大工具。除了在广泛的视觉基准上展示竞争性能外，最近的工作还认为 Transformer 比卷积神经网络 (CNN) 更强大。尽管如此，令人惊讶的是，我们发现这些结论是从不公平的实验环境中得出的，其中 Transformer 和 CNN 在不同的规模上进行了比较，并应用于不同的训练框架。在本文中，我们旨在提供 Transformer 和 CNN 之间的第一个公平和深入的比较，重点是鲁棒性评估。

许柏炎：

广东工业大学计算机学院博士后研究员。2020年于广东工业大学获工学博士学位，曾到UIUC新加坡高等数字科学研究中心访问学习。本人专注于深度学习和自然语言处理等领域的理论与应用研究，曾在NeurIPS、IJCAI、ACL、CIKM、NN等国际会议和期刊上发表论文。

分享内容：面向Text-to-SQL的结构化感知的双图聚合网络

Text-to-SQL是指如何将自然语言问题转化成相应的SQL查询语句，是面向编程的自然语言处理具挑战性任务之一。Text-to-SQL的关键性问题是如何把训练好的模型泛化到未见过的数据库架构上，又称cross-domain Text-to-SQL任务。解决该问题的泛化能力主要在(1)编码方法如何建模自然语言问题和数据库架构和(2)问题-架构连接方法如何学习匹配自然语言问题的词和数据库架构的表和字段。针对以上两个影响泛化性的因素，我们面向cross-domain Text-to-SQL任务提出了一个名为结构化感知的双图聚合网络(Structure-Aware Dual Graph Aggregation Network，SADGA)。在提出的SADGA下，我们对自然语言文问题和数据库架构采用统一的图结构编码方式。基于提出统一建模方法，我们进一步提出结构化感知聚合方法用于匹配自然语言图和数据库架构图。结构化感知聚合方法具有全局图链接、局部图链接和双图聚合机制。我们也在投稿时达到了Text-to-SQL权威测试榜单的第三名。

林梓楠：

美国卡内基梅隆大学博士生，本科毕业于清华大学（连续三年获得国家奖学金）。主要研究方向为生成模型的基础理论，及生成模型在网络、系统、安全、隐私上的应用。相关工作发表于NeurIPS（Spotlight奖），ICML，AISTATS，AAAI，IMC（最佳论文候选）等。主页：http://zinanlin.me/

内容分享：GAN中的谱归一化：理论分析与改进

生成对抗网络（Generative Adversarial Networks, GANs）是当前最热门、最广泛应用的生成模型之一。然而，训练的不稳定性是GAN的一大问题。谱归一化（Spectral Normalization, SN）是一个被广泛应用的提高GAN训练稳定性的方法。然而，谱归一化能够提高GAN训练稳定性的原因尚不明确。在本工作中，我们从理论上证明了谱归一化能够缓解GAN训练不稳定的两大原因：梯度爆炸和梯度消失。同时，我们从理论上揭示了谱归一化与经典的神经网络初始化方法（LeCun初始化）之间有趣的联系。基于上述理论理解，我们提出了一个新的谱归一化：双向缩放谱归一化（Bidirectional Scaled Spectral Normalization, BSSN）。实验证实，相比SN，BSSN能让GAN的训练更稳定，生成样本质量更高。

李东岳：

美国东北大学计算机系博士生。本科毕业于上海交通大学计算机系。目前，主要专注于以下机器学习算法的设计：（i）设计对少量标记数据的学习算法。(ii) 构建可以泛化到不同分布的任务的学习算法。这些领域涵盖迁移学习、弱监督学习、多任务学习、元学习和数据增强。另外他对网络分析和深度学习的泛化理论也很感兴趣。之前的研究主要集中在模型加速和系统协同设计。

内容分享：微调神经网络的正则化和鲁棒性的改进

一种广泛使用的迁移学习算法是对预先训练的模型在具有少量标记数据的目标任务上进行微调。当预训练模型的容量远大于目标数据集的大小时，微调容易过度拟合和“记忆”训练标签。因此，一个重要的问题是如何对微调进行有效正则化并确保其对噪声的鲁棒性。首先，我们分析了微调算法的泛化特性。我们推导了一个取决于每层微调的距离和微调模型的噪声稳定性的PAC-Bayes 泛化上界。根据实验上对这些理论值的分析，我们提出了一种微调正则化方法。其结合了：（i）逐层正则化，以约束每一层的微调距离（ii）自我标签校正和标签重新加权，以纠正错误标记的数据点并重新加权不太自信的数据点。我们使用多个预训练模型架构在大量图像和文本数据集上验证我们的方法。实验表明我们的方法相对于基线方法，在图像分类任务上改进了 1.76%， 在小样本分类任务上提升了0.75% 。当目标数据集包含噪声标签时，我们的方法平均优于基线方法 3.56%。

史唯实：

罗切斯特理工machine learning & data intensive computing lab在读博士，师从于琦教授。主要研究方向为主动学习（active learning)。旨在设计机器搜索算法来寻找待标记数据之一子集，令该子集于被标记后可最大化某学习指标。之前研究多涉及主动学习于具体机器学习任务中之应用并优化。目前主要研究方向为基于概率和统计的泛主动学习理论建立。

内容分享：基于高斯过程贝叶斯伯努利混合模型的多标签分类主动学习

多标签分类（Multi-label classification）的标记工作繁复低效，一半是因为每个数据备选标签数目众多，一半是因为每个数据真实标签稀疏寥落。为此，我们设计了基于高斯过程与伯努利混合模型的多标签分类器（GP-B2M)，用以实现多标签分类任务中的高效主动学习。该模型将多标签分类中的重要信息--标签关联（label correlation)构筑与不同的贝叶斯-伯努利 混合标签簇之内。每个标签簇的成员均可解释为一种全局的标签关联模式，他们协同获取数据属性信息的高斯过程通过变分推导的方式被优化和学习。为了解决高斯分布和softmax之间的非共轭给变分推导带来的不便，我们引入了隐变量，通过数据增强的方式重新建立了共轭关系。

作为一个贝叶斯模型，GP-B2M 可以提供概率预测。同时，作为一个混合模型，标签关联信息被妥善地收纳在标签变量的协方差矩阵中。我们提出的基于B2M的主动学习策略利用了标签关联的信息，使主动学习的表现得到了提升。

惠乐：

南京理工大学计算机学院高维信息智能感知与系统教育部重点实验室博士生，指导教师为杨健教授和谢晋教授，研究方向包括3D点云分割、目标跟踪、生成等，目前已在NeurIPS，ICCV，ECCV等国际会议上发表论文。

内容分享：用于稀疏点云的三维孪生“体素-到-鸟瞰图”目标跟踪器

本篇文章提出了一个应用于三维点云的单目标跟踪器，它可以显著提升三维点云在稀疏情况下的目标跟踪性能。首先，通过提出的孪生形状感知特征学习网络捕捉目标的三维形状信息，学习判别的特征，以便能从环境背景中识别出潜在目标。然后，利用“体素-到-鸟瞰图”的目标定位网络回归目标中心。该定位网络以无锚的方式从稠密的鸟瞰图中回归目标在x-y平面的二维中心和目标在z轴的中心。在KITTI和nuScenes数据集上的评估结果表明所提出的方法显著优于目前最先进的三维单目标跟踪方法，特别是在点云稀疏时，表现出良好的跟踪性能。

徐信羿：

新加坡国立大学 (NUS)在读博士生，导师是 Bryan Kian Hsiang Low 和 Foo Chuan Sheng. 研究方向为多个智能体机器学习系统， 如联邦学习，多智能体强化学习等，及该系统内多个智能体互相交互关系。在NeurIPS, AAAI等有发表文章。

内容分享：以梯度奖励确保合作机器学习中的公平性

本篇文章讨论了联邦学习中如何保证合作的公平性，即奖励与贡献成正相关。我们提出余弦梯度Shapley值(Cosine Gradient Shapley value)用于衡量每个智能体的贡献，并且提出一个高效的近似方式。我们继而提出使用模型训练的梯度来按照每个智能体的共享设计公平的奖励。在多个实验中，我们观测到提出的方法在达到公平性和保证计算效率方面超过现有方法，并且在学习表现方面与现有方法接近或更好。

彭正皓：

香港中文大学多媒体实验室（MMLab）三年级研究生，师从周博磊教授。主要研究方向为多智能体强化学习、自动驾驶、人机合作等。在国际顶级会议如 NeurIPS、CoRL、ICLR 上发表学术论文。

内容分享：如何用多智能体强化学习训练出一群老司机？

我们开发了一种多智能体强化学习算法 Coordinated Policy Optimization （简称CoPO）以模拟自利的（self-interested）多智能体系统。CoPO 可以实现智能体之间的局部协同和全局协同，以提升群体的运行效率和学习出的行为多样性。以交通流模拟为例，在局部协同中，每个智能体会将临近车辆的奖励加权纳入自己的优化目标之中。而在全局协同中，我们使用元梯度（meta-gradient）去更新局部协同的权重，以提升群体的整体表现。CoPO训练出的智能体展现出了智能、安全且具有社会性的驾驶行为。

请访问项目主页以了解更多内容：

https://decisionforce.github.io/CoPO/

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“NeurIPS，将拉您进“AI TIME NeurIPS 交流群”！

02

预告二：青年科学家系列专场23

3月9日晚 7:30-8:30

AI TIME 特别邀请南加州大学计算机学院研究助理教授马学喆老师为大家带来分享。

★ 嘉宾简介 ★

马学喆：

现任南加州大学计算机学院研究助理教授。其研究方向为深度学习，表征学习与自然语言处理。他于2010年在上海交通大学ACM班获得本科学位。并在2020年于卡耐基梅隆大学语言技术研究所(CMU LTI)获得博士学位。他已在机器学习和自然语言处理顶级会议ICML, ICLR, NeurIPS， ACL，NAACL，EMNLP等发表三十余篇论文，并在这些会议中任领域主席。

分享内容：

参数高效迁移学习

报告简介：

本次报告主要介绍我们最近关于参数高效迁移学习的两个工作。第一个工作被ICLR 2022录取为spolitlight。在这个工作中我们提出了一个的数学模型来统一最近流行的三种高效参数迁移学习方法。在第二个工作中，我们针对基于prompt的迁移学习提出了一致性的正则化方法以提高模型在zero-shot任务上的效果。

哔哩哔哩直播通道

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-4”，将拉您进“AI TIME PhD 交流群-4”！

AI TIME微信小助手

主       办：AI TIME

合作媒体：AI 数据派

合作伙伴：中国工程院知领直播、学堂在线、智谱·AI、智源研究院、蔻享学术、AMiner、 Ever链动、biendata

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

关于AI TIME

2019年，清华大学人工智能研究院院长张钹院士、唐杰教授和李涓子教授等人联合发起“AI TIME science debate”，希望用辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者创办的圈子。AI TIME旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家与爱好者，打造成为全球AI交流与知识分享的聚集地。

我知道你

在看

哦

~

点击 阅读原文 预约直播！