点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

01

预告一：NeurIPS 2021专场四

3月2日下午2点，本期AI TIME NeurIPS邀请了来自哥伦比亚大学、中国科学技术大学与微软亚洲研究院、中国科学院计算技术研究所、罗格斯(Rutgers)大学、Argo AI 、中国人民大学、香港大学、洛桑理工学院（EPFL）、微软亚洲研究院以及卡内基梅隆大学的博士们开启NeurIPS专场四！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号预约直播

★ 嘉宾简介 ★

安杨：

哥伦比亚大学数学博士，现在芝加哥从事量化交易。

分享内容：(Wasserstein) 鲁棒优化的泛化上界

假设数据分布满足运输信息不等式，对于Lipschitz 或分段 Hölder 平滑损失函数，我们推导出了在随机和对抗两种不同场景下鲁棒优化和 Wasserstein 鲁棒优化的泛化上界。

魏国强：

中国科学技术大学与微软亚洲研究院联合培养博士在读，导师为陈志波教授与吕岩博士。研究方向主要为域自适应学习、3D姿态估计等。

分享内容：任务导向的域自适应学习

本文工作关注于无监督的域自适应（UDA）技术，即如何在新的场景中利用有标签的数据来做训练，使得模型在新的目标数据域中能有尽可能好的性能。目前的UDA技术着眼于如何将源数据和新数据的特征通过对齐来减小分布的差异。然而，对于这一类的方法的对齐方式，没有信息显式地指导对齐的特征应该是对分类任务有帮助的。针对这一情况，我们提出了一种可以广泛应用任务导向的UDA方法，目标是为了在对齐两个域的特征分布的时候，能在分类任务的知识的引导下，朝着服务于分类任务的方向进行优化。具体来说，我们利用分类任务中的和最终结果有关的梯度显示地将分类任务的知识引入到了特征对齐任务，实现任务导向的特征对齐。我们的方法适用于目前绝大多数基于特征对齐来实现域自适应的方法，我们验证了在无监督、半监督等多个的域自适应任务中都可以取得最好的结果。

熊睿彬：

硕士毕业于中国科学院计算技术研究所，导师为兰艳艳研究员，主要研究方向是因果学习、分布外泛化。在ICML，NeurIPS等国际会议中发表过多篇学术论文。目前于百度搜索策略部任职高级算法工程师。

分享内容：对基于集成的去偏方法的不确定性校准

本文工作关注去偏差领域。近年来，关于数据集偏差的研究逐渐兴起，在有偏差的数据集上，相比于学习到任务的潜在结构，模型往往会依赖数据集偏差进行决策。这被认为是神经网络模型难以在分布外数据进行良好泛化的重要原因。在这一背景下，针对模型如何在有偏差数据集上进行无偏训练的技术得到了关注，基于集成的去偏方法就是其中之一。该类方法利用bias-only模型调整学习目标，从而实现去偏训练，在多个去偏差领域的基准数据集上获得了领先的效果。我们的工作聚焦于该类方法，从理论上证明了，该类方法的去偏性能依赖于bias-only模型产生的不确定性估计的准确性，并从经验上证实，目前广泛使用的bias-only模型难以产生准确的不确定性估计。启发自这一发现，我们将校准技术引入该类方法，提出了一个三阶段的基于集成的去偏框架。在多个基准数据集上，我们提出的框架能够显著提升传统方法的去偏性能。

金典：

罗格斯(Rutgers)大学二年级博士生，导师是张雨倩教授。于2019年在电子科技大学获得学士学位。主要研究方向为稀疏字典学习和矩阵分解。

分享内容：低秩矩阵的唯一稀疏分解

报告基于金典，邴欣，张雨倩在 nips 2021上的论文（Unique decomposition of low rank matrices)。主要探索了对于一个存在稀疏因子X的低秩矩阵 Y\in R^{p \times n}, 我们总能找到这个稀疏因子并且证明它的唯一性。本文中我们将这个问题转化为单位球面上的非凸优化问题，并且 证明这个问题的每一个局部最优都是全局最优，并且能被二阶的下降算法求解。

李雪倩：

目前在Argo AI 实习，同时是The University of Adelaide的PhD在读学生，导师是Dr. Simon Lucey。

内容分享：Neural Scene Flow Prior (用神经网络来表达隐式场景流) 

在深度学习革命之前，许多感知算法(perception algorithm) 直接运行时优化(runtime optimization) ，同时加上强的先验(prior) 或者正则化(regularization) 。计算机视觉中的一个典型例子是光流(optical flow) 和场景流(scene flow) 。监督学习(supervised learning) 在很大程度上取代了显式正则化(explicit regularization) 的需要。相反地，它们依赖大量的标记数据来捕获先验统计(prior statistics) ，而对于许多问题来说，这些大量的数据并不总是很容易获得的。因此，这些学习方法只能针对特定领域，却不能很好地推广到其他在数据分布上不同的场景。本文回顾了主要依赖于运行时优化和强正则化的场景流问题。文章的创新点是使用神经网络的架构作为一种新型的隐式正则化器(implicit regularizer) ，来表达场景流。与基于学习的场景流方法不同，在我们的方法中，优化发生在运行时，所以，不需要离线数据集。这种运行时优化的方法使得我们的方法非常适合应用于在自动驾驶等不断有新数据但很难获得大量有标记的真实数据(labeled ground truth) 的环境中。我们的方法在场景流benchmark中获得了具有竞争力的（如果不是更好的话）结果。此外，这种神经先验的隐式和连续场景流表达使得我们可以估计连续的一长段跨点云序列的密集对应关系(dense long term correspondences across a sequence of point clouds) 。

何明国：

中国人民大学高瓴人工智能学院二年级博士生，导师是魏哲巍教授。主要研究方向为图神经网络，图谱理论。

内容分享：通过伯恩斯坦近似学习任意的图谱滤波器

当前许多具有代表性的图神经网络，如GPR-GNN和ChebNet，都使用图谱滤波器来近似图卷积。然而，现有的工作要么使用预定义的滤波器权重，要么在没有约束的情况下学习滤波器权重，这可能会导致滤波器过于简单或者不合理。为了克服这些问题，我们提出了BernNet，这是一种具有理论支持的新型图神经网络，它为设计和学习任意图谱滤波器提供了一种简单而有效的方案。对于图归一化拉普拉斯谱上的任何滤波器，BernNet通过一个K阶的Bernstein多项式逼近来估计它，并通过设置Bernstein基的系数来设计它的谱性质。我们的实验表明，BernNet可以学习任意的谱滤波器，包括复杂的带阻滤波器和梳状滤波器，并且在真实数据集图节点分类任务中取得了优异的性能。

林睿：

香港大学(HKU)电子电气工程学院在读博士生，导师为黄毅教授，主要研究方向为神经网络的压缩和加速。

个人主页：https://ruilin0212.github.io

内容分享：一种被称为Deformable Butterfly (DeBut)的高度结构化且稀疏的线性变换

深度神经网络在各个领域都取得了很好的效果，例如图像识别，图像切割，自动驾驶，还有坏品检测等。但是深度神经网络由于其对计算和储存资源的较高要求，使得它很难部署在在资源有限的边缘设备上。为了解决这一问题，许多方法被用来对模型进行压缩，常见的类型有：剪枝，量化，和低秩分解。在这项工作中，我们用不同于上述任何类别的一种新的线性变换来对模型进行了压缩，名为Deformable Butterfly (DeBut)。它是基于传统的Butterfly矩阵的一种泛化，可以适应各种输入输出维度，且继承了传统Butterfly矩阵从细粒度到粗粒度的可学习层次结构。当部署神经网络时，DeBut层的特殊结构和稀疏性构成了网络压缩的新方式。我们将DeBut作为全连接层和卷积层的替代品来应用，并证明了它在同质化神经网络方面的优势，使其具有轻量和低复杂度等有利特性，而不致对准确率造成大幅影响。DeBut层的各种不同设计方式可以做到在复杂度和准确性之间进行基于不同考量的权衡，这为分析和实践研究开辟了新的空间。论文相关的代码和附录可以在以下网站公开获取:

https://github.com/ruilin0212/DeBut 。

刘越江：

洛桑理工学院（EPFL）在读博士生，主要研究方向为针对跨环境泛化或迁移的表征学习，包含自监督学习、因果表征学习、测试时间训练，以第一作者在NeurIPS、ICCV、AAAI发表多篇论文。

内容分享：迈向鲁棒的测试时间适应

通过自监督学习进行测试时间训练（TTT）是一种解决分布变化的新兴范式。尽管取得了令人鼓舞的结果，目前尚不清楚这种方法何时有效或失败。在这项工作中，我们首先深入研究了这类方法的局限性，发现存在严重分布变化的情况下，TTT可能会恶化而不是改善模型性能。为了解决这个问题，我们引入了一种利用离线特征总结和在线矩匹配的测试时特征对齐策略，以实现稳健的矩估计。此外，我们通过理论分析阐明TTT的巨大潜力，并提出改进版的测试时间训练，称为TTT++，在多个视觉基准测试中显着优于此前方法。我们的结果表明，利用以紧凑形式存储的额外信息，对于测试时算法的设计至关重要。

刘畅：

现为微软亚洲研究院机器学习组主管研究员，2019年于清华大学计算机系取得博士学位。主要研究方向包括贝叶斯推断方法，因果模型，生成式模型及其与科学问题的结合。

内容分享：生成式建模的新模式：使用两条件分布确定联合分布

我们都知道两随机变量的联合分布 p(x,z) 可以由其中一个变量的边缘分布（p(x)或p(z)）与对应方向的条件分布（对应p(z|x)或p(x|z)）给出，但它能否仅由两个方向的条件分布p(x|z)和p(z|x)所确定呢？本工作从最基本而通用的测度论角度分析此问题，发现答案可以是肯定的，但需要一定条件。我们进而探索了此发现的一个现实意义：我们提出了一个全新的生成式建模模式，只需建模两个条件分布，即似然模型（likelihood model，或称生成器generator或解码器decoder）p(x|z)，和推断模型（inference model，或称编码器encoder）q(z|x)，而不像已有模式还需指定或建模先验分布（prior distribution）p(z)。我们称此新模式为“成环式生成式建模”，简记为CyGen（Cyclic conditional Generative modeling），源自它仅需的模块，即条件分布p(x|z)和q(z|x)的方向形成了闭环。它避免了各已有生成模型因需要先验而带来的流形错配（manifold mismatch）和后验坍缩（posterior collapse）问题，从而能以更高精度拟合并生成数据，且能抽取到更有用的数据表示。

赵越：

卡内基梅隆大学博士生，主要研究方向包括异常检测、自动机器学习（AutoML）和机器学习系统（MLSys）。更多信息请参考个人主页：https://www.andrew.cmu.edu/user/yuezhao2/

内容分享：自动化无监督异常检测中的模型选择

如何在无监督异常检测场景下，自动筛选最优的异常检测模型（包括所使用的算法框架+超参数）？这件事情乍一看是容易的，我们可以设立验证集，并利用验证集中的真实标签评判/选择最优的模型框架与超参数。但如果在没有真实标签的无监督场景应该怎么做这件事？在无监督场景下：1）通过验证集标签数据评判模型将不可用；2）模型之间的目标函数往往是不可以直接比较的，因而也无法通过loss进行评判。在这篇文章中，我们提出了MetaOD方法对其进行有效解决。MetaOD利用元学习（meta-learning）的思想，对于待检测的数据集提取meta-feature，并利用meta-feature作为任务相似度的一个衡量标准，寻找在以往任务中表现最优的模型框架+模型超参数，从而在新的检测任务中进行快速部署。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“NeurIPS，将拉您进“AI TIME NeurIPS 交流群”！

02

预告二：青年科学家系列专场21

3月2日晚 7:30-8:30

AI TIME 特别邀请伍斯特理工学院（Worcester Polytechnic Institute, WPI）电机与计算机工程系助理教授张子明为大家带来直播分享。

哔哩哔哩直播通道

★ 嘉宾简介 ★

张子明：

现任伍斯特理工学院（Worcester Polytechnic Institute, WPI）电机与计算机工程系助理教授，师从牛津大学Philip Torr教授。主要研究方向是计算机视觉和机器学习，包括深度学习与优化，零样本学习，自监督学习，对抗学习，模仿学习，物体/点云识别、检测与分割，行人重识别，自动驾驶等。更多信息请访问主页：

https://zhang-vislab.github.io

分享内容：

浅谈关于循环神经网络的训练稳定性问题

报告简介：

Recurrent neural networks (RNNs) are a family of deep learning models that are designed particularly for processing time-series data, and their variants such as LSTM and Transformers have achieved great success in real-world applications. However, the exploding/vanishing gradients (i.e., the gradient magnitude is either too large or too small) during training, known as the training stability problem, significantly limit the applicability of RNNs. In the literature, such a problem is mitigated from either training algorithms (e.g. BPTT) or network architectures (e.g. LSTM), or both. In this talk, I will introduce two of my recently works on RNNs, namely, iRNN and SBO-RNN that study new RNN architectures from the perspective of optimization with theoretically guarantee of no training stability problem. Hopefully such works can also help better understand the theory behind LSTM and Transformers.

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-4”，将拉您进“AI TIME PhD 交流群-4”！

AI TIME微信小助手

主       办：AI TIME

合作媒体：AI 数据派

合作伙伴：中国工程院知领直播、学堂在线、智谱·AI、智源研究院、蔻享学术、AMiner、 Ever链动、biendata

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

关于AI TIME

2019年，清华大学人工智能研究院院长张钹院士、唐杰教授和李涓子教授等人联合发起“AI TIME science debate”，希望用辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者创办的圈子。AI TIME旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家与爱好者，打造成为全球AI交流与知识分享的聚集地。

我知道你

在看

哦

~

点击 阅读原文 预约直播！