点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

NeurIPS，全称神经信息处理系统大会，是关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NeurIPS基金会主办。NeurIPS是机器学习领域的顶级会议，在中国计算机学会的国际学术会议排名中，NeurIPS为人工智能领域的A类会议。2022年，NeurIPS共收到了10411份有效投稿，最终两千六百七十六篇论文被接收，接受率为25.6%。

2022年11月2日至11月9日，由国际信息科技中心主办，AI TIME承办的NeurIPS 2022预讲会全球博士Talk完美收官，本次全球博士Talk邀请了来自多个国家和地区的知名院校博士生齐聚一堂，共同探讨机器学习领域的前沿研究。

针对数据投毒问题，来自马里兰大学的博士生汪文潇提出了“致死量”猜想。将对数据投毒的鲁棒性和少样本学习联系起来，刻画了对于一般任务中数据投毒攻击可防与否的分界线。该猜想意味着已有aggregation-based的可验证的防御（e.g. DPA和Finite Aggregation）已是近乎最优，他们仅仅通过改变数据增强方法，就将DPA的可验证鲁棒性变成了原来两倍或者三倍，大幅超越了可验证防御的SOTA。

表格数据是机器学习在现实应用中最常用的场景。众所周知，各种预训练模型在自然语言和计算机视觉领域大放异彩，但是深度学习在表格数据上仍然没有敌过树模型。伊利诺伊大学香槟分校博士生王子丰就如何实现表格数据上的迁移学习和零样本学习问题进行了分享，他提出了一种可迁移的表格预测模型。该模型将列的语义加入编码过程，从而能够接受可变列的表格输入。同时，他们还提出一种新的表格数据上的对比学习预训练方式，能够帮助模型从多个上游表格上稳定地学习，从而提高下游任务迁移学习的能力。

新加坡国立大学的博士生阳行意则是探索了一种新的知识转移任务，称为深度模型重组 (DeRy)，用于通用模型重用。DeRy 的目标是首先将每个模型分解为不同的构建块，然后有选择地重新组装派生的块以生成定制的网络硬件资源和性能限制。他们通过覆盖集优化联合对所有预训练网络进行分区，并导出许多等价集，在每个等价集内，网络块被视为功能等价。他们证明在 ImageNet 上，最好的重组模型在没有微调的情况下达到 78.6% 的 top-1 准确率，通过端到端微调可以进一步提高到 83.2%。

深度神经网络 (DNN) 已被证明非常容易受到对抗样本的攻击，攻击者通过制造难以察觉的扰动来产生对抗样本，从而使机器学习模型产生错误的预测。香港科技大学博士生秦泽钰从损失景观角度出发，通过反向对抗扰动增强对抗迁移性。为了减轻对于替代模型的过度拟合，他们提出了一种新的攻击方法，称为反向对抗扰动 (RAP)，即通过为对抗样本的优化过程的每个步骤注入最坏情况的扰动（即反向对抗扰动）来寻找位于具有统一的低损失值区域的对抗样本，而不是最小化单个对抗样本点的损失值。

南京大学硕士生余博涛对于音乐生成受到音乐序列过长困扰的问题，提出了Museformer来更好地解决音乐生成中的这些挑战，其包含一种细粒度和粗粒度结合的注意力机制：通过细粒度注意力重点关注与音乐结构相关的小节，以更好的生成音乐的重复结构；通过粗粒度注意力获得其他小节的信息总结，以保留必要的上下文信息。

近年来，尽管在图像等欧式数据上使用因果不变性原理进行分布外泛化（Out-of-Distribution generalization）取得了一定的成功，但对图数据的研究仍然有限。香港中文大学博士生陈永强在图数据的研究上有了新的进展，为了在图数据上也能做到分布外泛化，他们提出了一个新的框架，称为因果关系启发不变图学习 (CIGA)，以识别和利用图数据上的因果不变性，使得模型能够在图上的各种分布变化下实现良好的泛化性能。具体来说，他们首先用因果图建模了图上可能的分布变化，并推导出，当模型只关注包含有关标签成因的最多信息的子图时，可以实现图上的分布外泛化。

中国科学技术大学博士生周满提出了一种理论上可行的深度傅里叶向上采样（FourierUp）来解决傅里叶域上采样不遵循某种局部特性的问题。他们重新审视了空间域和傅里叶域之间的关系，揭示了傅里叶变换域中不同分辨率特征的变换规则，为FourierUp的设计提供了重要的见解。FourierUp作为一个通用运算符，由三个关键组件组成：2D离散傅里叶变换、傅里叶维数增加规则和2D傅里叶逆转换，它们可以直接与现有网络集成。

鲁棒的均值估计在统计学中是一个很基本的问题, 史蒂森理工学院博士生曾诗薇提到了近年来备受关注的一个极端学习案例——当只有少于一半的数据是未被篡改的，例如20%，是否还能达到某种学习效果？因此人们放宽了对算法的要求转而允许其输出多个估值，而只要其中存在一个估值是与原均值足够相近的(L_2 distance)，就认为其达到了某种学习效果。这种学习模型被称为，可用列表解码的学习(list-decodable learning)。在此基础之上，他们团队证明了当D服从高斯分布及其均值是k稀疏的情况下，即D~N(u,I), ||u||_0<=k，算法的数据复杂度为多项式于k*log(d)，这里d为原数据的维度。

密歇根州立大学博士生毛海涛通过对单个神经元在训练和测试中的现象进行观察分析，发现神经元对不同类别输入的响应特性，并据此设计出一种通用的正则项。它能在各个领域的多个数据集（ImageNet, CIFAR10, PubMed, WikiCS)以及多种网络结构 (MLP, CNN, GNN)上普遍的提升模型的泛化性能。

香港中文大学（深圳）博士生张雨舜针对深度学习中的Adam算法，指出Reddi et al.的发散理论和实际场景存在差距：Reddi et al.先固定Adam的超参数，后挑选优化问题；而实际任务往往是先给定优化问题，再调整Adam的超参数。由于Adam通常在后一种情况下表现得很好，他们推测它仍然可以收敛。

本次NeurIPS 2022 预讲会全球博士Talk共吸引了约8.4万专业领域人士观看，27位博士生分别从各自的创新研究出发，为观众呈现了一场机器学习的知识盛宴。

主办单位：国际科技信息中心

承       办：AI TIME

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

关于国际科技信息中心

国际科技信息中心由市科创委统筹，清华大学深圳国际研究生院牵头，超算中心、市科技图书馆、深圳清华研究院合作共建而成。中心立足深圳，面向世界，充分发挥深圳创新活跃、高新技术发达优势，致力于打造涵盖基础设施、科技文献、科学数据、情报信息、高端智库、智能服务等体系的“科技超脑”数智平台，赋能粤港澳大湾区科研与产业，加速科技创新，有力支撑粤港澳大湾区国际科技创新中心和综合性国家科学中心建设。

关于AI TIME

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了800多位海内外讲者，举办了逾400场活动，超400万人次观看。

我知道你

在看

哦

~

点击 阅读原文 查看回放！