【ICLR2022】分布外泛化的不确定性建模

来源：专知
本文约1000字，建议阅读5分钟对特征统计量(均值和标准差)进行适当的操作，以提高深度学习模型的泛化能力。

尽管深度神经网络在各种视觉任务中取得了显著的进展，但在非分布场景下测试时，其性能仍存在明显的下降。我们认为可以对特征统计量(均值和标准差)进行适当的操作，以提高深度学习模型的泛化能力。常用的方法往往把特征统计量看作是由学习到的特征量测量出来的确定性值，而没有明确考虑测试过程中可能发生的域转移所引起的不确定性统计差异。在训练过程中，利用综合特征统计量对域转移的不确定性进行建模，提高了网络的泛化能力。具体地说，我们假设在考虑了潜在的不确定性后，特征统计量服从多元高斯分布。因此，每个特征统计量不再是一个确定性的值，而是一个具有不同分布可能性的概率点。在特征统计量不确定的情况下，对模型进行训练，可以减轻区域扰动，对潜在的区域漂移具有更好的鲁棒性。我们的方法可以很容易地集成到网络中，而不需要额外的参数。大量实验表明，该方法能够持续提高网络在多种视觉任务下的泛化能力，包括图像分类、语义分割和实例检索。代码将很快在https://github.com/lixiaotong97/DSU发布。

【ICLR2022】分布外泛化的不确定性建模相关推荐

ICLR 2022 | 从因果不变性视角探讨图神经网络的分布外泛化鲁棒性
©作者 | 吴齐天单位 | 上海交通大学研究方向 | 图神经网络论文题目: Handling Distribution Shifts on Graphs: An Invariance Persp ...
NeurIPS22 | 分子图分布外泛化与因果不变性
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 分布外泛化(Out-of-Distribution Generalization,简称OOD泛化)旨在解决训练数据与测试数据分布不一致的 ...
离群？异常？新类？开集？分布外检测？一文搞懂其间异同！
来源:机器之心本文约4400字,建议阅读8分钟重磅综述让你对开放世界领域有全新的认识! 你是否也曾迷惑于「离群检测,异常检测,新类检测,开集识别,分布外检测」之间错综复杂的关系?你是否也想要解决开 ...
机器学习如何做好分布外异常检测？谷歌这篇 NeurIPS 2019 论文提出了方法
2019-12-30 10:16:57 编译 | 翻译官balala 编辑 | 丛末对于机器学习而言,区分异常数据或有显著差异数据至关重要.谷歌在 NeurIPS 2019 论文中提出并发布了针对基 ...
NeurIPS | 谷歌使用机器学习如何做好分布外异常检测
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :AI科技评论 [人工智能资 ...
一文搞懂异常检测中离群、异常、新类、开集、分布外检测异同
点击上方"迈微AI研习社",选择"星标★"公众号重磅干货,第一时间送达选自丨机器之心 MMLab@NTU 你是否也曾迷惑于「离群检测,异常检测,新类检测,开 ...
matlab试用SUMT外点法求解,数学建模集训知识大纲
数学建模集训知识大纲文章目录数学建模集训知识大纲评价算法简单加权法逼近于理想解的排序法(TOPSIS算法) 层次分析法主成分分析法模糊综合评价法聚类分析法秩和比法人工神经网络熵权 ...
ICML 2022 | 基于有偏不对称对比学习的长尾分布外检测
©作者 | 小舟单位 | 电子科技大学研究方向 | 计算机视觉本文提出了一个 OOD Detection 的新方法,思想上没有什么创新,结合了现有 OOD 方法的思路,同时引入有监督对比学习的思 ...
【分布外检测】《Energy-based Out-of-distribution Detection》 NIPS‘20
<Energy-based Out-of-distribution Detection> NIPS'20 不改变模型结构,在任意模型上用能量函数替代softmax函数,识别输入数据是否为异 ...

【ICLR2022】分布外泛化的不确定性建模

【ICLR2022】分布外泛化的不确定性建模相关推荐

最新文章

热门文章