ECCV 2022 Oral | 无需微调即可泛化!RegAD:少样本异常检测新框架
作者丨王延峰、张娅
来源丨机器之心
编辑丨极市平台
导读
本文介绍了一种少样本异常检测框架 RegAD,用于学习多个异常检测任务之间共享的通用模型。RegAD 无需模型参数调整,仅利用少量正常样本,就可以直接应用于新的异常检测任务。
论文链接:https://arxiv.org/abs/2207.07361
代码链接:https://github.com/MediaBrain-SJTU/RegAD
前言
近年来,异常检测在工业缺陷检测、医疗诊断,自动驾驶等领域有着广泛的应用。“异常”通常定义为 “正常” 的对立面,即所有不符合正常规范的样本。通常来说,相比于正常,异常事件的种类是不可穷尽的,且十分稀有,难以收集,因此不可能收集详尽的异常样本进行训练。因此,近期关于异常检测的研究主要致力于无监督学习,即仅使用正常样本,通过使用单类别(one-class)分类,图像重建(reconstruction),或其他自监督学习任务对正常样本进行建模,之后,通过识别不同于模型分布的样本来检测异常。
大多数现有的异常检测方法都专注于为每个异常检测任务训练一个专用模型。然而,在诸如缺陷检测之类的真实场景中,考虑到要处理数百种工业产品,为每种产品均收集大量训练集是不划算的。对此,上海交通大学 MediaBrain 团队和上海人工智能实验室智慧医疗团队等提出了一个基于配准的少样本异常检测框架,通过学习多个异常检测任务之间共享的通用模型,无需进行模型参数调整,便可将其推广到新的异常检测任务。目前,这项研究已被 ECCV2022 接收为 Oral 论文,完整训练代码及模型已经开源。
方法简介
在这项工作中,少样本异常检测通用模型的训练受到了人类如何检测异常的启发。事实上,当尝试检测图像中的异常时,人们通常会将该检测样本与某个已经被确定为正常的样本进行比较,从而找出差异,有差异的部分就可以被认为是异常。为了实现这种类似于人类的比较的过程,本文作者采用了配准技术。本文作者认为,对于配准网络而言,只要知道如何比较两个极度相似的图像,图像的实际语义就不再重要,因此模型就更能够适用于从未见过的异常检测新任务。配准特别适用于少样本异常检测,因为配准可以非常方便地进行跨类别推广,模型无需参数微调就能够快速应用于新的异常检测任务。
上图概述了基于配准的少样本异常检测的框架。与常规的异常检测方法(one-model-per-category)不同,这项工作(one-model-all-category)首先使用多类别数据联合训练一个基于配准的异常检测通用模型。来自不同类别的正常图像一起用于联合训练模型,随机选择来自同一类别的两个图像作为训练对。在测试时,为目标类别以及每个测试样本提供了由几个正常样本组成的支撑集。给定支撑集,使用基于统计的分布估计器估计目标类别注册特征的正态分布。超出统计正态分布的测试样本被视为异常。
这项工作采用了一个简单的配准网络,同时参考了 Siamese [1], STN [2] 和 FYD [3]。具体地说,以孪生神经网络(Siamese Network)为框架,插入空间变换网络(STN)实现特征配准。为了更好的鲁棒性,本文作者利用特征级的配准损失,而不是像典型的配准方法那样逐像素配准,这可以被视为像素级配准的松弛版本。
实验结果
在与其他少样本异常检测方法的比较上,RegAD 无论在检测性能、适用到新类别数据的自适应时间上,相比于基准方法 TDG [4] 和 DiffNet [5] 都有显著的优势。这是由于其他的方法都需要针对新的类别数据进行模型的多轮迭代更新。另外,RegAD 相比于没有进行多类别特征配准联合训练的版本(RegAD-L),性能也得到了显著的提升,体现出基于配准的通用异常检测模型的训练是十分有效的。本文在异常检测数据集 MVTec [6] 和 MPDD [7] 上进行实验。更多的实验结果和消融实验可参考原论文。
此外,作者还展示了异常定位可视化的结果。可以看到,联合训练可以使得模型的异常定位变得更加准确。
T-SNE 的可视化也显示出,基于配准的训练可以使得同类别的正常图像特征变得更加紧凑,从而有利于异常数据的检出。
总结
这项工作主要探索了异常检测的一个具有挑战性但实用的设置:1)训练适用于所有异常检测任务的单一模型(无需微调即可推广);2)仅提供少量新类别图像(少样本);3)只有正常样本用于训练(无监督)。尝试探索这种设置是异常检测走向实际大规模工业应用的重要一步。为了学习类别无关的模型,本文提出了一种基于比较的解决方案,这与流行的基于重建或基于单分类的方法有很大不同。具体采用的配准模型建立在已有的配准方案基础上,充分参考了现有的杰出工作 [1,2,3],在不需要参数调整的前提下,在新的异常检测数据上取得了令人印象深刻的检测效果。
参考文献
[1] Xinlei Chen and Kaiming He. Exploring simple siamese representation learning. CVPR. 2021.
[2] Max Jaderberg et. al. Spatial transformer networks. NeurIPS. 2015.
[3] Ye Zheng et. al. Focus your distribution: Coarse-to-fine non-contrastive learning for anomaly detection and localization. arXiv:2110.04538. 2021.
[4] Shelly Sheynin et. al. A hierarchical transformation-discriminating generative model for few shot anomaly detection. ICCV. 2021.
[5] Marco Rudolph et.al. Same same but differnet: Semi-supervised defect detection with normalizing flows. WACV. 2021.
[6] Paul Bergmann et. al. MVTec AD--A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection. CVPR. 2019.
[7] Stepan Jezek et. al. Deep learning-based defect detection of metal parts: evaluating current methods in complex conditions. ICUMT. 2021.
本文仅做学术分享,如有侵权,请联系删文。
干货下载与学习
后台回复:巴塞罗那自治大学课件,即可下载国外大学沉淀数年3D Vison精品课件
后台回复:计算机视觉书籍,即可下载3D视觉领域经典书籍pdf
后台回复:3D视觉课程,即可学习3D视觉领域精品课程
计算机视觉工坊精品课程官网:3dcver.com
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法:算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼)
13.重磅!四旋翼飞行器:算法与实战
14.ROS2从入门到精通:理论与实战
15.国内首个3D缺陷检测教程:理论、源码与实战
16.基于Open3D的点云处理入门与实战教程
重磅!计算机视觉工坊-学习交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近4000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
ECCV 2022 Oral | 无需微调即可泛化!RegAD:少样本异常检测新框架相关推荐
- Only Train Once:微软、浙大等研究者提出剪枝框架OTO,无需微调即可获得轻量级架构...
来源:机器之心 来自微软.浙江大学等机构的研究者提出了一种 one-shot DNN 剪枝框架,无需微调即可从大型神经网络中得到轻量级架构,在保持模型高性能的同时还能显著降低所需算力. 大型神经网络学 ...
- Only Train Once!微软浙大提出剪枝新框架OTO:无需微调即可获得轻量级架构!
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 转载自:机器之心 | 作者:Hecate He 来自微软.浙江大学等机构的研究者提出了一种 one-sh ...
- ICLR2021 Oral |9行代码提高少样本学习泛化能力
文 | 杨朔@知乎 本文已获作者授权,禁止二次转载 介绍一篇我们刚刚发表在ICLR2021 Oral上的一篇少样本学习工作,简单有效. 题目: Free Lunch for Few-shot Lear ...
- 2022高教社杯数学建模思路 - 案例:异常检测
2022 高教社杯(国赛数学建模)思路解析 2022高教社杯ABCD赛题思路解析: https://blog.csdn.net/dc_sinor/article/details/126211983 一 ...
- 何恺明一作MAE收录CVPR 2022 Oral!高达87.8%准确率!自监督领域新代表作
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 作者:happy | 转载自:极市平台 导读 何恺明提出一种用于计算机视觉的可扩展自监督学习方案Mas ...
- CVPR 2022 Oral|PoseConv3D开源: 基于人体姿态的动作识别新范式
作者丨Kenny@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/493374779 编辑丨极市平台 Paper:https://arxiv.org/abs/2104. ...
- ECCV 2022 | MVDG:一种用于域泛化的统一多视图框架
前言 论文提出了一种新的多视图分布式目标框架,以有效地减少训练和测试阶段的过拟合. 具体来说就是,在训练阶段,开发了一种多视图正则化元学习算法,利用多个优化轨迹产生适合模型更新的优化方向.在测试阶段, ...
- ECCV 2022 | 新方案: 先剪枝再蒸馏
前言 论文提出了一个新的框架,"prune, then distill",该框架首先剪枝模型,使其更具可移植性,然后提取给student.并进一步从理论上证明了剪枝后的teache ...
- ECCV 2022 | RFLA:基于高斯感受野的微小目标检测标签分配
前言 在本文中,作者提出了一种基于高斯感受野的标签分配(RFLA)策略用于微小目标检测.并提出了一种新的感受野距离(RFD)来直接测量高斯感受野和地面真值之间的相似性,而不是使用IoU或中心采样策略分 ...
最新文章
- rocktmq 消息延时清空_使用Kotlin+RocketMQ实现延时消息的示例代码
- Linux 基础命令
- 什么是单点登录(SSO)
- 没看过这条鄙视链,别轻易说你懂区块链!
- IText实现url转pdf, 解决中文字体问题
- 一文带你了解如何打造持续学习文化
- 使用git时报错出现vim.exe.stackdump
- HTTP协议中你必须知道的三种数据格式
- 【华为云技术分享】文字识别服务(OCR)基于对抗样本的模型可信安全威胁分析初析
- 【Python实例第33讲】单变量特征选择
- 【PATL2-002】链表去重(链表模拟)---水题
- C# Newtonsoft.Json用法
- keypress事件中键盘上每个键的KeyAscii值(易语言/VB)
- 模糊聚类划分matlab代码,模糊C均值聚类算法(原理+Matlab代码)
- Vue仿微信朋友圈项目
- 等保测评机构推荐证书撤销,纳入国家认证体系
- linux ntfs 3g 格式化,linux使用ntfs-3g操作ntfs格式硬盘
- 15款秋季养生粥DIY
- 安卓开发常用词汇总结
- 使用iMX53 IPU SISG功能控制摄像头闪光灯
热门文章
- 11.第十二章.采购管理
- FortiGate 流量整形限速
- 记一次feign调用报错:feign.codec.DecodeException: Error while extracting response for type [java...
- 安卓获取手机唯一码工具类
- 天馈线测试仪是什么?
- bzoj 1106: [POI2007]立方体大作战tet(贪心+树状数组)
- 时统ptp_【学术论文】麒麟操作系统平台软时统同步方法研究
- wireshark学习笔记(MAC地址欺骗)
- 网易云信 IM 推送保障及网络优化实践
- 计算机上设置通讯参数,西门子s7-200plc通讯口参数设置方法