跨次元!目标检测类别超20000!
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI
目标检测种类多达20000+种的AI,你见过吗?
不仅准确“揪出”每个物体所在的位置,分类效果非常准确:
插画版赛博恐龙也没问题:
甚至还能检测杂志封面甚至漫画中的物体!
这也是把目标检测给玩出花来了,据作者表示模型在长尾问题等细节上的处理非常好,像狮子和狐狸这种少样本也能准确识别:
这项研究来自Meta AI和德克萨斯大学奥斯汀分校,一作是著名目标检测框架CenterNet的作者、复旦校友Xingyi Zhou。
一起来看看。
可识别“跨次元”物体
这篇论文提出了一种新的名为Detic的方法,用来解决目标检测无法用到图像级标签(给一整张图打标签,标注里面有什么物体)的问题。
此前的目标检测方法,通常是一个检测框里一个物体:
这种方法有一个问题,就是没办法利用整个图像级标签,只能用单个物体的图片进行训练。
也有一些研究想出了一种新方法,搞个弱监督学习,试图让AI自己学会将图像级的标签,去对应锚定框里面有什么物体,但实际上这种方法的效果也不太好。
Detic的方法是采用目标检测数据(a)和图像标签数据(b)对Detic进行混合训练。
其中,在用目标检测数据训练Detic时,同时对图像分类模块W和目标检测模块B进行训练,但只用标签数据对图像分类模块W进行训练。
训练的数据集采用的是ImageNet,事实证明模型在训练后无需微调,就能很好地适应到LVIS等数据集,相对之前的一些模型都达到了不错的效果:
论文表示,Detic能分类的图片类型也是多种多样,从真实照片到赛博恐龙插画这样的“跨次元”作品都能识别:
这立刻吸引了不少网友来玩。
在线Demo可玩
有网友用梵高的世界名画试了试。
放大一点来看,艺术加工后的椅子、人和桌子也能被识别:
还有用二次元的龙猫进行识别的,除了龙猫本身被错认成猫头鹰以外,其他的雨伞和靴子都认得不错:
我们也随便用一个钟表柜的照片试了试,在线Demo的检测时间稍微有点久,大约需要6分钟左右,但效果还不错:
细看的话还是能发现一些瑕疵,例如把部分手表误认成转速计、以及怀表和时钟,以及也有一两块手表没有被检测出来。
不过,即使在二次元和插画中,这个AI能识别的物体,至少也需要在真实世界出现过。
例如,超出20000个分类的物体,如喷火龙和皮卡丘,就不在AI的监测范围内了,全部被认成了猴子(狗头):
将这些二次元角色也加入AI训练数据集中,不知能否取得同样的检测效果。
作者介绍
△这张照片是“女朋友拍的”
论文一作Xingyi Zhou,目前在德克萨斯大学奥斯汀分校读博,本科就读于复旦大学计算机系,之前也是CenterNet论文的第一作者,项目在GitHub上目前已经收获6.1k Star。
Rohit Girdhar、Armand Joulin和Ishan Misra,Meta AI的研究科学家,主要研究方向是机器学习和计算机视觉,此前Armand Joulin曾经在李飞飞的实验室进行博士后工作。
Philipp Krähenbühl,德克萨斯大学奥斯汀分校助理教授,Xingyi Zhou的导师,研究方向是计算机视觉、机器学习和计算机图形学。
感兴趣的小伙伴,赶紧试试你想玩的漫画、或是杂志插画吧~
Demo地址:
https://huggingface.co/spaces/akhaliq/Detic
论文地址:
https://arxiv.org/abs/2201.02605
参考链接:
[1]https://www.cs.utexas.edu/~zhouxy/
[2]https://twitter.com/ak92501/status/1480704961101148162
猜您喜欢:
超110篇!CVPR 2021最全GAN论文汇总梳理!
超100篇!CVPR 2020最全GAN论文梳理汇总!
拆解组新的GAN:解耦表征MixNMatch
StarGAN第2版:多域多样性图像生成
附下载 | 《可解释的机器学习》中文版
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 |《计算机视觉中的数学方法》分享
《基于深度学习的表面缺陷检测方法综述》
《零样本图像分类综述: 十年进展》
《基于深度神经网络的少样本学习综述》
跨次元!目标检测类别超20000!相关推荐
- “跨次元”目标检测模型hold住各种画风,真人赛博恐龙梵高画作都能识别,复旦校友一作,在线Demo可玩...
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 目标检测种类多达20000+种的AI,你见过吗? 不仅准确"揪出"每个物体所在的位置,分类效果非常准确: 插画版赛博恐龙也没问 ...
- 【ICLR2022】DECOUPLED ADAPTATION FOR CROSS-DOMAIN OBJECT DETECTION 解耦自适应用于跨域目标检测
摘要 解决的问题(动机): 跨域⽬标检测⽐⽬标分类更具挑战性,因为图像中存在多个对象,并且每个⽬标在未标记的⽬标域中的位置是未知的.因此,当我们调整不同物体的特征以增强探测器的可迁移性时,前景和背景的 ...
- 【CVPR2020-Oral】上交华为:GPA跨域目标检测
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! [导读]上交&华为CVPR2020 Oral,基于Graph-induce ...
- CVPR 2020 | 北航提出:通过由粗到精特征自适应进行跨域目标检测,表现SOTA!
性能优于PDA.MDA和SWDA等网络. 作者团队:北京航空航天大学 1 引言 近年来,在基于深度学习的目标检测中见证了巨大的进步.但是,由于domain shift问题,将现成的检测器应用于未知的域 ...
- 跨域目标检测任务数据集
数据集 Cityscapes Cityscapes是一个语义分割数据集,包括2975张训练图片.500张验证图片5和1525张测试图,每张图片大小都是1024x2048.每张图片都有像素级的标注,经过 ...
- CV Code | 本周新出计算机视觉开源代码汇总(语义分割、目标检测、超分辨率、网络结构设计、训练策略等)...
点击我爱计算机视觉标星,更快获取CVML新技术 CV君汇总了过去一周计算机视觉领域新出的开源代码,涉及到图像增广.医学图像分割.图像恢复.目标检测.语义分割.超分辨率.显著目标检测.轻量级网络结构设计 ...
- CVPR2022 目标检测方向文章(附摘要)
目录 一.2D目标检测 [1] SIGMA: Semantic-complete Graph Matching for Domain Adaptive Object Detection(SIGMA:域 ...
- 瞬间洞察万物:YOLO目标检测算法的黑科技全揭秘
目录 简介与背景知识: 数据集准备: 模型选择和预训练: 模型构建和训练: 目标检测与推断: 性能优化与改进: 实例应用和扩展: yolo各版本: 总结: 简介与背景知识: YOLO(You On ...
- CVPR2020论文分方向整理之检测篇_3D目标检测(代码/论文解读/136篇打包下载)
CVPR2020论文分方向整理之检测篇(代码/论文解读/136篇打包下载) 本周三,CVPR官方正式开放下载,极市第一时间将所有论文(共1467篇)进行了下载打包,详情见此处.为了方便大家进一步的学习 ...
最新文章
- fedora mysql 客户端_fedora mysql 安装
- 剑指offer:旋转数组的最小数字
- 深入学习Redis(3):主从复制
- 如何采用python语言绘制一条_如何使用matplotlib绘制一条线?
- 上海博彦科技 千万别来_这个年产值2870亿元的科技园区,将率多家企业亮相本届服贸会...
- cmd背景换成老婆(冰冰)
- 模块单元学习笔记(日志记录模块os模块sys)
- 环境变量_配置JAVA环境变量
- 操作符offset和seg
- Linux命令行与Shell脚本编程大全读书笔记
- Java的三种工厂模式
- C# 生成验证码 方法一
- nagios 主机报警别名修改
- jQuery—$ is not a function
- 写入接口c语言_嵌入式LCD的接口类型详解
- 自动发卡平台网站源码-带手机版 带多套商户模板
- ucGUI3.9版本快速移植构建
- 苹果mac有什么用_苹果的T2“安全芯片”在Mac中有什么作用?
- 记一个小工具——font-spider(字蛛-css压缩中文字体字体)
- VB打开工程时出现不能加载MSCOMCTL.OCX的解决方法