CVPR 2020｜不惧目标遮挡，英伟达提出全景感知的图像合成方法

英伟达在新公布的论文 Panoptic-based Image Synthesis 中提出一种全景感知的图像合成方法，大大提高了图像生成质量，即便是在多个物体实例相互遮挡的场景，也能生成清晰可分离的的实例图像。

该文指出以往的图像生成往往以“语义图“作为输入，而作者认为将“语义图”与“实例图”统一起来的“全景图”提供了更多的场景信息，用于图像生成更好。

方法

作者在卷积层和上采样层有效使用了全景图。

网络架构：

作者提出的全景感知上采样模块：

结果

能够在具有复杂实例交互场景中生成高质量图像，即使场景中含有更多细节信息的小目标。

除了人眼视觉效果比较外，为更客观量化评估算法生成质量，作者使用语义分割模型DeepLabV2和DRN-D-105对生成图像进行语义分割再与ground truth 语义图进行比较，

另外还引入了使用Faster RCNN目标检测结果的比较。

生成图像与之前方法的比较：

在Cityscapes数据集上与其他方法的结果比较：

在COCO-Stuff数据集上与其他方法的结果比较：

在Cityscapes数据集上分类别的mIoU结果比较：

该文方法在除了pole和rider两类上均为第一。

合成图像示例及目标检测结果：

结果显示该文提出的方法在mIoU（Interp over Union）和detAP（Detection Average Precision）上均打败了之前的SOTA方法。

传送门

论文地址：

https://arxiv.org/pdf/2004.10289.pdf

目前还未发现该文有开源代码。

END

备注：GAN

GAN交流群

生成对抗网络、GAN等技术，

若已为CV君其他账号好友请直接私信。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看，让更多人看到

CVPR 2020｜不惧目标遮挡，英伟达提出全景感知的图像合成方法相关推荐

win8.1 android驱动安装失败,win8.1系统下英伟达驱动安装失败的解决方法
当我们在安装完win8.1系统的时候,总是要安装各种各样的驱动,然而有不少win8.1系统用户反映说遇到英伟达驱动安装失败的情况,遇到这样的问题该怎么办呢,现在随小编一起来看看win8.1系统下英伟达 ...
英伟达Nvidia TX1 TX2 串口通信方法
Nvidia TX1 TX2 串口通信方法英伟达TX2串口串口硬件板子串口描述硬件连接方式测试工具及方法 c++通信代码英伟达TX2串口使用英伟达嵌入式板进行串口通信 . 串口硬件串 ...
Panoptic SegFormer：全景分割第一名！南大港大英伟达提出新算法，霸榜全景分割
今日分享论文『Panoptic SegFormer』全景分割第一名!由南大&港大&NVIDIA 联合提出 Panoptic SegFormer,霸榜全景分割. 话不多说,先放Leadb ...
Panoptic SegFormer：全景分割第一名！南大港大英伟达提出新算法，霸榜全景分割...
点击下方卡片,关注3D视觉工坊公众号 3D视觉干货第一时间送达今日分享论文『Panoptic SegFormer』全景分割第一名!由南大&港大&NVIDIA 联合提出 Panopti ...
linux（ubuntu）下英伟达Nvidia 显卡监控工具nvtop使用方法
文章目录一.问题背景二.nvtop命令一.问题背景我们常用nvidia-smi指令来查看显卡的使用情况,这种方法可以看出每张显卡内存和GPU利用率的实时情况,但看不出历史数据和变化曲线,这个时 ...
快速图像增强的简便大法来了，英伟达开源新库代号“DALI”| CVPR 18
林鳞编译整理量子位出品 | 公众号 QbitAI 又有新的开源库来了,英伟达出品,数量×2. 正在举行的CVPR 2018大会上,英伟达开源了数据增强库NVIDIA DALI和图像解码库NVID ...
不可思议！英伟达新技术训练NeRF模型最快只需5秒，代码已开源
英伟达将训练 NeRF 模型从 5 小时缩至 5 秒. 你曾想过在 5 秒内训练完成狐狸的 NeRF 模型吗?现在英伟达做到了! 令人不可思议的是,就如谷歌科学家 Jon Barron 在推特上表示的 ...
告别渣画质，视频会议带宽降90%，英伟达公开Maxine服务背后重要技术
来源:机器之心本文约2800字,建议阅读9分钟英伟达团队发布的新论文揭露了AI视频会议服务Maxine技术. 10 月初,英伟达推出了一项 AI 视频会议服务 Maxine,使用了 AI 来提升分 ...
英伟达验证图片加载不出来_让大卫雕塑跳舞、蒙娜丽莎说话，英伟达视频合成有如此多「骚操作」...
用视频到视频的合成技术生成会跳舞的小哥哥(小姐姐) 或自己本人已经不是什么无法解决的问题,但这些方法通常需要大量目标人物的数据,而且学到的模型泛化能力相对不足.为了解决这个问题,来自英伟达的研究者提出 ...

CVPR 2020｜不惧目标遮挡，英伟达提出全景感知的图像合成方法

CVPR 2020｜不惧目标遮挡，英伟达提出全景感知的图像合成方法相关推荐

最新文章

热门文章