论文笔记之：Playing for Data: Ground Truth from Computer Games

Playing for Data: Ground Truth from Computer Games

ECCV 2016

　　Project Page：http://download.visinf.tu-darmstadt.de/data/from_games/index.html

　　arXiv Paper : http://arxiv.org/pdf/1608.02192.pdf

　　摘要： 本文有意思哦，从游戏中的视频帧中得到新的训练数据，为什么用这些数据呢？众所周知，最近的计算机视觉很大程度上依赖于海量数据，但是数据总是有限的，那么，如何得到这些精致标注的数据呢？半监督？还是用无监督的方法来做呢？？哦，对了，前两天刚玩的 GTA5 游戏画面不错哦，对了，能否用那些图像作为新的数据来源呢？毕竟，现在的游戏技术，已经使得画面“逆天”了。那么，本文就是将这些从现代电脑游戏中提取出来的像素级的分割图像映射。虽然，游戏的 source code 和中间的游戏操作不可访问，本文表明图像 patches 之间的联系可以在游戏和图像硬件之间重建出来。这样就使得游戏中的图像之间可以快速传递 semantic labels，而不用访问 source code 或者 content 。实验证明利用这些产生的图像来协助语义分割可以大幅度的提升分割的性能：利用游戏截图得到的model 和 1/3 的 CamVid training set 超过了用光 CamVid training data 所得到的精度。

　　所用的游戏截图如下所示，可以看出精湛的游戏画面，已经能够和现实相匹敌了：

　　文章动机：本文从深度学习需要海量有标签数据和有限的标注能力之间的矛盾作为起始点，开始展开讲述本文。精细化的标注一张图像，会耗费很长的时间，此处作者举了例子，然后对比本文提出的方法，则较大程度上减少了标注时间。

　　本文探索利用了电脑游戏来构建大型的像素级标注来训练 semantic segmentation 系统。现代的开放游戏世界，如：GTA-5，看门狗，杀手47 等等高度的还原了一个真实的世界。他们的理想化，不仅在于高质量的物质材料外观和光线变化模拟；他们也涉及到游戏世界的内容：物体和环境的外部摆放，真实的纹理结构，车辆的运动，小物体出现增添了细节信息，玩家和环境的交互等等。

　　游戏世界的尺寸，外观和行为都远比沙盒游戏更好，因为其缺乏这些充分的元素。但是，由于其中间的操作和游戏的内容都几乎不可见，那么细节的 semantic annoation 是非常具有挑战性的，这个问题可以通过一种称为 “detouring”的技术来解决。我们在游戏和操作系统之间添加了一种 wrapper 来允许我们记录，修改，和重新产生 render commands。更关键的是，其允许进行标签的传递，随着时间和物体，共享不同的资源。

　　在同样的标注程度上，我们的方法节省了 3个数量级的时间。

　　打破数据标注的鸿沟：

转载于:https://www.cnblogs.com/wangxiaocvpr/p/5755235.html

论文笔记之：Playing for Data: Ground Truth from Computer Games相关推荐

论文笔记|A Block-sorting Lossless Data Compression Algorithm
文章目录 1 简介 1.1 创新 2 方法 2.1 编码 2.2 解码 3 实验 1 简介论文题目:A Block-sorting Lossless Data Compression Algorit ...
论文笔记——Stitcher：Feedback-driven Data Provider for Object Detection
论文下载: https://arxiv.org/pdf/2004.12432.pdf 论文摘要: 代码暂未开源该论文摘要概括:目标检测器的效果是根据物体尺度的不同而不同,在小对象性能上是最不令人满意 ...
（论文笔记）EEG fading data classification based on improved manifold learning with adaptive neighborhood
EEG fading data classification based on improved manifold learning with adaptive neighborhood select ...
(论文笔记06.High Fidelity Data Reduction for Big Data Security Dependency Analyses(CCF A)2016)
High Fidelity Data Reduction for Big Data Security Dependency Analyses(CCF A) 这是我读的条理最清晰的一篇文章了! 1.AB ...
【论文笔记】XDO: A Double Oracle Algorithm for Extensive-Form Games
文章目录论文介绍核心算法相关知识 XDO NXDO 实验总结论文介绍论文链接:https://arxiv.org/abs/2103.06426 论文源码:https://github.co ...
论文笔记目录（ver2.0）
1 时间序列 1.1 时间序列预测论文名称来源主要内容论文笔记:DCRNN (Diffusion Convolutional Recurrent Neural Network: Data-Dr ...
【论文笔记】李盟, et al. 一种恶意代码特征选取和建模方法. 计算机应用与软件 08(2015):272-277.
前言论文笔记. 论文笔记出处及年份 <计算机应用与软件 Computer Applications and SoftwareVol.>第32卷第8期2015年8月论文标题一种恶意代 ...
[论文笔记 ECCV2020] Learning to Count in the Crowd from Limited Labeled Data
[论文笔记 ECCV2020] Learning to Count in the Crowd from Limited Labeled Data 摘要 Abstract 贡献 Contribution ...
[论文研读]天天看到的 ground truth，到底是什么意思？
文章目录维基百科中文版 Statistics and machine learning I Can See Clearly Now : Image Restoration via De-Raini ...

论文笔记之：Playing for Data: Ground Truth from Computer Games

论文笔记之：Playing for Data: Ground Truth from Computer Games相关推荐

最新文章

热门文章