CVPR 2020 开源论文 | 多种可能性行人未来路径预测
©PaperWeekly 原创 · 作者|梁俊卫
学校|卡耐基梅隆大学博士生
研究方向|计算机视觉
在这篇文章里我将介绍我们最新在 CVPR'20 上发表的工作:The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction,主题是关于多种可能性的行人未来路径预测。我们的数据集和代码已经全部开源,里面包括完整的在 3D 模拟器中重建多种可能性未来行人路径的 tutorial,欢迎尝试。
论文标题:The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction
论文链接:https://arxiv.org/abs/1912.06445
代码链接:https://github.com/JunweiLiang/Multiverse
行人未来路径预测问题:你能预测下面行人的未来路径吗?
在这篇文章里,我们研究的是多种可能性的行人未来预测问题。从下面的例子可以看到,这个人可能会走向几个不同的方向:
我们提出新的数据集:The Forking Paths Dataset
在真实世界的视频中,我们只能看到一种可能的事件发生,比如上面的例子中,红框中的人是一直往前走,但也许在另一个平行宇宙中,他可能走向另外一个不同的方向,但我们在真实视频中无法观察到。
为了能够取得一个能够量化评估多种可能性路径预测模型的数据集,我们使用基于游戏引擎-虚幻 4 的 3D 模拟器(CARLA [3] )创建了一个新的 trajectory prediction 数据集。
在这个数据集中,我们重建了真实世界的场景和动态事件,然后让标注者控制 agents 走到设置好的目标点,记录下这些能反映真实人类在同样情况下可能会走的路径。
▲ 重建真实动态场景到3D模拟器中3
多名人类标注者观察该场景 4.8 秒后就可以以第一人称或者第三人称控制 agent 走到目的地。我们希望在这种方式下,可以在同样的场景中,捕捉到人类真实的反应以及可能选择的路线。
▲ 标注界面
以下是我们数据集的展示:
在我们的设定中,标注者会先观察 4.8 秒时间(如下图中的黄色路线),然后就可以控制 agent 走到目的地点。整个标注过程限时 10.4 秒,然后如果跟其他 agent 碰撞到的话会要求重新标注。
标注完成后,我们在 3D 模拟器中选择多个摄像头位置和角度进行数据录取,可以模拟一般的 45 度角监控视频的角度,也有头顶的无人机视频角度。我们甚至可以使用不同的天气状况和光照条件。
整个数据集,代码,以及 3D assets 都已经开源,详见我们的 Github repo [4]。里面包含了一个详细的建立这个数据集的 tutorial,对 3D 视觉和模拟器感兴趣的同学可以尝试一下。
▲ 我们提供了一个简单易用的场景可视化编辑工具
我们的新模型:The Multiverse Model
We propose a multi-decoder framework that predicts both coarse and fine locations of the person using scene semantic segmentation features.
▲ The Multiverse Model for Multi-Future Trajectory Prediction
History Encoder computes representations from scene semantics
Coarse Location Decoder predicts multiple future grid location sequences by using beam search
Fine Location Decoder predicts exact future locations based on the grid predictions
Our model achieves STOA performance in the single-future trajectory prediction experiment and also the proposed multi-future trajectory prediction on the Forking Paths Dataset.
▲ Single-Future Trajectory Prediction. The numbers are displacement errors and they are lower the better. For more details see [1].
▲ Multi-Future Trajectory Prediction on the Forking Paths Dataset. The numbers are displacement errors and they are lower the better. For more details see [1].
Qualitative analysis with the popular Social-GAN [2] model:
▲ Qualitative comparison. The left column is from the Social-GAN [2] model. On the right it is our Multiverse model. The yellow trajectory is the observed trajectory and the green ones are the multi-future trajectory ground truth. The yellow-orange heatmaps are the model outputs.
回到前面的例子,你的预测对了吗?
项目网站:
https://next.cs.cmu.edu/multiverse/
参考文献
[1] Liang, Junwei, Lu Jiang, Kevin Murphy, Ting Yu, and Alexander Hauptmann. “The garden of forking paths: Towards multi-future trajectory prediction.” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. [Dataset/Code/Model]
[2] Gupta, Agrim, Justin Johnson, Li Fei-Fei, Silvio Savarese, and Alexandre Alahi. “Social gan: Socially acceptable trajectories with generative adversarial networks.” In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.
[3] http://carla.org/
[4] https://github.com/JunweiLiang/Multiverse
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
???? 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
???? 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
CVPR 2020 开源论文 | 多种可能性行人未来路径预测相关推荐
- 21岁华人本科生,凭什么拿下CVPR 2020最佳论文提名?
金磊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 在训练神经网络的时候,经常会出现「缺数据」的情况. 这时候,就需要「数据增强」来获取更多数据.而近几年,镜像反转成了最为常用的方法之一. 转 ...
- AAAI 2020 开源论文 | 一种针对图嵌入模型的受限黑盒对抗攻击框架
AAAI(人工智能促进协会年会)是人工智能领域的顶级国际会议之一.今年的 AAAI 2020 是第 34 届,于 2 月 7 日至 12 日在美国纽约举行.今年,第 3 次参会的腾讯 AI Lab 共 ...
- 后浪“95”获 CVPR 2020 最佳论文,前得主这样解读
来源 | AI TIME 论道 CVPR 2020已落下帷幕,共计投稿6656篇,录用1470篇,涵盖的方向包括目标检测.目标跟踪.图像分割.人脸识别.姿态估计.三维点云.视频分析.模型加速.GAN. ...
- radioml2018数据集_7 Papers Radios | CVPR 2020获奖论文;知识蒸馏综述
机器之心 & ArXiv Weekly Radiostation 参与:杜伟.楚航.罗若天 本周的重要论文是CVPR 2020 公布的各奖项获奖论文,包括最佳论文和最佳学生论文等. 目录: K ...
- CVPR 2020 最佳论文解读:无需任何监督,即可重建三维图像
作者 | 陈大鑫.蒋宝尚 编辑 | 丛末 我有一张二维照片,能让它变成三维图像么?可以,当前的一些3D电影相册工具,给图片加一个相框也能形成动态效果. 另外,用PS软件,进行一步.两步.三步等等操作后 ...
- WWW 2020 开源论文 | 异构图Transformer
论文标题:Heterogeneous Graph Transformer 论文来源:WWW 2020 论文链接:https://arxiv.org/pdf/2003.01332.pdf 代码链接:ht ...
- CVPR 2020满分论文 | FineGym:面向细粒度动作分析的层级化高质量数据集
机器之心发布 作者:邵典等 本文介绍了一个大规模.高质量.层级化标注的细粒度人体动作数据集「FineGym」,研究者来自香港中文大学,目前这项研究已被 CVPR 2020 接收为 oral 论文. 论 ...
- AAAI 2020 开源论文 | 语义感知BERT(SemBERT)
作者丨张倬胜 学校丨上海交通大学硕士生 研究方向丨自然语言理解 本文从计算语言学角度,提出使用显性语义角色信息来改善深度语言模型的建模性能,将语义角色标注用于机器阅读理解和推理任务中,提供更加丰富和精 ...
- 速览!CVPR 2020 最新论文
本文转载自CSDN博主「wujianming_110117」的原创文章,遵循CC4.0 BY-SA版权协议. 计算机视觉三大顶会之一CVPR2020接收结果已经公布,一共有1470篇论文被接收,接收率 ...
最新文章
- 阿里云发布新一代CDN 6.0 主打云与大数据融合
- php pdf 文字水印图片,php pdf添加水印(中文水印,图片水印)
- mybatis plus 使用函数_这些Mybatis-Plus使用技巧,太火了
- SQL Server 连接超时案例一则
- HTML第二课——css
- 【转】.NET Remoting
- 单片机定时器实验两位倒计时秒表_51单片机基础与应用8天速成(三)
- 备忘:SharePoint默认的欢迎WebPart中超链接样式
- 大数据之-Hadoop3.x_MapReduce_自定义outputformat案例mapperreducer---大数据之hadoop3.x工作笔记0122
- 一个PHP程序员应该掌握的10项技能!【更新】
- mysql更新语句使用order by
- java读取ifc文件_IFC文件解析
- 星外、云谷、ZKEYS系统大比拼,哪个比较好用
- 手机测试的主要测试内容
- kubesphere K8S Kubeedge 安装配置菜鸟级指导
- oracle 行转列后列名,Oracle 多行转多列,列值转为列名
- w10投影全屏设置_教你win10连接投影仪显示比例不正常的解决教程
- 集束搜索(Beam Search Algorithm )
- 【软件测试】与【硬件测试】到底有何不同?
- 冰河凭什么能够顺利拿下三个软考高级证书?有什么技巧(诀窍)吗?
热门文章
- php中的div是什么意思,div是什么意思?div标签怎么用
- HTTP、TCP、UDP,Socket,HTTPS
- Maven命令行使用:mvn clean package(打包)
- Form表单插件jquery.form.js
- mysql 事务 视图 存储过程 触发器
- html樱花飘落代码_爱心飘落特效
- python中的列表生成式_生成器中的列表推导式
- oracle 保留一个记录吗,笔记:Oracle查询重复数据并删除,只保留一条记录
- bin文件用cad打开_dwg文件怎么打开?CAD看图,360°精确识别CAD图块,细节见真章...
- springboot 增加prometeus监控