Abstract

RGB和红外源数据再RGBT跟踪中有着相同的挑战——如何探索利用这些数据来表达目标外观。

本文提出了一个挑战感知(challenge-aware)的网络处理模态共享(modality-shared)(如快速移动,尺度变化和遮挡)和模态特有(如光照变化和热交叉)的挑战。

具体地,在每个层中都设计了几个参数共享的分支来建模模态共享挑战中的目标外观,和几个参数独立的分支来建模模态特有挑战中的目标外观。由于模态特有的信息经常包含了补充的优势,本文提出了一个指引模块(guidance module)从一个模态中转移鉴别式的特征到另一个模态中,其有助于增强弱模态的鉴别能力。此外,所有的分支都以自适应的方式聚合在一起并并行地嵌入在骨干网络中以形成更有鉴别能力的目标表达。

这些挑战感知的分支可以建模目标外观在训练数据不足的情况下。实验结果显示本方法以实时的速度跟踪并在3个benchmark数据集上实现了最好的效果。

1. Introduction

引入RGBT问题:RGBT跟踪的任务是在仅给定第一帧中目标初始位置时,使用RGB和红外信息的互补优势来估计连续帧中指定目标的状态。最近,由于RGBT跟踪在所有天气情况下的潜在优势在变得越来越流行。尽管RGBT跟踪已经实现了许多突破,由于各种挑战(光照变化,热交叉和遮挡等)其仍然未被完全解决。

现存的RGBT方法:从简单的加权混合到稀疏表达到深度学习技术。其中深度学习技术可分为三类:

  1. 多模态表达&

[RGBT-VOT3](2020ECCV)CAT:Challenge-Aware RGBT Tracking相关推荐

  1. tensorflow sigmoid 如何计算训练数据的正确率_量化训练:Quantization Aware Training in Tensorflow(一)...

    本文的内容包括对神经网络模型量化的基本介绍.对Tensorflow量化训练的理解与上手实操. 此外,后续系列还对量化训练中的by pass和batch norm两种情况进行补充解释,欢迎点击浏览,量化 ...

  2. 论文阅读:Semantic Aware Attention Based Deep Object Co-segmentation(ACCV2018)

    协同分割论文:Semantic Aware Attention Based Deep Object Co-segmentation(ACCV2018) 论文原文     code 目录 1.简介 2. ...

  3. 【论文阅读5】BoT-SORT:Robust Associations Multi-Pedestrian Tracking

    [论文阅读5]BoT-SORT:Robust Associations Multi-Pedestrian Tracking 和OC-SORT类似,BoT-SORT也是对Kalman滤波进行改进.OCS ...

  4. 解决问题:There is no tracking information for the current branch

    目录 一.问题 二.解决方法 方法一 方法二 方法三 一.问题 执行 git pull 遇到如下报错提示: There is no tracking information for the curre ...

  5. 论文精读:Asynchronous, Photometric Feature Tracking using Events and Frames(IJCV 2019)

    前言 这篇文章的方法是利用传统的frame对图像做初始化,然后在event上面进行跟踪. 论文地址:Asynchronous, Photometric Feature Tracking using E ...

  6. 3.1 cat:合并文件或查看文件内容

    cat 命令 可以理解为英文单词concatenate的缩写,其功能是连接多个文件并且打印到屏幕输出,或者重定向到指定的文件中.此命令常用来显示单个文件内容,或者将几个文件内容连接起来一起显示,还可以 ...

  7. 茅塞顿开:Spring Aware原理解析

    问题 为什么被Spring管理的类.只要实现了Aware接口.Spring就会自动把对应的对象注入进来.这个bean如果想要使用直接使用就可以了.如下: Spring会自动把ApplicationCo ...

  8. 复旦大学桂韬:Uncertainty—Aware Sequence Labeling

    不到现场,照样看最干货的学术报告! 嗨,大家好.这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频--足 ...

  9. 【VLN阅读报告8:History Aware Multimodal Transformer for Vision-and-Language Navigation】

    History Aware Multimodal Transformer for Vision-and-Language Navigation 一,介绍 1.1 之前的工作有哪些问题 1.2 本文怎么 ...

最新文章

  1. 定时登录下载sftp服务器上的某些有规则的文件
  2. 一个量子物理学家是怎样研究 AI 的? | 8月书讯
  3. 单片机串行通信全解析
  4. 1052. 爱生气的书店老板
  5. 营销获客场景下的个人类业务要件分析
  6. 李彦宏:百度今年全员涨薪,比去年还多;谷歌暂停Chrome浏览器更新;Eclipse 4.15发布 | 极客头条...
  7. 计算机科学工学,2016考研工学类专业介绍:计算机科学与技术
  8. uni-app uniCloud 开发实践 ,天气预报,小程序,h5,app ,001章
  9. tftp 速度_PXE网络启动实战(第三篇 使用iPXE来提高PE启动速度)
  10. m1芯片 服务器,M1芯片相当于什么水平 苹果M1芯片相当于英特尔什么芯片
  11. 在vs2010中运行guge.cpp(SkeletonDepth)的时候程序是网上的,可是总是提示我没有KinectUNI.lib。
  12. 北京有两个百度,李彦宏只有一个陆奇
  13. 基于近似计算的同态加密方案CKKS17----实现库介绍
  14. 从 Go log 库到 Zap,怎么打造出好用又实用的 Logger
  15. 右中秋夜大观园即景联句三十五韵
  16. 【JavaSE】java8 新特性
  17. docker国内镜像拉取和镜像加速registry-mirrors配置修改
  18. 数据结构与算法笔试题吐血整理
  19. 桥梁倾斜摄影模型,无人机桥梁检测建模
  20. 整流桥的工作原理是什么?什么是全桥?什么是半桥?

热门文章

  1. 关于comsol“LU因式分解时内存不足“的一些解决建议
  2. 电商项目商品详情页架构设计
  3. Paddle-NEAT——飞桨进化神经网络组件
  4. 成都东软学院2016年ACM冬季校赛正式赛 - 题解
  5. POSTER: A PU Learning based System for Potential Malicious URL Detection
  6. 论文学习笔记 SIMC: ML Inference Secure Against Malicious Clients at Semi-Honest Cost
  7. 高等数学竞赛题解析教程P26 - 例1.52(浙江2008竞赛题)
  8. 6-27 实验9_7_设计函数int getVowel(char str[],char vowel[]); (100 分)
  9. DevExpress控件汉化类 z
  10. 关闭tcp连接时有时发送FIN有时发送RST