Positive Sample Propagation along the Audio-Visual Event Line（2021CVPR）

一、重要概念

1、AVE（Audio-Visual Event）视听事件

视觉和音频信号通常在自然环境中共存，形成视听事件。通常指在视频片段中既可听到又可看到事件，即，声源出现在图像中（可见），而声源也存在于音频部分（可听见）。如下图所示。

2、AVC（Audio-visual correspondence）视听通信

视听通信的模型通常是用来判断视频和音频的信号是否描述同一个对象，例如：狗汪汪、猫喵喵。这是一个自我监督问题，因为视觉图像通常伴随着相应的声音。现有的方法试图通过测量视听相似性来评估对应关系，如果视听对是对应的，则会得到较大的相似性分数，否则会得到较低的分数。这促使我们通过考虑视听相似性来解决视觉定位问题中丰富的视听对。

3、Sound source localization（声源定位）

旨在定位与提供的音频信号相关的视觉区域，视觉框架的目标区域必须与给定的声音相对应。从这个角度来看，这与AVC任务类似，但声源定位的真正挑战是在一个视觉框架中有多个声源时准确定位发声器。现有的对声源定位的方法都需要构建正视听对样本和负视听对样本。由于在AVE定位中很容易获得相似的正样本和负样本，根据音频和视频片段是否描述同一事件，我们尝试研究这些音频和视频对，并探索其效果。

4、Audio-visual event localization（视听事件定位）

旨在将包括视听活动的片段与长视频区分开来。现有方法主要集中在视听融合的过程。

二、Contribution

给定一个视频，我们的目标是定位包含一个AVE的视频片段并确定其类别。为了学习到辨识度更高的特征，识别有用（或积极）的视听片段对，同时过滤掉不相关的片段对是非常重要的。为此，我们提出了一个新的正样本传播（PSP）模块，通过评估每个可能的音频-视频对之间的关系来发现和利用密切相关的音频-视频对。它可以通过在每个音频和视频片段之间构建一个全对相似度图来实现，并且只聚合具有高相似度的对中的特征。为了鼓励网络为正样本提取高度相关的特征，提出了一种新的视听对相似性损失方法。我们还提出了一种新的加权分支，以更好地利用弱监督环境中的时间相关性。

三、Method

三、追加学习知识点

视频特征提取、卷积神经网络及几种经典卷积神经网络、以

音频为导向的视觉注意力机制、Bi-LSTM

Positive Sample Propagation along the Audio-Visual Event Line（2021CVPR）相关推荐

Visual Studio 调试（Dubug）模式下的“未定义标识符”
原文:https://blog.csdn.net/pijk55556/article/details/60969091 Visual Studio 调试(Dubug)模式下的"未定义标识符& ...
如何使用Visual studio C++（VC++）编译C？图解，详！！！
如何使用Visual studio C++(VC++)编译C?图解,详!!! 之前在网上找过关于这方面的东西,但是一直都没有看到有详细步骤的, 众里寻他千百度,综合各个网友的提示,自己写了个完整的配置 ...
使用 Visual Studio Code （VSCODE）写 C51 （持续更新 2018-04-09）
Keil C51 那代码编辑器就是上一个时代的产物, 不适合现代人使用. 但是用 Visual Studio Code (VSCODE)就舒服多了. 但需要安装和配置一些扩展: 按 Ctrl + Sh ...
input回车触发事件_JavaScript学习笔记（十五）-- Event事件（上）
EVENT(上) 之前我们简单的了解过一些事件,比如 onclick / onload / onscroll / ... 今天开始,我们详细的学习一些事件什么是事件一个事件由什么东西组成触发谁 ...
解决visual studio换行（回车键）不能代码补全问题
解决visual studio换行(回车键)不能代码补全问题参考文章: (1)解决visual studio换行(回车键)不能代码补全问题 (2)https://www.cnblogs.com/xi ...
VC++中多线程学习(MFC多线程)三（线程同步包含：原子互锁、关键代码段、互斥器Mutex、Semaphores（信号量）、Event Objects（事件））
目录线程同步的必要性: 2.解决同步问题的方法 2.1原子互锁家族函数 2.2Critical Sections(关键代码段.关键区域.临界区域) 2.3 互斥器Mutex ...
Visual Studio Code（VS）
Visual Studio Code(VS) 文章目录 Visual Studio Code(VS) 介绍安装插件快捷键修改介绍 Visual Studio Code(简称VS Code)是M ...
Microsoft Visual Studio 2010（VS2010）秘钥
Microsoft Visual Studio 2010(VS2010)正式版 CDKEY / SN: YCFHQ-9DWCY-DKV88-T2TMH-G7BHP 企业版.旗舰版
论文笔记：Large-Scale Embedding Learning in Heterogeneous Event Data（HEBE）
Large-Scale Embedding Learning in Heterogeneous Event Data(HEBE) 本来我想把论文关键点写一些的,但是上网搜了一下,发现一个小姐姐写的非常 ...

Positive Sample Propagation along the Audio-Visual Event Line（2021CVPR）

Positive Sample Propagation along the Audio-Visual Event Line（2021CVPR）相关推荐

最新文章

热门文章