【论文笔记】《SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval》

《SketchMate:面向百万级人类草图检索的深度哈希算法》论文阅读笔记

写在前面：水平有限，此笔记仅在本人有限的理解水平上完成，有错误希望读者批评指正。
论文和代码见网址：https://paperswithcode.com/paper/sketchmate-deep-hashing-for-million-scale

本文首次提出了一个用于草图检索的深度哈希框架，来适配数百万级别的尺度的人体草图数据集。与传统的草图识别任务不同，本文引入了草图哈希检索的新问题，不仅更具挑战性，而且为大规模草图分析提供了更好的实验平台:1、需要更细粒度的草图特征学习，以适应风格和抽象的巨大变化，2、一个紧凑的二进制代码需要学习的同时，以使有效的检索。
本文1、采用两分支CNN-RNN结构来探索笔画的时间顺序，2、专门设计了一种新的散列损失来适应的时间和抽象特征的草图。

本文的主要贡献有三个：
1、首次在一个数百万尺度的人体草图数据集上引入草图哈希检索问题，并提出一种直接适应人体草图关键特征的深度哈希网络。
2、提出了一种新的多分支CNN-RNN结构，它专门编码草图的时序信息，以学习更细粒度的特征表示。
3、设计了一种新的散列损失以适应草图的抽象性质，特别是在噪声也存在的大数据集上。

本文提出的双分支CNN_RNN模型如下图：

如上所示，该模型由三个子模块构成：
1、CNN编码器接受光栅像素素描并转换到一个高维空间;
2、RNN编码器接受矢量草图和输出其最后的时间步长状态
3、两分支最后在一个后期融合层融合

首次提出了草图中心损失：
1、首先分别对CNN-RNN进行草图识别的预训练，然后利用我们的完整模型进行微调，两者都只考虑softmax交叉熵损失
2、基于预训练的模型，对该类的去噪草图，通过计算散列特征fn的均值，得到类特征中心Cyn。
3、草图中心损失定义为：

通过这样做，在最后的微调阶段，为每个类使用固定的中心进行端到端训练，从而在每次训练迭代中提供有意义的梯度，根据经验发现，在这种特定于草图的中心损失下，性能有显著提升。

本文提出的基于多阶段预训练的深度草图哈希模型算法如下：

其中，K代表N个可能跨越L个类别的样本对，每个样本对包含光栅像素空间的草图Pn和相应的草图段序列Sn，y是他们各自的标签，
用到的损失如下：

K的L way softmax交叉熵损失Lcel:

Wj是量化编码层与L way softmax输出之间的权值W的第j列，bj_hat是偏差b_hat的第j项。

草图中心损失Lscl,上面已经介绍过了。

全部损失Lfull:

其中的两个系数，用来控制相应损失的相对重要性
Lqt为量化损失

fn为图片的哈希特征，bn为图片的哈希码。

【论文笔记】《SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval》相关推荐

论文笔记之Understanding and Diagnosing Visual Tracking Systems
Understanding and Diagnosing Visual Tracking Systems 论文链接:http://dwz.cn/6qPeIb 本文的主要思想是为了剖析出一个跟踪算法中到 ...
《Understanding and Diagnosing Visual Tracking Systems》论文笔记
本人为目标追踪初入小白,在博客下第一次记录一下自己的论文笔记,如有差错,恳请批评指正!! 论文相关信息:<Understanding and Diagnosing Visual Tracking ...
论文笔记Understanding and Diagnosing Visual Tracking Systems
最近在看目标跟踪方面的论文,看到王乃岩博士发的一篇分析跟踪系统的文章,将目标跟踪系统拆分为多个独立的部分进行分析,比较各个部分的效果.本文主要对该论文的重点的一个大致翻译,刚入门,水平有限,如有理解错 ...
目标跟踪笔记Understanding and Diagnosing Visual Tracking Systems
Understanding and Diagnosing Visual Tracking Systems 原文链接:https://blog.csdn.net/u010515206/article/d ...
追踪系统分模块解析（Understanding and Diagnosing Visual Tracking Systems）
追踪系统分模块解析(Understanding and Diagnosing Visual Tracking Systems) PROJECT http://winsty.net/tracker_di ...
ICCV 2015 《Understanding and Diagnosing Visual Tracking Systems》论文笔记
目录写在前面文章大意一些benchmark 实验实验设置基本模型数据集实验1 Featrue Extractor 实验2 Observation Model 实验3 Motion Mod ...
Understanding and Diagnosing Visual Tracking Systems
文章把一个跟踪器分为几个模块,分别为motion model, feature extractor, observation model, model updater, and ensemble po ...
CVPR 2017 SANet:《SANet: Structure-Aware Network for Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做SANet.作者在论文中提到,CNN模型主要适用于类间判别,对于相似物体的判别能力不强.作者提出使用RNN对目标物体的self-structure进行建模,用于提 ...
ICCV 2017 UCT:《UCT: Learning Unified Convolutional Networks forReal-time Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做UCT.就像论文题目一样,作者提出了一个基于卷积神经网络的end2end的tracking模型.模型的整体结构如下图所示(图中实线代表online trackin ...
CVPR 2018 STRCF:《Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文提出的模型叫做STRCF. 在DCF中存在边界效应,SRDCF在DCF的基础上中通过加入spatial惩罚项解决了边界效应,但是SRDCF在tracking的过程中要使用 ...

【论文笔记】《SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval》

《SketchMate:面向百万级人类草图检索的深度哈希算法》论文阅读笔记

【论文笔记】《SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval》相关推荐

最新文章

热门文章