Deep TEN: Texture Encoding Network

纹理特征，材料分类（Material Classification），在MINC-2500、Flickr Material Database、KTH-TIPS-2b、4D-Light-Field-Material、GTOS上state-of-the-art（2017年）。

思想主要来源是：传统图片分类方法都是提取人工设计的特征（SIFT等）然后使用BOW进行编码，再用SVM进行分类，后面BOW被VLAD、Fisher Vector编码替换并融合CNN特征可以达到sota的效果。然而这样的方法有缺点，就是编码和特征的学习并不是end-to-end的，所以作者设计了一个learnable residual encoding layer。作者还提到一般的CNN的方法虽然在图片分类和物体识别上有比较好的效果，但是在纹理识别上表现并不理想，给出的理由是：

``` recognizing textures needs for a spatially invariant representation describing the feature distributions instead of concatenation ```

这篇论文的主要贡献：

1. learnable residual encoding layer。能够生成鲁棒的残差编码例如（VLAD和Fisher Vector），能接收任意的输入分辨率，并且生成固定长度的特征表示，这种编码方式非常适合pretrained feature的迁移。关于该层的一个后向传播可以看论文的附录A，给了很清楚的推导。一个前向计算如下公式：

2.将feature extraction, dictionary learning, encoding 融合成一个end-to-end的形式。

整个网络模型结构：

开源代码：

Pytorch：https://github.com/zhanghang1989/PyTorch-Encoding-Layer

FisherVector的教程：http://www.vlfeat.org/api/fisher-fundamentals.html

VLAD的教程：http://www.vlfeat.org/api/vlad-fundamentals.html

转载于:https://www.cnblogs.com/Key-Ky/p/7183748.html

Deep TEN: Texture Encoding Network相关推荐

论文阅读 Deep TEN: Texture Encoding Network
1.Introduction 说实话和作者的context encoding那篇有点重了的感觉作者将字典学习和编码融合到一个模型里面了 inherent的视觉字典是从损失中直接学习出来的整个的表示 ...
论文笔记：Person Re-identification with Deep Similarity-Guided Graph Neural Network
Person Re-identification with Deep Similarity-Guided Graph Neural Network 2018-07-27 17:41:45 Paper: ...
【图像超分辨率】Learning Texture Transformer Network for Image Super-Resolution
论文地址:http://openaccess.thecvf.com/content_CVPR_2020/papers/Yang_Learning_Texture_Transformer_Network ...
（TTSR）Learning Texture Transformer Network for Image Super-Resolution
中心提取: 1.该模型中提取Q.K.V的过程值得学习一下,他们使用的是:V自然就是参考图(Ref),用于辅助得到更好的纹理结果,Q是LR上采样图的特征(LR↑),K是参考图先下采样再上采样的特征(Re ...
论文Makeup Like a Superstar： Deep Localized Makeup Transfer Network（2016，妆容迁移，基于数据库匹配）
论文下载地址:https://arxiv.org/pdf/1604.07102.pdf 演示粉底,唇彩,眼影的迁移,模型可扩展到其它化妆品的迁移,可控制妆容的轻薄程度.端到端的深度卷积神经网络(基于数 ...
[IJCAI2016]Makeup Like a Superstar: Deep Localized Makeup Transfer Network
标题:Makeup Like a Superstar: Deep Localized Makeup Transfer Network 链接:https://arxiv.org/pdf/1604.071 ...
【GANs】Deep Convolution Generative Adversarial Network
[GANs]Deep Convolution Generative Adversarial Network 3 DCGAN 3.1 简介 3.2 DGGAN实现 3 DCGAN Unsupervise ...
Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection
Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection 一,Overview 二,文本组件预测: ①首先每 ...
论文翻译：2020_DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement...
论文地址:DCCRN:用于相位感知语音增强的深度复杂卷积循环网络论文代码:https://paperswithcode.com/paper/dccrn-deep-complex-convolutio ...

Deep TEN: Texture Encoding Network

Deep TEN: Texture Encoding Network相关推荐

最新文章

热门文章