深度学习中的高阶特征
- 由于自己研究方向为基于高阶的图像分类,故在这里对相关论文做一个简单的划分和总结。
- 按照计算高阶的层,位于卷积神经网络的位置划分,可以分为:
- 网络末端
- 网络中部
2022-05-24 update
- (CVPR 2022) Deep Brownian Distance Covariance for Few-Shot Classification Project | code | pdf
网络末端
B-CNN(ICCV 2015)
MPN-COV(Matrix Power Normalization covariance pooling)(ICCV 2017)
- 这篇工作主要是着眼于大规模的数据集情况下,使用高阶信息。如果只看方法图的话,也比较容易理解,但是因为要考虑到End-To-End,所以高阶特征的反向传播,需要自己推导,因为这个深度学习框架目前没有实现。
- 后续工作:Fast-MPN(CVPR 2018) 通过 iterative matrix square root normalization method 实现在GPU上快速地计算SVD或者EIG.
G2^22DeNet
- 这篇主要工作是对feature map做高斯特征建模,说着比较简单,但是真要实现起来,也是面临和上面一样的问题,要想能End-To-End训练,必须要解决反向传播的问题,这个问题都可以追溯到DeepO2_22P,这篇工作可是说是计算矩阵的SVD或者EIG在神经网络的开山之作,里面公式较多,感兴趣的可以去看看。
- 后续工作: Global Gated Mixture of Second-order Pooling for Improving Deep Convolutional Neural Networks (NeurIPS 2018) 采用多个高斯模型来对特征进行建模。
网络中部
SORT: Second-Order Response Transform for Visual Recognition(ICCV 2017)
Global Second-order Pooling Convolutional Networks(CVPR 2019)
最近顶会看高阶
ICCV 2019
Mixed High-Order Attention Network for Person Re-Identification
Second-order Non-local Attention Networks for Person Re-identification
- 该工作主要结合Non-local attention和second order做re-identification,可以更加有效地对long-range relationships建模
- 主要方法框架为:
CVPR 2019
Second-order Attention Network for Single Image Super-Resolution
- 如果仔细阅读论文,就会发现所有的操作是无比的熟悉
深度学习中的高阶特征相关推荐
- 深度学习入门及高阶经典课程、教程等资源合集(长期整理)
深度学习资料 经典课程 MIT 图分析 yale 图统计推断 standford 机器学习 stanford 机器学习系统设计 stanford 实用机器学习 纽约大学深度学习2020 吴恩达深度学习 ...
- 推荐系统8---FNN、DeepFM与NFM(FM在深度学习中的身影重现)
1,前言 Wide&Deep模型开启深度学习时代的组合模型之后,后面的模型都是在Wide&Deep的基础上进行各种方式的模型组合,以应对不同的模型任务.从大的角度看,模型的改进方向主要 ...
- 卷积在深度学习中的作用(转自http://timdettmers.com/2015/03/26/convolution-deep-learning/)...
卷积可能是现在深入学习中最重要的概念.卷积网络和卷积网络将深度学习推向了几乎所有机器学习任务的最前沿.但是,卷积如此强大呢?它是如何工作的?在这篇博客文章中,我将解释卷积并将其与其他概念联系起来,以帮 ...
- 卷积在深度学习中的作用
转自 http://www.mamicode.com/info-detail-2340306.html 卷积可能是现在深入学习中最重要的概念.卷积网络和卷积网络将深度学习推向了几乎所有机器学习任务的 ...
- 深度学习中交叉熵_深度计算机视觉,用于检测高熵合金中的钽和铌碎片
深度学习中交叉熵 计算机视觉 (Computer Vision) Deep Computer Vision is capable of doing object detection and image ...
- 网络安全初、中、高阶学习路线图,建议收藏!
网络安全技术学路线图(初阶) Web安全 二进制安全 渗透测试 密码学 软件的安全生命周期 代码审计 安全产品基础知识 web安全 渗透测试&密码学 二进制安全 网络安全技术学习路线图(中阶) ...
- yolo-mask的损失函数l包含三部分_【AI初识境】深度学习中常用的损失函数有哪些?...
这是专栏<AI初识境>的第11篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 今天来说说深度学习中常见的损失函数(loss),覆盖分类,回归任务以及生成对抗网络,有了目 ...
- 【AI初识境】深度学习中常用的损失函数有哪些?
这是专栏<AI初识境>的第11篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 今天来说说深度学习中常见的损失函数(loss),覆盖分类,回归任务以及生成对抗网络,有了目 ...
- 【AI白身境】深度学习中的数据可视化
文章首发于微信公众号<有三AI> [AI白身境]深度学习中的数据可视化 今天是新专栏<AI白身境>的第八篇,所谓白身,就是什么都不会,还没有进入角色. 上一节我们已经讲述了如何 ...
最新文章
- 青少年蓝桥杯_2020_steam考试_中级组_第三题
- mysql的错误代码1064_mysql错误代码之1064的解决方案
- [ES6] 细化ES6之 -- ECMA6是什么
- Delphi 与 DirectX 之 DelphiX(94): TDIB.DrawAdditive();
- 《python源代码分析》笔记 pythonVM一般表达式
- 奋战聊天机器人(二)语料和词汇资源
- 搭建安卓开发环境 GIT配色 terminator SecureCRT source insight Notepad++安装
- VFIO代码分析(3)VFIO-PCI驱动2
- 我只是一只大本钟[铛铛铛]
- 网易互娱2022校园招聘在线笔试 -《魔塔》
- css中的单位换算_关于网页中pt和px的单位换算!
- 部署(Discuz!论坛系统) 建论坛库
- 高内聚 松耦合 高扇入 低扇出
- 【BZOJ】3956 Count 单调栈+ST表
- C语言扫雷游戏(简易版)
- 通用型RS485通讯电池监测模块的功能及应用方案
- linux文件列表的理解,如何深刻理解 Linux 上的文件列表和排序?
- Java计算机毕业设计视频点播系统演示录像源码+系统+数据库+lw文档
- Vue结合天地图(天地图API)Gis开发
- 用LCD1602实现简单的数字时钟
热门文章
- 深度学习入门及高阶经典课程、教程等资源合集(长期整理)