Swin Transformer

https://arxiv.org/abs/2103.14030

优点

brings greater efficiency with linear complexity by limiting self-attention computation to non-overlapping local windows while also providing a cross-window bridge. Lower complexity means lower latency and less resource, thus allowing a more efficient implementation in general hardware and handling high resolution image.
hierarchical feature maps, solve the problem that image scale can vary which not exists in nlp because tokens are almost fixed.
speed-accuracy tradeoff method , but linear complexity compared to ViT’s quadratic.
to make a backbone to cv as transformer to nlp
a step toward It author’s belief that a unified architecture across computer vision and natural language processing could benefit both fields
对edge small windows cyclic shift 替代了small window padding，没有多余的窗口，提高了效率。而且是均匀、对称的。
在某些模型（MLP-Mixer）上同时提高速度和降低内存

缺点

作者的unified model（多模态）构想没有实现，这篇论文的价值只是个技术验证作用
pytorch built-in function is not well-optimized
丢弃了nlp transformer的global attention，肯定有损失

缺点&改进

这是作者的图

其中边角这块使用的是cyclic shift算的

根据卷积核的思想，图片的特征主要是跟相邻的pixel有关，绿圈的几个区块算attention权值都挺小，意义不大。去掉试试？由于是hierachy结构，去掉也许能直接省掉1/4的时间，感觉精度可能受的影响较小?

即只对右图中的三个蓝色部分进行计算

而且去掉之后四个角还是有办法过来计算相互之间的attention的

可能过来的代价比较大

kaggle论文阅读相关推荐

九月学习笔记（FM、一些论文阅读、代码）
目录 2020.09.16 FM 因子分解机 2021.09.18 论文阅读 Interactive Recommender System via Knowledge Graph-enhanced R ...
论文阅读工具ReadPaper
对于搞科研的同学们来说,看论文是要经历的第一关,尤其是要读好多篇论文的时候,更是着实令人头大. 这不,最近无意中发现了个在线论文阅读网站:readpaper.com,号称「论文阅读笔记神器,硕博科研学 ...
多目标跟踪：CVPR2019论文阅读
多目标跟踪:CVPR2019论文阅读 Robust Multi-Modality Multi-Object Tracking 论文链接:https://arxiv.org/abs/1909.03850 ...
快速人体姿态估计：CVPR2019论文阅读
快速人体姿态估计:CVPR2019论文阅读 Fast Human Pose Estimation 论文链接: http://openaccess.thecvf.com/content_CVPR_201 ...
Action4D：人群和杂物中的在线动作识别：CVPR209论文阅读
Action4D:人群和杂物中的在线动作识别:CVPR209论文阅读 Action4D: Online Action Recognition in the Crowd and Clutter 论文链接 ...
深度学习点云语义分割：CVPR2019论文阅读
深度学习点云语义分割:CVPR2019论文阅读 Point Cloud Oversegmentation with Graph-Structured Deep Metric Learning 摘要本 ...
3D目标检测论文阅读多角度解析
3D目标检测论文阅读多角度解析一．前言 CNN(convolutional neural network)在目标检测中大放异彩,R-CNN系列,YOLO,SSD各类优秀的方法层出不穷在2D图像的目标 ...
3D目标检测论文阅读摘要
3D目标检测论文阅读摘要 2D Object Detection 的研究已经非常成熟了,代表作品有RPN系列的FasterRCNN,One Shot系列的YOLOv1-YOLOv3,这里推荐一个2D ...
目标检测——Faster R-CNN论文阅读
论文阅读--Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks 文章目录论文阅读--Faste ...

kaggle论文阅读

文章目录

Swin Transformer

优点

缺点

缺点&改进

kaggle论文阅读相关推荐

最新文章

热门文章