【Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method】

【ShuffleMixer: An Efficient ConvNet for Image Super-Resolution】

【A Close Look at Spatial Modeling: From Attention to Convolution 】

【DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention 】

【DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation】

【Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method】

代码链接：https://github.com/TaoWangzj/LLFormer

主要创新点：设计了Axis Multi-Head Self-Atention，常规计算Attention的方式是逐像素去计算，时间复杂度为O(HW*HW)，有一些论文会转换为计算通道维度的注意力计算，比如Restormer，时间复杂度可以降低到O(C*C)，这种方式可以，但是本人觉得更多偏向于了通道维度，对于一些应用场景下，还是避不开需要去计算空间维度的注意力，本文感觉最大的idea就是设计了将H和W两者分开计算，串联实现的想法。

通过上图可以看到，以2*3的空间输入为例，Heights Axis方面计算得到的QKV矩阵均是2*2的，而Width Axis计算的QKV则是3*3的，整体上的时间复杂度就变成了O(H*H+W*W)，确实是可以实现时间复杂度降维，目前不太确定这种方式的实现效果是否会比常规O(HW*HW)的效果好一些，但是感觉在计算Height和Width维度上的时候不可避免的会造成信息损失，但由于使用的结构是级联式Transformer结构，可以将这些损失降到最低通过不断堆积Transformer Block。

还有双门控FFN和Layer Attention，其实都是较为常见的已有工作。

【ShuffleMixer: An Efficient ConvNet for Image Super-Resolution】

主要创新点：这个比较有意思的点在我看来就是Shuffle Mixer Layer中的Channel Projection，其实关于Shuffle的操作有很多，这个将特征进行通道维度的打散，然后随机去计算权重，通过两次Channel Projection将通道恢复，从而可以实现更强的特征融合和表征能力，提高模型的鲁棒性。

【A Close Look at Spatial Modeling: From Attention to Convolution 】

主要创新点：Transformer通常需要计算QKV从而计算出Self-Attention，这个步骤需要很大的算力，本文提出了一种新的想法去避开QKV去计算出相似性矩阵，CHW特征矩阵和经过pool操作后的矩阵相乘得到，有意思的是设计的Competitive Information Bottleeneck模块，设计了竞争机制。

【DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention 】

主要创新点：设计了一种Unet形式的网络架构，主要创新点的DEAB模块里边使用了CGA(Content-Guided Attention)，看起来很强具有全局的注意力，实现方式其实就是使用了CBAM和Shuffle Channel。

其实可以发现很多论文都使用了Shuffle Channel的操作，目前想法是能不能将Shuffle Channel的操作加入到多模态中进行融合增强呢？

【DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation】

主要创新点：主要是在计算注意力(QKV)的时候进行了归一化K和V，使得时间复杂度降低，并且与传统的Dot-Product Attention相比，不是通过Q和K计算相似性矩阵（时间复杂度为O(N*N)），再与V进行乘法（时间复杂度为O(N*dv)），而是通过转置，先计算经过归一化后的K和V，计算Global Context Vector（时间复杂度为O(dk*dv)）。

注：以上仅个人观后的想法，若有不足，请及时指出，欢迎大家讨论学习！

20230210组会论文总结相关推荐

周志华组最新论文提出“溯因学习”，受玛雅文字启发的神经逻辑机
假设你在踢足球,球来了,你把球传给队友,"传球"这一个动作,实际上涉及两种不同的思维过程. 首先,你需要意识到脚下有个球,相当于识别(感知):其次,你需要判断把球传给哪个队友,这是 ...
【icyle】组会论文分享编写：从Markdown到Latex
组会论文的编写:从Markdown到Latex Markdown:简单高效,有时候有点bug,但够用就行食用方法需要下载的软件需要安装的vscode插件 pandoc设置导出pdf文件 Lat ...
20230210组会总结
文章目录 Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method Shu ...
《Transformers with Attentive Federated Aggregation for Time Series Stock Forecasting》2023.3.17组会论文记录
第二次组会了,实验室同门看的都是时间序列股票预测,我也想找这个方向的,这次从知乎上搜到了如何查找会议论文,链接网址放这防止丢了<如何找到高质量的会议期刊> 从里面找了个CCF的C类会议,从 ...
【组会论文记录】2021/3/24（CReST、SELF、SelNLPL、Class-Balanced Loss、Solve PDE with DNN）
本系列文章意在记录组会上同学分享文章的idea,大部分我没有仔细读过,仅供参考本周五篇文章 [CVPR2019][类别不均衡问题][全监督]:Class-Balanced Loss Based on ...
Nat Rev Genet发表房刚组细菌表观组综述论文
本文经授权转载自微信公众号BioArt本文经授权转载自微信公众号BioArt本文经授权转载自微信公众号BioArt 本文经授权转载自微信公众号BioArt, 责编丨迦溆表观遗传学在基因调控中起到重 ...
何恺明组新论文：只用ViT做主干也可以做好目标检测
来源:机器之心本文约3100字,建议阅读5分钟 arXiv上上传了一篇新论文,证明了将普通的.非分层的视觉 Transformer 作为主干网络进行目标检测的可行性. 做目标检测就一定需要 FPN ...
论文阅读：左超大佬组的论文Multimodal super-resolution reconstruction of infrared and visible images via deep lear
论文:通过深度学习对红外线和可见光图像进行多模态超分辨率重建摘要: 本文提出了一种基于解码器结构的基于深度学习的红外可见图像融合方法.图像融合任务被重新定义为一个维持红外-可见光图像的结构和强度比的 ...
[组会论文]CAIL 2018
CAIL 2018 CAIL 2018 CAIL 2018 1.Task Introduction 2.Dataset Construction and Analysis 3. Evaluation ...

20230210组会论文总结

【Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method】

【ShuffleMixer: An Efficient ConvNet for Image Super-Resolution】

【A Close Look at Spatial Modeling: From Attention to Convolution 】

【DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention 】

【DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation】

20230210组会论文总结相关推荐

最新文章

热门文章