文献阅读笔记10——ECA注意力机制
0 写在前面
第一部分内容更针对于精度的提升，第二部分就需要找到一些方法针对速度的提升。
1 ECA注意力机制
天津大学在2020CVPR发表的一篇文章
1.1 Abstract+Conclusion
- 目的：提高深度卷积网络的性能，并克服性能和复杂性之间权衡矛盾。
- 挑战：复杂的注意力机制增加了模型的复杂性。
- 提出了一种高效的通道注意力机制（ECA）
- 作用：涉及少量参数，同时带来明显的性能增益
- 灵感来源：SENet
- 原理：避免降维对于学习通道注意力很重要，适当的跨通道交互可以在显著降低复杂性的同时保持性能
- 提出了一种无降维的局部交叉信道交互策略，策略可以通过一维卷积有效实现。
- 提出了一种自适应选择一维卷积核大小的方法，以确定局部交叉通道交互的覆盖范围。
1.2 Contributions
- 避免维度缩减和适当的跨通道互动
- ECA在明显改进的同时，不增加模型复杂度
- 对比现有技术具有更低的模型复杂度
文献阅读笔记10——ECA注意力机制相关推荐
- 【知识图谱】本周文献阅读笔记（3）——周二 2023.1.10：英文）知识图谱补全研究综述 + 网络安全知识图谱研究综述 + 知识图谱嵌入模型中的损失函数 + 图神经网络应用于知识图谱推理的研究综述
声明:仅学习使用~ 对于各文献,目前仅是泛读形式,摘出我认为重要的点,并非按照原目录进行简单罗列! 另:鉴于阅读paper数目稍多,对paper内提到的多数模型暂未细致思考分析.目的是总结整理关于KG ...
- 文献阅读笔记：EvolveGraph: Multi-Agent Trajectory Prediction with Dynamic Relational Reasoning
文献阅读笔记 摘要 1 引言 2 相关工作 3 Problem formulation 4 EvolveGraph 5 Experiments 6 结论 EvolveGraph: Multi-Agen ...
- 《基于区块链技术的虚假新闻检测方法》文献阅读笔记+总结
<基于区块链技术的虚假新闻检测方法>文献阅读笔记+总结 关键词:区块链.智能合约.虚假新闻.新闻网站.博弈论 来源 题目 时间 作者 中国学术期刊网络版 <基于区块链技术的虚假新闻检 ...
- POI推荐文献阅读笔记3：Predicting Human Mobility via Graph Convolutional Dual-attentive Networks
POI推荐文献阅读笔记3: Predicting Human Mobility via Graph Convolutional Dual-attentive Networks 1.摘要 2.贡献 3. ...
- 文档资源推荐 研究生如何做文献阅读笔记（强力推荐！！！）
转自:http://www.soudoc.com/bbs/viewthread.php?tid=9056542&extra=&page=1 研究生如何做文献阅读笔记? 说实在的,我自己 ...
- 文献阅读笔记----TieNet: Text-Image Embedding Network
文献阅读笔记----TieNet: Text-Image Embedding Network for Common Thorax Disease Classification and Reportin ...
- TCP’s Congestion Control Implementation in Linux Kernel 文献阅读笔记
TCP's Congestion Control Implementation in Linux Kernel 文献阅读笔记 作者:Somaya Arianfar Aalto University S ...
- 文献阅读笔记-CSC-数据集-A Hybrid Approach to Automatic Corpus Generation for Chinese Spelling Check
A Hybrid Approach to Automatic Corpus Generation for Chinese Spelling Check 文献阅读笔记 论文相关信息: EMNLP-201 ...
- 文献阅读笔记：Smart Homes that Monitor Breathing and Heart Rate
文献阅读笔记:Smart Homes that Monitor Breathing and Heart Rate Fadel Adib Hongzi Mao Zachary Kabelac Dina ...
最新文章
- 什么是安全测试?哪些阶段需要安全测试?
- pandas 排序 给excel_懂Excel轻松入门Python数据分析包pandas(二十五)：循环序列分组...
- NGUI创建Camera参数为Simple 2D的UI UI对象的结构UI Root(2D)
- AWS — AWS 上的 NFV
- 微软亚洲研究院等提出CNN训练新方法RePr，准确率显著提升
- 关于XML文档操作类
- oracle 11gr2 bbed 安装,oracle11gR2 安装bbed工具
- 使用Spring Data R2DBC进行异步RDBMS访问
- leetcode 1035. 不相交的线（dp）
- ASP.NET中数据有效性校验的方法
- python生成验证码_python之验证码生成(gvcode与captcha)
- Flask WTForm表单的使用
- Objective-c格式化输出格式
- VSFTPD实战02_需求
- ajax静态加载图片,JQuery实现Ajax加载图片的方法
- nacos动态配置数据源_Spring Cloud 系列之 Alibaba Nacos 配置中心
- C语言程序设计谭浩强第五版复习梳理3
- python中控脚本_ZKTime-Py
- WPF开发之解决程序调用自定义dll库在部分win7电脑上无法运行的情况
- windows10 LTSC版本 安装应用商店及聚焦屏保