为什么傅里叶变换可以代替自注意力机制

如下图所示，自注意力机制是序列本身和本身建立关系，
而傅里叶变换的实际思想是将一个函数也就是拆成多个简单的函数的组合
函数的个数是序列的个数，所以经过傅里叶变换后的序列。本身就是一个函数
也就是自注意力机制手动构造的二维自相关图。
傅里叶变换后序列的时序和相位序列的相关图，每个对角位置的相位能准确的代表原来序列的振幅，这么类似的结构应该是可以代替的吧。况且本身你那个自注意力机制组成的神经网络的意义也是按照自己意思和实验结果硬分析写上去的吧
总之待验证。

x=torch.angle(torch.fft.fft(x))

看这图是不是和注意力机制的图有点像
后期会进一步进行验证

为什么傅里叶变换可以代替自注意力机制相关推荐

傅里叶变换取代Transformer自注意力层，谷歌这项研究GPU上快7倍、TPU上快2倍
视学算法报道转载自:机器之心机器之心编辑部来自谷歌的研究团队表明,将傅里叶变换取代 transformer 自监督子层,可以在 GLUE 基准测试中实现 92% 的准确率,在 GPU 上的训练时 ...
神操作！傅里叶变换取代Transformer自注意力层
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:机器之心 AI博士笔记系列推荐周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接来 ...
深度学习基础学习-注意力机制（计算机视觉中）
在网上看到很多关于注意力机制的说明,下面自己总结一下.大佬绕道下面放几个文章的链接添深度学习中的注意力模型计算机视觉中的注意力机制图像处理注意力机制Attention汇总注意力机制详述注意 ...
计算机视觉中的注意力机制（Visual Attention）
,欢迎关注公众号:论文收割机(paper_reader) 原文链接:计算机视觉中的注意力机制(Visual Attention) 本文将会介绍计算机视觉中的注意力(visual attention)机 ...
各种注意力机制PyTorch实现
给出了整个系列的PyTorch的代码实现,以及使用方法. 各种注意力机制 Pytorch implementation of "Beyond Self-attention: External ...
机器翻译注意力机制及其PyTorch实现
前面阐述注意力理论知识,后面简单描述PyTorch利用注意力实现机器翻译 Effective Approaches to Attention-based Neural Machine Translat ...
自然语言推理：使用注意力机制
自然语言推理:使用注意力机制 Natural Language Inference: Using Attention 自然语言推理任务和SNLI数据集.鉴于许多模型都是基于复杂和深层架构的,Parik ...
多尺度注意力机制的语义分割
多尺度注意力机制的语义分割 Using Multi-Scale Attention for Semantic Segmentation 在自动驾驶.医学成像甚至变焦虚拟背景中,有一项重要的技术是常用的 ...
【深度学习】(8) CNN中的通道注意力机制（SEnet、ECAnet），附Tensorflow完整代码
各位同学好,今天和大家分享一下attention注意力机制在CNN卷积神经网络中的应用,重点介绍三种注意力机制,及其代码复现. 在我之前的神经网络专栏的文章中也使用到过注意力机制,比如在MobileN ...

为什么傅里叶变换可以代替自注意力机制

为什么傅里叶变换可以代替自注意力机制相关推荐

最新文章

热门文章