神经网络中快速傅立叶变换(FFT)的梯度传递

最近需要在神经网络中构造复数酉矩阵做权重系数,使用了快速傅立叶变换和反变换.
但是FFT不是theano的现成操作模块(有人写过对应的代码,所以应该会很快加进去了),所以想自己去写梯度传递来彻底搞清楚这件事.
重新学一遍离散Fourier transform再加找梯度相关的文献学习,整整花了一周时间.从本科一毕业DFT就忘光了...
在此总结了下,不得不说推倒的结果出来以后,真是出乎意料的漂亮,所以实现起来更是异常简单.

傅立叶变换是线性变换.所以可以写成F(x)=Fx的形式, F是复矩阵,x是向量.
如果是实数,根据d/dx (Ay)=A * d/dx (y). 大白话说,矩阵F乘向量x这种运算的雅可比矩阵(雅可比矩阵是函数的一阶偏导数以一定方式排列成的矩阵)就是F矩阵本身.
雅可比矩阵乘以输出端梯度就可以由F和向量的乘法实现了.
ok,拓展到复数领域,用的是F的共轭转置,这里有个简单的例子大概理解一下https://math.stackexchange.com/questions/828689/complex-function-and-jacobian-matrix.
然而傅立叶变换矩阵不只如此,傅立叶变换矩阵F本身是个按比例(1/sqrt(N))缩放过的酉矩阵(scaled unitary matrix),其逆矩阵就是其共轭转置的1/N, 具体的请看多伦多大学的论文证明11页23式(http://www.cs.toronto.edu/~jepson/csc320/notes/fourier.pdf)
这么一来,求傅立叶变换的梯度反向传播,就是用傅立叶逆变换完成.注意,我们乎略1/N这个比例系数.因为如果把傅立叶变换矩阵用sqrt(N)缩放一下编成酉矩阵的话,比例系数就是1了.
反之,傅立叶逆变换的梯度反向传播,就是用傅立叶变换了来实现了.
奇妙~!

参考:

斯坦福大学快速傅立叶变换课堂视频 http://open.163.com/movie/2008/2/A/L/M7Q4BLENR_M7QDNTVAL.html

傅立叶变换的在线教程 http://fourier.eng.hmc.edu/e161/lectures/fourier/fourier.html

西电DFT与FFT课件 http://web.xidian.edu.cn/kywang/files/20121027_164737.pdf

酉矩阵 https://zh.wikipedia.org/wiki/%E9%85%89%E7%9F%A9%E9%98%B5

谷歌群组的讨论 https://groups.google.com/forum/#!topic/theano-dev/ZqSf3lBH89U

神经网络中快速傅立叶变换(FFT)的梯度传递相关推荐

快速傅立叶变换fft_使用快速傅立叶变换fft从气候数据中提取季节性模式
快速傅立叶变换fft Meteorology students hardly experience smooth and expeditious data analysis. When comes t ...
快速傅立叶变换(FFT)的海面模拟
快速傅立叶变换(FFT)的海面模拟在这篇文章中,我们将根据Tessendorf的论文[1]中的方程来实现统计波浪模型,以模拟海洋水. 使用快速傅立叶变换,我们将能够实现实时交互的帧速率.以下提供两 ...
快速傅立叶变换(FFT)算法(原来这就是蝶形变换)
快速傅立叶变换(FFT)算法(原来这就是蝶形变换) 为了实现FFT的海面模拟,不得不先撸个FFT算法实现. 离散傅立叶变换(DFT) 学习FFT之前,首先要先了解什么是DFT,我们都知道傅立叶变换是将 ...
JavaScript实现快速傅立叶变换FFT算法（附完整源码）
JavaScript实现快速傅立叶变换FFT算法(附完整源码) radianToDegree.js完整源代码 ComplexNumber.js完整源代码 bitLength.js完整源代码 fastF ...
如何使用计算机实现fft,快速傅立叶变换(FFT)的计算机实现..doc
快速傅立叶变换(FFT)的计算机实现. 信号与系统课程设计 --FFT的计算机实现快速傅里叶变换(FFT)的计算机实现赖智鹏华中科技大学电气与电子工程学院0809班U200811806 Emai ...
第一次邂逅快速傅立叶变换(FFT)
为了毕业设计,我要学习JPEG,还有视频压缩技术,在JPEG的时候,我就被前面的DCT给挡住了,现如今我终于写了一个FFT程序,发了我好长的时间.如果说是因为我的无知,还是什么,我对学习这类有关数学的 ...
【快速傅立叶变换fft数论变换ntt学习小记】
概述 fft(快速傅立叶变换)是用来解决多项式乘法的nlog(n)算法,它的主要思想是先把多项式的多项式表达法转化成若干个二维点对(x,y)(点值),把相同x的y乘起来(计算),最后利用这些点对计算出 ...
Opencv学习笔记 - 使用快速傅立叶变换(FFT)检测图像清晰度
通常的图像清晰度检测大都是计算sobel.拉普拉斯算子的方差,不过大多数时候,拉普拉斯算子方法需要进行大量的手动调整,才能定义图像是否被视为模糊.如果您可以控制照明条件,环境和图像捕获过程,则效果很好 ...
为什么要进行傅立叶变换？傅立叶变换究竟有何意义？如何用Matlab实现快速傅立叶变换？
https://www.douban.com/note/164400821/ 写在最前面:本文是我阅读了多篇相关文章后对它们进行分析重组整合而得,绝大部分内容非我所原创.在此向多位原创作者致敬!!! ...

神经网络中快速傅立叶变换(FFT)的梯度传递

神经网络中快速傅立叶变换(FFT)的梯度传递相关推荐

最新文章

热门文章