各种梯度算法总结 + Total Variation

本来想看MRI加速重建最新方向的文章，结果看到一篇加MRI速算法类的。发现里面很多被对比的经典梯度算法。顺便翻了翻高级工程数学，记录下。
一切方法皆源于梯度方法。

一阶导数法：

**
梯度方法
最速梯度方法（与梯度发的差别：最速即每次迭代的时候，步长也要一维线性求解，最优步长）

二阶导数法：

**
牛顿法**

修正过的牛顿法
下述方法修方向上的步长，解决牛顿法收敛震荡的问题。但是，不能解决F矩阵计算量大，和F可能不正定的问题。

修正搜索步长，解决局部震荡

修正F不正定的情况，仍然是牛顿法

下面还是梯度方法，更高级版的
共轭方向法
不用计算黑森矩阵F

什么是共轭

基本共轭算法：
共轭梯度法

修正版，不用计算黑塞矩阵
方法一：
方法二：
方法三：

拟牛顿法 ------- 不用计算黑塞矩阵
牛顿法缺陷一：为了解决局部震荡，找步长计算大
牛顿法缺陷二：黑塞矩阵计算，和逆黑塞矩阵计算量大

修正一：

修正二

修正三：

Total Variation
参考博文：
https://blog.csdn.net/weixin_42447651/article/details/82990941
以上就是各种基于梯度的方法，各种保证收敛的方法。
MRI重建除了要想速度，还想恢复的图像质量好，一般是以上的梯度法+保证质量的方法结合，比如Total Variation
TV理论上就可以最小化噪声。

结合用法见论文
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9174631

Total Variation(TV)的方程是这样的：
但是在图像中，连续域的积分就变成了像素离散域中求和，所以可以这么算：
也就是说，求每一个像素和横向下一个像素的差的平方，加上纵向下一个像素的差的平方。然后开β/2次根。

文中对β的取值有所描述。当β < 1时，会出现下图左侧的小点点的artifact。
当β > 1时，图像中小点点会被消除，但是代价就是图像的清晰度。

其实，这个效果最先来源于Nonlinear total variation based noise removal algorithms这篇论文。Rubin等人在1990年左右观察到受噪声污染的图像的TV比无噪图像的总变分明显的大[1]。那么最小化**TV理论上就可以最小化噪声。**至于从数学层面上的意义到底是什么，为什么算偏导数的平方，我也不明白。在这里，视频的发布者对于TV的直观理解有一个相对比较清晰地解释。

也就是说，图片中相邻像素值的差异可以通过降低TV loss来一定程度上解决。比如降噪，对抗checkerboard等等。