有限差分法在最优化问题中的应用

这个主题包含两篇文章

有限差分法在最优化问题中的应用（本文）
有限差分法在图像配准最优化中的应用

前言

通常情况下，图像处理或者计算机视觉中涉及到的最优化问题都有一个共同的特点：目标函数（objective）没有解析形式（analytical form）。也就是说，目标函数没有一个明确的函数表达式，我们不能直接解析地获得目标函数的导数或者偏导数。在这个情况下，我们一般使用有限差分（finite difference）来估计目标函数的导数。

本文首先通过一个简单的例子来解释如何利用有限差分法估计函数的导数，然后在第二篇文章中给出在图像配准中的实际应用。

例：用最速下降法解问题

m i n min min f ( x ) = 2 x 1 2 + x 2 2 f(\textbf x) = 2x_1^2+x_2^2 f(x)=2x12+x22

初点 x ( 1 ) = ( 1 , 1 ) T , e = 0.1 \textbf x^{(1)}=(1,1)^T, e = 0.1 x(1)=(1,1)T,e=0.1（终止误差）

1. 利用解析形式计算 f ( x ) f(\textbf x) f(x)在点 x \textbf x x处的梯度

∇ f ( x ) = [ ∂ f ( x ) ∂ x 1 , ∂ f ( x ) ∂ x 2 ] T \nabla f(\textbf x)=[\frac{\partial f(\textbf x)}{\partial x_1}, \frac{\partial f(\textbf x)}{\partial x_2}]^T ∇f(x)=[∂x1∂f(x),∂x2∂f(x)]T
目标函数 f ( x ) f(\textbf x) f(x)在点 x \textbf x x处的梯度 ∇ f ( x ) = [ 4 x 1 2 x 2 ] \nabla f(\textbf x)= \begin{bmatrix}4x_1 \\ 2x_2 \\ \end{bmatrix} ∇f(x)=[4x12x2].
令搜索方向 d ( 1 ) = − ∇ f ( x ( 1 ) ) = [ − 4 − 2 ] \textbf d^{(1)}=-\nabla f(\textbf x^{(1)})=\begin{bmatrix} -4 \\ -2 \\ \end{bmatrix} d(1)=−∇f(x(1))=[−4−2].

2. 利用有限差分估计 f ( x ) f(\textbf x) f(x)在点 x \textbf x x处的梯度

前向有限差分法
∂ f ( x ) ∂ x 1 = f ( x 1 + δ ) − f ( x 1 ) δ \frac{\partial f(\textbf x)}{\partial x_1}=\frac{f(x_1+\delta)-f(x_1)}{\delta} ∂x1∂f(x)=δf(x1+δ)−f(x1)
∂ f ( x ) ∂ x 2 = f ( x 2 + δ ) − f ( x 2 ) δ \frac{\partial f(\textbf x)}{\partial x_2}=\frac{f(x_2+\delta)-f(x_2)}{\delta} ∂x2∂f(x)=δf(x2+δ)−f(x2)
令 δ = 0.01 \delta=0.01 δ=0.01，得到
∂ f ( x ) ∂ x 1 = f ( 1.01 , 1 ) − f ( 1 , 1 ) 0.01 = 4.02 \frac{\partial f(\textbf x)}{\partial x_1}=\frac{f(1.01,1)-f(1,1)}{0.01}=4.02 ∂x1∂f(x)=0.01f(1.01,1)−f(1,1)=4.02
∂ f ( x ) ∂ x 2 = f ( 1 , 1.01 ) − f ( 1 , 1 ) 0.01 = 2.01 \frac{\partial f(\textbf x)}{\partial x_2}=\frac{f(1,1.01)-f(1,1)}{0.01}=2.01 ∂x2∂f(x)=0.01f(1,1.01)−f(1,1)=2.01
搜索方向 d ( 1 ) = − ∇ f ( x ( 1 ) ) = [ − 4.02 − 2.01 ] \textbf d^{(1)}=-\nabla f(\textbf x^{(1)})=\begin{bmatrix} -4.02 \\ -2.01 \\ \end{bmatrix} d(1)=−∇f(x(1))=[−4.02−2.01].