偏导，方向导数以及梯度的理解

最初的疑惑

在梯度的Wiki 上对梯度在三维空间，直角坐标系下的梯度表示为
∇ = ∂ f ( x , y , z ) ∂ x ∗ i ⃗ + ∂ f ( x , y , z ) ∂ y ∗ j ⃗ + ∂ f ( x , y , z ) ∂ z ∗ k ⃗ \nabla = \frac{\partial{f(x, y, z)}}{\partial{x}}*\vec{i}+\frac{\partial{f(x, y, z)}}{\partial{y}}*\vec{j}+\frac{\partial{f(x, y, z)}}{\partial{z}}*\vec{k} ∇=∂x∂f(x,y,z)∗i +∂y∂f(x,y,z)∗j +∂z∂f(x,y,z)∗k
为什么梯度是由函数 f ( x , y , z ) f(x, y ,z) f(x,y,z)在每个方向上的偏导乘以向量然后相加呢？

希望回答的问题

梯度是什么？

梯度是怎么来的？

梯度怎么表示？

梯度为什么这么表示？

为什么梯度的反方向是函数值下降最快的方向？

梯度是什么？

梯度是个向量，在某个点的梯度定义有两部分组成：1）梯度的方向：在当前点函数值增长最快的方向 2）梯度的值：函数在当前点最大的增长率 ∣ ∇ f ∣ |\nabla{f}| ∣∇f∣。

从这个描述当中我们可以把最初的疑惑，分解为两个问题

为什么上面的向量表示的方向是函数值增长最快的方向

为什么这个向量表示的长度为最大的增长率

梯度是怎么来的？

为了回答以上的问题，我们需要知道梯度是怎么来的，这是我们需要引入方向导数。

方向导数的定义：假设 f f f为 R n R^n Rn上的函数，且包含某个区间 D D D， P 0 P_0 P0为 D D D上的一个点， l ⃗ \vec{l} l 为一个非零向量，如果极限
lim ⁡ t → 0 f ( P 0 x 1 + l x 1 t , P 0 x 2 + l x 2 t , . . . ) − f ( P 0 x 1 , P 0 x 2 , . . . ) t \lim_{t \to 0}\frac{f(P_{0x1} + l_{x1}t, P_{0x2} + l_{x2}t, ...) - f(P_{0x1}, P_{0x2}, ...)}{t} t→0limtf(P0x1+lx1t,P0x2+lx2t,...)−f(P0x1,P0x2,...)
存在，则此极限为 f f f在方向 l ⃗ \vec{l} l 上的方向导数 ∂ f ∂ l \frac{\partial{f}}{\partial{l}} ∂l∂f

为什么需要方向导数呢，其实我们可以注意到梯度的方向为函数值增加最快的方向，那么就有增加没那么快的方向，这些没那么快的方向是什么呢？很明显，就是某一个方向导数的方向。其实梯度的方向也是包含在这个某个点的所有方向导数内的，也就是说梯度的大小只是一个特别的方向导数的值，梯度的方向就是那个特殊的 l ⃗ \vec{l} l 。也就是说梯度是从方向导数来的。

梯度怎么表示？

就如最开始的疑惑中提到的，在三维空间，直角坐标系下的梯度是由函数 f ( x , y , z ) f(x, y ,z) f(x,y,z)在每个方向上的偏导乘以向量然后相加
∇ = ∂ f ( x , y , z ) ∂ x ∗ i ⃗ + ∂ f ( x , y , z ) ∂ y ∗ j ⃗ + ∂ f ( x , y , z ) ∂ z ∗ k ⃗ \nabla = \frac{\partial{f(x, y, z)}}{\partial{x}}*\vec{i}+\frac{\partial{f(x, y, z)}}{\partial{y}}*\vec{j}+\frac{\partial{f(x, y, z)}}{\partial{z}}*\vec{k} ∇=∂x∂f(x,y,z)∗i +∂y∂f(x,y,z)∗j +∂z∂f(x,y,z)∗k
更为一般化的说，梯度就是函数在各个维度的偏导组成的向量 [ ∂ f ∂ x 1 , ∂ f ∂ x 2 , . . , ∂ f ∂ x 3 ] [\frac{\partial{f}}{\partial{x_1}}, \frac{\partial{f}}{\partial{x_2}},..,\frac{\partial{f}}{\partial{x_3}}] [∂x1∂f,∂x2∂f,..,∂x3∂f]

梯度为什么这么表示？

梯度的表示方式是由一个和方向导数有关的定理确定的：

如果函数 f f f在 P 0 P_0 P0处可微(注意不是极限存在)，向量 l ⃗ \vec{l} l 的方向余弦为 c o s α 1 , c o s α 2 , c o s α 3 , . . . , c o s α n cos\alpha_1,cos\alpha_2,cos\alpha_3,...,cos\alpha_n cosα1,cosα2,cosα3,...,cosαn，则函数在 P 0 P_0 P0处方向 l ⃗ \vec{l} l 的方向导数为：
∂ f ∂ l ∣ P 0 = ∂ f ∂ x 1 ∣ P 0 ∗ c o s α 1 + ∂ f ∂ x 2 ∣ P 0 ∗ c o s α 2 + . . . ∂ f ∂ x n ∣ P 0 ∗ c o s α n \frac{\partial{f}}{\partial{l}}\vert_{P_0}=\frac{\partial{f}}{\partial{x_1}}\vert_{P_0}*cos\alpha_1+\frac{\partial{f}}{\partial{x_2}}\vert_{P_0}*cos\alpha_2+...\frac{\partial{f}}{\partial{x_n}}\vert_{P_0}*cos\alpha_n ∂l∂f∣P0=∂x1∂f∣P0∗cosα1+∂x2∂f∣P0∗cosα2+...∂xn∂f∣P0∗cosαn
注：方向余弦是一个单位向量，处于 f f f在 P 0 P_0 P0处的切面上，可以想象在此平面有无数个方向余弦。

首先注意可微这个条件，这个条件比极限存在范围更小，也就是说在某些可以用定义求梯度，但是不能通过这个定理求出梯度。其次在注意，这里面出现了每个方向的导数，和我们最开始的有疑问的表示方式有点像了，只不过这个导数表示的是个标量。同时，我们可以注意到这个方向导数可以表示为
∂ f ∂ l ∣ P 0 = [ ∂ f ∂ x 1 ∣ P 0 , ∂ f ∂ x 2 ∣ P 0 , . . , ∂ f ∂ x 3 ∣ P 0 ] T [ c o s α 1 , c o s α 2 , . . , c o s α n ] \frac{\partial{f}}{\partial{l}}\vert_{P_0} = [\frac{\partial{f}}{\partial{x_1}}\vert_{P_0}, \frac{\partial{f}}{\partial{x_2}}\vert_{P_0},..,\frac{\partial{f}}{\partial{x_3}}\vert_{P_0}]^T[cos\alpha_1, cos\alpha_2,..,cos\alpha_n] ∂l∂f∣P0=[∂x1∂f∣P0,∂x2∂f∣P0,..,∂x3∂f∣P0]T[cosα1,cosα2,..,cosαn]
如果 g ⃗ = [ ∂ f ∂ x 1 ∣ P 0 , ∂ f ∂ x 2 ∣ P 0 , . . , ∂ f ∂ x 3 ∣ P 0 ] \vec{g}=[\frac{\partial{f}}{\partial{x_1}}\vert_{P_0}, \frac{\partial{f}}{\partial{x_2}}\vert_{P_0},..,\frac{\partial{f}}{\partial{x_3}}\vert_{P_0}] g =[∂x1∂f∣P0,∂x2∂f∣P0,..,∂x3∂f∣P0] 而且 l ⃗ = [ c o s α 1 , c o s α 2 , . . , c o s α n ] \vec{l}=[cos\alpha_1, cos\alpha_2,..,cos\alpha_n] l =[cosα1,cosα2,..,cosαn]根据余弦定理我们有
∂ f ∂ l ∣ P 0 = ∣ ∣ g ⃗ ∣ ∣ ∗ ∣ ∣ l ⃗ ∣ ∣ ∗ c o s θ \frac{\partial{f}}{\partial{l}}\vert_{P_0} =||\vec{g}||*||\vec{l}||*cos{\theta} ∂l∂f∣P0=∣∣g ∣∣∗∣∣l ∣∣∗cosθ
由此可知，当方向余弦和偏导向量的夹角为0°时，方向导数最大，且这个值为 ∣ ∣ g ⃗ ∣ ∣ ||\vec{g}|| ∣∣g ∣∣，所以我们可以回答前面的分解问题

为什么偏导数组成的向量的方向是梯度方向？
因为方向导数最大的方向余弦是和偏导数组成的向量方向相同的，又因为我们知道让方向导数的值最大的方向余弦是梯度方向，所以偏导数组成的向的方向是梯度方向。

为什么梯度的值是偏导数组成的向量的大小？
因为当 θ \theta θ为0°时， c o s θ = 1 cos\theta=1 cosθ=1而且已知 ∣ ∣ l ⃗ ∣ ∣ = 1 ||\vec{l}||=1 ∣∣l ∣∣=1，所以
∂ f ∂ l ∣ P 0 = ∣ ∣ g ⃗ ∣ ∣ \frac{\partial{f}}{\partial{l}}\vert_{P_0} =||\vec{g}|| ∂l∂f∣P0=∣∣g ∣∣

为什么梯度的反方向是函数值下降最快的方向

根据梯度的定义：梯度的方向是函数值上升最快的方向。所以梯度的反方向就是函数值下降最快的方向。