数学中的全微分(方程)，全导数(公式)，偏微分(方程)，梯度，斜率，导数，方向导数等

这几天突然想到了优化理论中的梯度下降算法，看到了几个名词，愣了一下，虽然之前本科学过，但是好久不复习，后面就只知道概念了，细节理解需要复习呀。。
回想下海森矩阵，雅克皮比列式等，以及(多远)函数求极值，数值解析，梯度的意义等等，其实数学才是深度学习中最重要的。。
数学中的全微分(方程)，全导数(公式)，偏微分(方程)，梯度，导数，方向导数，切线，斜率，射线，可导与连续，(多元)函数的积分与微分,高维空间，流行学习，核函数，参数方程，约束优化，组合优化等等很多东西其实相关的，这些基础其实很重要，要知其然，更要懂它的意义。

梯度就是用来确定因变量对于自变量的敏感程度的，其指向最快上升的方向，一元函数只有正负(自变量坐标轴)，二元函数有梯度矢量，导数，方向导数只是数值，不谈方向，且倒是一般特指一元函数，多元函数常常指全微分，偏微分，复合函数还要讲全导数，切线以及切线的斜率是已经确定了直线或者曲线，来画切线，或者切线的斜率(在原函数上)，在一元函数与二元函数中意义有所差别(斜率，导数与方向导数，含切向量自变量区域非直线切割类型)，一元函数就是一条线，很简单，一个导数就完事，但多元函数可以有很多方向(方向导数，切线，斜率等)，但都只有一个梯度，指向因变量变化最快的方向(高维指向，超过三维感觉已经想象不出来了。。)。

明确几个概念：

1.偏导数
代数意义
偏导数是对一个变量求导,另一个变量当做数
对x求偏导的话y就看作一个数,描述的是x方向上的变化率
对y求偏导的话x就看作一个数,描述的是y方向上的变化率
几何意义
对x求偏导是曲面z=f(x,y)在x方向上的切线
对y求偏导是曲面z=f(x,y)在x方向上的切线
这里在补充点.就是因为偏导数只能描述x方向或y方向上的变化情况,但是我们要了解各个方向上的情况,所以后面有方向导数的概念.
2.微分
偏增量：x增加时f(x,y)增量或y增加时f(x,y)
偏微分：在detax趋进于0时偏增量的线性主要部分
detaz=fx（x,y）detax+o(detax)
右边等式第一项就是线性主要部分,就叫做在（x,y）点对x的偏微分
这个等式也给出了求偏微分的方法,就是用求x的偏导数求偏微分
全增量：x,y都增加时f(x,y)的增量
全微分：根号(detax方+detay方）趋于0时,全增量的线性主要部分
同样也有求全微分公式,也建立了全微分和偏导数的关系
dz=Adx+Bdy 其中A就是对x求偏导,B就是对y求偏导
希望楼主注意的是导数和微分是两个概念,他们之间的关系就是上面所说的公式.概念上先有导数,再有微分,然后有了导数和微分的关系公式,公式同时也指明了求微分的方法.
3.全导数
全导数是在复合函数中的概念,和上面的概念不是一个系统,要分开.
u=a(t),v=b(t)
z=f[a(t),b(t)]
dz/dt 就是全导数,这是复合函数求导中的一种情况,只有这时才有全导数的概念.
dz/dt=(偏z/偏u)(du/dt)+(偏z/偏v)(dv/dt)
建议楼主在复合函数求导这里好好看看书,这里分为3种情况.1.中间变量一元就是上面的情况,才有全导数的概念.2.中间变量有多元,只能求偏导 3.中间变两有一元也有多元,还是求偏导.
对于你的题能求对x的偏导数,对y的偏导数,z的全微分,不能求全导数
如果z=f(x^2,2x) 只有这种情况下dz/dx才是全导数!

深度学习记住两点：

全导数公式与链式法则，解决所有求导问题。

其实这么些个理论，不想要牢记，大家需要看看的时候，可以多百度，查查书籍，好好理解一下，做到心中有数，会用就行了。

重点参考：

https://my.oschina.net/u/3053883?tab=newest&catalogId=6041940
https://blog.csdn.net/kwame211/article/details/78553627
http://www.sohu.com/a/313838368_120115175