1.matrix derivative

2.trace operator

3.normal equation

特别感谢在线LaTeX生成器

2.1 Matrix derivative 

//这一节上的已经凌乱了……一点一点整理吧

　　首先，明确几个概念。

　　方向导数&梯度（滚混去看高数吧书上都有你上学期到底学了些屎）

　　　　定义就不说了，通俗的来说，方向导数是给定一个角度（或者一个单位向量e 表示为（cos a,cos b)a+b=pi/2）或者说方向，函数在该方向的导数。其值为函数在某方向的函数变化率，即单位长度下函数的改变量。可以使任意方向，所以一个函数上的一点有无数个方向导数。

　　　　梯度指的是方向导数中函数变化率最大的方向所对应的向量。其值为基底分别乘该方向的函数偏导相加（注意是向量不是标量）。

　　接着我们回到课堂内容吧。（课堂内容会比讲义详细一点，尽管字幕有可能会稍微的不准确）以下这段真的好难理解。（导数和梯度到底是什么关系啊）

　　J is a function of a vector of parameters theta,// J是系数theta向量的函数

　　define the derivative of the gradient of J with respect to theta //定义J关于theta的梯度里的每一个导数(梯度方向的导数)

　　as self of vector//它本身也是一个向量（列向量，每一个元素是J对于某方向的偏导）

　　and so this is going to be an (n+1) dimensional vector//这将是一个n+1维的向量 下标从0-n

　　导数是这个形式。

　　所以可以把梯度下降法写成如下形式：

　　　　theta := theta - alpha * gradient;（theta，gradient均为n+1维向量）

　　//所以现在可以明白，梯度可以表示成向量，每一个系数是函数在每一维度上的偏导，

　　//向量的导数即为向量的梯度

　　//给定一个函数J，表示为一个列向量[theta0,theta1,theta2,.....theta n]'（自变量为theta序列）(*[x0,x1,x2,....xn]=J，x为theta系数)，该向量的导数即为函数的导数，就是函数在每个方向上的偏导，即为函数对每个theta的偏导，即为向量（或者说函数）的梯度。

　　//注：视theta为向量，x为系数。

　　更普遍的来说，

　　已知函数f：Matrix->real number  ,f(A) A=R^m*n

　　so if you have a function ,F of A(N*N),

　　so this function is matched from matrices to real numbers,the function that takes this input to matrix

　　define the derivative with respect to F of the matrix A //定义关于A矩阵的函数F的导数 标记为 倒三角F(A)

　　输入的矩阵的梯度，是个矩阵，把它定义为矩阵……，所以关于f的导数 本身也是一个矩阵，矩阵中包含了f关于A的每个元素的偏导数（A的每个元素视为一个小矩阵）

　　so thes derivation of F with respect to A is itself a matrix,

　　and the matrix contains all the partial derivatives of F with respect to the elements of A

　　//现在还是有一个函数，更普遍的是，将上面的theta向量，改成矩阵，则矩阵的梯度就是……（导数矩阵）

　　//所以与其说是矩阵求导，不如说是关于矩阵的函数对矩阵的每一个元素求导，即对函数求导并表示成矩阵。

　　好的，这段结束。接下来是迹运算。

2.2 Trace operator

　　　1.basic equation:

　　for equation 

　　证明：

　　//不知道你们看懂了没有……反正我是没看懂……

　　//然而……过程中出现了一步矩阵乘矩阵的转置……虽然我还是没看懂……但是有人懂……链接

　　2.设f(A)=tr AB,则 应用上面的知识可得，f()对矩阵求导过程。

　　以d(tr(BX))/dX为例,B为m*n、X为n*m的矩阵.
　　　　1) 设B的第i,j个元素为bij,X的第i,j个元素为xij,则BX的第i,j个元素yjj为(k从1到n求和)bik*xkj.
　　　　2) 于是有tr(BX)为对BX的对角线上的元素,也就是第jj个元素yjj对j从1到n求和,也就是两层求和（分别将bjk*xkj对j和k）,将其看做xij的函数.
　　　　3) 对矩阵X求导,就是对矩阵X的每个元素xij求偏导,放到与X大小相同的矩阵的对应位置上.此时,我们令tr(BX)对xij求偏导.虽然前面求和求的很多,但tr(BX)中,与xij相乘的只有bji.因此,对xij求偏导得到的是bji.
　　　　4) 综上,d(tr(BX))/dX得到的矩阵的第i,j个元素是bji,也就是说,d(tr(BX))/dX的结果是B的转置.

2.3 Normal equation

　　//讲义已经很详细了，我就不赘述了。