机器学习中向量函数的求导问题

在机器学习算法的学习过程中，经常会遇到对向量函数的求导问题，阅读一些文章之后，对于机器学习算法中经常用到的这些求导问题做一些说明，方便在不明白的时候可以进行查询。

（一）对标量求导
1)向量对标量求导，结果是个向量事实上就是向量的每一个元素对标量求导。举个例子，对于 $y(x) = (y_1,\cdots,y_n)$ ，其中 $x$ 是个标量， $\frac{\partial y}{\partial x} = (\frac{\partial y_1}{\partial x}, \cdots, \frac{\partial y_n}{\partial x})$
2)矩阵对标量求导，结果是个矩阵事实上也就是矩阵的每一个元素对标量求导。对于矩阵 $Y(x) = (y_{ij})$ , $\frac{\partial Y(x)}{\partial x} = (\frac{\partial y_{ij}}{\partial x})$
（二）对向量求导
1) 标量对向量求导，结果是向量事实上这就是所谓的Gradient，即对于一般标量函数 $f(x)$ ,其中 $x = (x_1,\cdots,x_n)$ , $\frac{\partial f}{\partial x} = \left(\frac{\partial f}{\partial x_1} ,\cdots, \frac{\partial f}{\partial x_n} \right)$ ，有时候也记为为 $\nabla f$ .
2) 向量对向量求导，结果是矩阵这个当然也是gradient，当然这准确的说应该叫matrix gradient. 即对于向量值函数 $f(x)$ ,其中 $x = (x_1,\cdots,x_n)$ , $f = (f_1,\cdots,f_m)$ $\nabla f = \frac{\partial f}{\partial x} = \frac{\partial f^T}{\partial x} = \left[\frac{\partial f_1}{\partial x},\cdots,\frac{\partial f_m}{\partial x} \right ] = \left[ \begin{array}{ccc} \frac{\partial f_{1}}{\partial x_1} & \cdots & \frac{\partial f_{m}}{\partial x_1} \\ \vdots& \ddots & \vdots \\ \frac{\partial f_{1}}{\partial x_n} & \cdots & \frac{\partial f_{m}}{\partial x_n} \\ \end{array} \right]$ 另外在实际运算中还会出现 $\partial f /\partial x^T = (\nabla f)^T$ ,这个也被叫做是f的Jacobian.

机器学习中向量函数的求导问题相关推荐

机器学习中的矩阵求导的一点总结（三种方法求线性回归最佳参数）
机器学习中的矩阵求导的一点总结(三种方法求线性回归最佳参数) 转载于:https://blog.csdn.net/promisejia/article/details/80159619?ops_req ...
【机器学习中的矩阵求导】（七）矩阵向量化复习
学习总结 (1)矩阵乘法. Vec⁡(ABC⁡)=(C⊤⊗A)Vec⁡(B)\operatorname{Vec}(\operatorname{ABC})=\left(\mathbf{C}^{\top} ...
向量转置的怎么求导_机器学习中的向量求导和矩阵求导
在机器学习的各种关于向量或者矩阵的求导中,经常会出现各种需要转置或者不需要转置的地方,经常会看得人晕头转向.今天我对机器学习中关于这部分的常识性处理方法进行整理并记录下来方便大家参考. 一些约定首先 ...
【机器学习中的矩阵求导】（六）Jacobian矩阵和Hessian矩阵
学习总结 (0)回顾矩阵向量化,和克罗内克积的主要运算法则. (1)梯度向量是雅克比矩阵的特例. (2)Hessian矩阵是梯度向量g(x)对自变量x的Jacobian矩阵,描述了函数的局部曲率. ...
机器学习中矩阵向量求导
以下内容是根据刘建平的求导博客做的相关笔记一.导数的定义与布局 1. 相关说明 2.导数布局导数部分有分子布局和分母布局两种情况. 分子布局和分母布局相差一个转置. 标量对向量求导布局向量对向量 ...
Batch Normalization函数详解及反向传播中的梯度求导
摘要本文给出 Batch Normalization 函数的定义, 并求解其在反向传播中的梯度相关配套代码, 请参考文章 : Python和PyTorch对比实现批标准化Batch Normal ...
如何用matlab算导数曲线,excel 曲线求导_excel怎样对表格中数据进行求导
怎样在两个EXCEL表中导数值用VLOOKUP函数. 举例:看图片上的例子 =VLOOKUP(E2,A:B,2,0) 这个公式的含义是,E2就是你说的表1上的名称这个单元格,A:B就是2表中的两列, ...
python矩阵求导代码_搞点枯燥的公式推导：深度学习中的矩阵求导
最近看到一篇极视角转的文章算法推导核心!一次性梳理清楚,是时候搞定矩阵求导了!,想到前不久面试爱奇艺的时候一面的小哥一直让我手推全连接的公式推导,以及用Python+Numpy将过程实现,感觉自己对深 ...
神经网络中的矩阵求导及反向传播推导
两层全连接神经网络的实现, 包括网络的实现.梯度的反向传播计算和权重更新过程: # -*- coding: utf-8 -*- import numpy as np# N is batch size; ...
latex导数_latex 中怎样打求导符号du/dx怎么打
展开全部第一2113步:打开latex. 第二步:找到"symbol"选5261项,点击"a".4102 第三步:输入:$\frac{\mathrm{d}f} ...

机器学习中向量函数的求导问题

机器学习中向量函数的求导问题相关推荐

最新文章

热门文章