二次型x^TAx梯度(求导)推导过程

y=xTAxy=x^TAxy=xTAx,其中x是n维向量，A是n阶方阵，求dy/dxdy/dxdy/dx
记A=[aij]A=\left[a_{i j}\right]A=[aij].x∈Rn,x=(x1,…,xn)Tx \in \mathbb{R}^{n}, x=\left(x_{1}, \ldots, x_{n}\right)^{T}x∈Rn,x=(x1,…,xn)T, 则 y=∑i=1n∑j=1naijxixjy=\sum_{i=1}^{n} \sum_{j=1}^{n} a_{i j} x_{i} x_{j}y=∑i=1n∑j=1naijxixj
故
∂y∂xk=∑i≠k∂∂xk(∑j=1naijxixj)+∂∂xk(∑j=1nakjxkxj)=∑i≠k(∂∂xk(∑j≠kaijxixj)+∂∂xk(aikxixk))+∑j≠k∂∂xk(akjxkxj)+∂∂xk(akkxk2)=∑i≠k(0+aikxi)+∑j≠kakjxj+2akkxk=∑i=1naikxi+∑j=1nakjxj=(xTA)k+(Ax)k\begin{aligned} \frac{\partial y}{\partial x_{k}} &=\sum_{i \neq k} \frac{\partial}{\partial x_{k}}\left(\sum_{j=1}^{n} a_{i j} x_{i} x_{j}\right)+\frac{\partial}{\partial x_{k}}\left(\sum_{j=1}^{n} a_{k j} x_{k} x_{j}\right) \\ &=\sum_{i \neq k}\left(\frac{\partial}{\partial x_{k}}\left(\sum_{j \neq k} a_{i j} x_{i} x_{j}\right)+\frac{\partial}{\partial x_{k}}\left(a_{i k} x_{i} x_{k}\right)\right)+\sum_{j \neq k} \frac{\partial}{\partial x_{k}}\left(a_{k j} x_{k} x_{j}\right)+\frac{\partial}{\partial x_{k}}\left(a_{k k} x_{k}^{2}\right) \\ &=\sum_{i \neq k}( 0+a_{i k} x_{i})+\sum_{j \neq k} a_{k j} x_{j}+2 a_{k k} x_{k} \\ &=\sum_{i=1}^{n} a_{i k} x_{i}+\sum_{j=1}^{n} a_{k j} x_{j} \\ &=\left(x^{T} A\right)_{k}+(A x)_{k} \end{aligned} ∂xk∂y=i=k∑∂xk∂(j=1∑naijxixj)+∂xk∂(j=1∑nakjxkxj)=i=k∑⎝⎛∂xk∂⎝⎛j=k∑aijxixj⎠⎞+∂xk∂(aikxixk)⎠⎞+j=k∑∂xk∂(akjxkxj)+∂xk∂(akkxk2)=i=k∑(0+aikxi)+j=k∑akjxj+2akkxk=i=1∑naikxi+j=1∑nakjxj=(xTA)k+(Ax)k
其中 (xTA)k\left(x^{T} A\right)_{k}(xTA)k 是行向量xTAx^{T} AxTA的第k个分量，(Ax)k(A x)_{k}(Ax)k是列向量AxAxAx的第k个分量。因此∂y∂xk=(xTA)k+(xTAT)k\frac{\partial y}{\partial x_{k}}=\left(x^{T} A\right)_{k}+\left(x^{T} A^{T}\right)_{k}∂xk∂y=(xTA)k+(xTAT)k.
所以
∇y=xTA+xTAT=xT(A+AT)\nabla y=x^{T} A+x^{T} A^{T}=x^{T}\left(A+A^{T}\right) ∇y=xTA+xTAT=xT(A+AT)
特别地，如果A是实对称矩阵，则
∇y=xTA+xTAT=2xTA\nabla y=x^{T} A+x^{T} A^{T}=2x^{T}A ∇y=xTA+xTAT=2xTA

二次型x^TAx梯度(求导)推导过程相关推荐

Softmax及其损失函数求导推导过程
Softmax激活函数的损失函数求导过程推导 Softmax函数介绍 Softmax的损失函数:交叉熵 Softmax求导过程损失函数求导 Softmax函数介绍在深度学习领域,多分类问题的激活函 ...
最详细的Sigmoid函数的求导推导过程
Sigmoid函数为logistic回归.神经网络等模型的激活函数. 函数图像如下: 定义域是从 (−∞,+∞),值域是(0,1). 函数: 导数: 推导过程为: ...
逻辑回归损失函数求导推导过程
逻辑回归--分类算法代价函数的寻找 sigmoid函数的非线性会导致损失函数变得非线性,无法找到全局最优值,所以需要进行损失函数替换. 代价函数的合理性分析预测正确,损失较小:预测错误,损失较大 ...
卷积神经网络系列之softmax loss对输入的求导推导
我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等.虽然现在已经开源了很多深度学习框架(比如MxNet,Caf ...
softmax loss对输入的求导推导
转载自: https://blog.csdn.net/u014380165/article/details/79632950 我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CN ...
ML之ME/LF：机器学习中常见模型评估指标/损失函数(LiR损失、L1损失、L2损失、Logistic损失)求梯度/求导、案例应用之详细攻略
ML之ME/LF:机器学习中常见模型评估指标/损失函数(LiR损失.L1损失.L2损失.Logistic损失)求梯度/求导.案例应用之详细攻略目录常见损失函数求梯度案例 1.线性回归求梯度 2.L ...
L2正则化Regularization详解及反向传播的梯度求导
摘要本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证. 相关系列文章索引 : https://blog.csdn.net ...
交叉熵代价函数(损失函数)及其求导推导
转自:http://blog.csdn.net/jasonzzj/article/details/52017438 前言交叉熵损失函数交叉熵损失函数的求导前言说明:本文只讨论Logistic回 ...
交叉熵代价函数(损失函数)及其求导推导 (Logistic Regression)
目录 1. 前言 2. 交叉熵损失函数 3. 交叉熵损失函数的求导前言说明:本文只讨论Logistic回归的交叉熵,对Softmax回归的交叉熵类似(Logistic回归和Softmax回归两者本 ...

二次型x^TAx梯度(求导)推导过程

二次型x^TAx梯度(求导)推导过程相关推荐

最新文章

热门文章