l2范数求导_向量的L2范数求导

回归中最为基础的方法, 最小二乘法.

\[\begin{align*}

J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A\vec { x } -\vec { b } \right\| }^{ 2 }\quad \\

\end{align*}

向量的范数定义

\[\begin{align*}

\vec x &= [x_1,\cdots,x_n]^{\rm T}\\

\|\vec x\|_p &= \left( \sum_{i=1}^m{|x_i|^p}\right)^\frac{1}{p}, \space p

\end{align*}

\(L_2\)范数具体为

\[\|\vec x\|_2 = (|x_1|^2 + \cdots+|x_m|^2)^{\frac{1}2} = \sqrt{\vec x ^{\rm T}\vec x }

矩阵求导

采用列向量形式定义的偏导算子称为列向量偏导算子, 习惯称为\(\color {red} {梯度算子}\), n x 1 列向量偏导算子即梯度算子记作 \(\nabla_x\), 定义为

\[\nabla_x = \frac{\partial}{\partial x} = \left[ \frac{\partial}{\partial x_1}, \cdots, \frac{\partial}{\partial x_m}\right] ^{\rm T}

如果\(\vec x 是一个n\times 1\text{的列向量}\), 那么

\[\begin{eqnarray}

\frac{\partial y x}{\partial x}=y^T \\

\frac{\partial(x^TA x)}{\partial x}=(A+A^T)x \\

\end{eqnarray}

通过以上准备, 我们下面进行求解

\[\begin{align*}

\therefore \quad J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A{ x } -\vec { b } \right\| }^{ 2 } \\

&= \frac{1}{2} (Ax-b)^T (Ax-b) \\

&= \frac{1}{2} (x^TA^T-b^T)(Ax-b) \\

&= \frac{1}{2}(x^TA^TAx-2b^TAx+b^Tb)

\end{align*} \\

需要注意的 b, x 都是列向量, 那么 \(b^T Ax\) 是个标量, 标量的转置等于自身, \(b^T Ax =x^TA^Tb\)

对\(\vec x\)求导得：

\[J_{LS}'{(\theta)}=A^TA x-A^Tb=A^T(Ax-b)

l2范数求导_向量的L2范数求导相关推荐

l2范数求导_机器学习中的范数规则化之（一）L0、L1与L2范数非常好，必看
机器学习中的范数规则化之(一)L0.L1与L2范数今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题 ...
l2范数求导_机器学习中的范数规则化之（一）L0、L1与L2范数
source: https://blog.csdn.net/zouxy09/article/details/24971995 zouxy09@qq.com http://blog.csdn.net/z ...
二元函数对xy同时求导_如何对反三角函数进行求导和积分？
在上完高中三年的所有课程之后,我们对于微积分已经有了一定的了解并且在其他科目中也利用它解决了很多问题.在高中阶段,应用的频率比较多的可能也就是普通的微分和积分的一些公式,比如对x²求导就是2x,对x² ...
sigmoid函数求导_交叉熵损失函数的求导(Logistic回归)
目录前言交叉熵损失函数交叉熵损失函数的求导前言最近有遇到些同学找我讨论sigmoid训练多标签或者用在目标检测中的问题,我想写一些他们的东西,想到以前的博客里躺着这篇文章(2015年读研时机 ...
二元隐函数求二阶偏导_高数，隐函数求二阶偏导。f(x-y,yz)确定了z=(x,y),f具有二阶连续偏导数，求...
满意答案 a6952102 2017.04.05 采纳率:40% 等级:9 已帮助:9268人 1.应该先看高数,概率论,线性代数的教材,用大学时候的就ok.最简单最基本的定义要搞清楚,课后题不 ...
用python编写表达式求值_用Python3实现表达式求值
Problem Description yizhen has no girlfriend due to his stupid brain that he even can't solve a simp ...
python作业表达式求值_用Python3实现表达式求值
一.题目描述请用 python3编写一个计算器的控制台程序,支持加减乘除.乘方.括号.小数点,运算符优先级为括号>乘方>乘除>加减,同级别运算按照从左向右的顺序计算. 二.输入描述 ...
python输入数学表达式并求值_用Python3实现表达式求值
一.题目描述请用 python3编写一个计算器的控制台程序,支持加减乘除.乘方.括号.小数点,运算符优先级为括号>乘方>乘除>加减,同级别运算按照从左向右的顺序计算. 二.输入描述 ...
已知三角形三边长怎么求面积_已知三角形三边求面积的公式——海伦公式
海伦公式又译作希伦公式.海龙公式.希罗公式.海伦-秦九韶公式,传说是古代的叙拉古国王希伦(Heron,也称海龙)二世发现的公式,是一个利用三角形的三条边长直接求三角形面积的公式.下面我们利用初中的知识 ...
用泰勒公式求近似值_满足多个条件求最值，用这2个函数组合，写出来的公式如此简单...
工作中,你也许会遇到这种情况:在一组数据中,想把满足多个条件的最大值或者最小值查找出来.这里的多个条件,也说明条件参数不止一个,有多个! 下图中,我们要求出城市为"广州",地区为& ...

l2范数求导_向量的L2范数求导

l2范数求导_向量的L2范数求导相关推荐

最新文章

热门文章