化繁为简,一张图看懂梯度、散度、旋度、Jacobian、Hessian和Laplacian
来源|王赟 Maigo@知乎,https://zhuanlan.zhihu.com/p/35323714
本文仅作学术分享,如有侵权,请联系后台作删文处理。
一、入门
图中的细实线箭头表示了四种一阶微分运算,包括梯度、散度、旋度和 Jacobian。每条箭头的起点表示了相应运算的自变量的类型,终点表示了相应运算的因变量的类型,例如梯度运算是作用在标量上的,结果是向量。图中的「向量」默认为列向量。
这四种一阶微分运算可以统一用算符 (读作 nabla)表示。Nabla 算符是一个形式向量 ,它可以如下地作用于标量 或向量 上:
直接与标量 相乘,得到 的梯度 。
与向量 点乘,得到 的散度 。本文把点乘用矩阵乘法的形式写作 。
与向量 叉乘,得到 的旋度 。
若允许偏导算符写在变量的右边,则 就可以表示 的 Jacobian。
图中的粗实线箭头表示了两种二阶微分运算,它们可以由两个一阶微分运算组合而成,即:
梯度的散度就是 Laplacian;
梯度的 Jacobian 就是 Hessian。
图中的虚线箭头表示了一种不涉及微分的运算(迹)。在微分运算之后接上「迹」运算,可能得到另一种微分运算,如:
Jacobian 的迹就是散度;
Hessian 的迹就是 Laplacian。
二、入迷
图中的四种一阶微分运算两两搭配,一共可以得到 7 种二阶微分运算。第一节的图中画出了两种,本节的图中画出了另外五种(浅蓝色与灰色)。这五种二阶微分运算并没有特别的名字,但其中有两种是恒等于 0 的:
梯度的旋度恒为零向量;
旋度的散度恒为 0。
其中,「梯度无旋」可以用下面的图形象说明(图片来自@得分的):
如果梯度有旋会怎么样?
三、入魔
Laplacian 是一个作用于标量的二阶微分运算,其结果也是标量。但我们也可以把它作用于一个向量的每一个元素,得到一个向量;这种运算称为向量 Laplacian。
Laplacian 运算作用于标量 上的结果可以用 nabla 算符写成 。这种写法无法直接推广到向量 Laplacian,因为 里 无法直接跟 做矩阵乘法。但如果允许偏导算符写在变量右边,那就可以把向量 Laplacian 表示成 。这是 Jacobian 运算与「矩阵右乘 」运算的复合;后者的效果是对矩阵的每一行求散度。图中恰好有一个为「逐行散度」运算准备的空位,我们把它补充到图中。
向量 Laplacian 的结果,恰好等于「散度的梯度」与「旋度的旋度」之差。为了体现出这种关系,我把「从向量到向量」的三种二阶微分运算改用橙红色箭头表示。
四、入土
既然引入了「逐行散度」这个一阶微分运算,那就索性把它能组合出来的二阶微分运算也全都放到图里去吧!这样就得到了一个完美对称的图,它包含了 11 种二阶微分运算,其中:
有两种比较常见:Laplacian 和 Hessian;
有两种恒等于零:「梯度的旋度」和「旋度的散度」;
有三种满足减法关系:向量 Laplacian = 散度的梯度 - 旋度的旋度;
剩下的四种没有专门的名字,也很罕见。
其中任何一种微分运算后面接上「迹」,都可以得到另一种同阶微分运算:
Jacobian 的迹就是散度;
Hessian 的迹就是 Laplacian;
旋度的 Jacobian 的迹就是旋度的散度,恒等于 0;
矩阵逐行散度的 Jacobian 的迹,就是它的逐行散度的散度。
但需要注意只能在运算之后接上「迹」,在运算之前接「迹」是不行的,比如矩阵的迹的梯度不等于它的逐行散度。
如果有读者知道图中几种没有名字的运算叫什么名字、有什么用途,或者在图中内容之外还有什么值得包括进来的微分运算,欢迎补充。
觉得有用麻烦给个在看啦~
化繁为简,一张图看懂梯度、散度、旋度、Jacobian、Hessian和Laplacian相关推荐
- 一张图看懂梯度、散度、旋度、Jacobian、Hessian和Laplacian
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者|王赟 Maigo@知乎(已授权) 来源|https://zhu ...
- 一张图看懂图像识别算法发展历史
一张图看懂图像识别算法发展历史
- 【转】几张图看懂列式存储
几张图看懂列式存储 转载于:https://www.cnblogs.com/apeway/p/10870211.html
- 一张图看懂阿里云网络产品[二] 专有网络VPC
摘要: 一张图看懂网络产品系列文章,让用户用最少的时间了解网络产品,本文章是第二篇 专有网络VPC 一张图看懂阿里云网络产品系列文章,让用户用最少的时间了解网络产品,本文章是第二篇 专有网络VPC 系 ...
- 一张图看懂2017双11中的网络产品和技术
摘要: 大家都知道,2017年双11又创造了新纪录,全天交易额1682亿,交易峰值32.5万笔/秒,支付峰值25.6W笔/秒,狂欢的背后是极其复杂庞大的技术系统,其中就有大量阿里云云计算相关的产品和技 ...
- 鸿蒙分布式体验,一张图看懂鸿蒙OS 2.0 分布式能力升级构筑全场景体验
原标题:一张图看懂鸿蒙OS 2.0 分布式能力升级构筑全场景体验 [手机中国新闻]9月10日下午,华为召开HDC2020大会,全新的HarmonyOS 2.0正式发布.新系统的分布式能力全面升级,同时 ...
- 一张图看懂SOA与微服务
一张图看懂SOA与微服务 图片来自普元 1.SOA是站在整个企业系统的角度的治理 2.微服务的概念则小一点 3.ESB主要解决的是系统集成的问题,而且是面向已有的信息资产
- 一张图看懂开源许可协议,开源许可证GPL、BSD、MIT、Mozilla、Apache和LGPL的区别...
一张图看懂开源许可协议,开源许可证GPL.BSD.MIT.Mozilla.Apache和LGPL的区别 转载于:https://www.cnblogs.com/jingzhishen/p/589278 ...
- 一张图看懂光圈、快门、感光度的意义
一张图看懂光圈.快门.感光度的意义 光圈越大,参照物越模糊. 快门越高,运动物越清晰. 感光度越大,照片糙点越多.
最新文章
- C 语言编程 — 数据类型的别名
- (5.17更新)2011.5.21项管考试论文关注点
- mysql索引检测_mysql检测重复索引
- 201621123053《Java程序设计》第十一周学习笔记文章
- kubernetes资源--RC和RS
- java里赋值语句_java输入赋值语句
- I2C 时序、速率计算及intel I2C驱动
- 华硕笔记本禁用触控板方法
- win10重装系统自动修复失败,用U盘做了启动器也进不去PE界面的解决办法
- cogs 2. 旅行计划
- Maven --- 简介
- CMNET和CMWAP的区别和适用范围
- 概率统计及其应用第三章知识总结_数学篇:概率论复习规划
- Cannot locate the chosen ObjectFactory implementation: spring - [unknown locati
- JavaWeb_04_ELJSTL
- 【塔望咨询】案例---新消费主力军的饮食主义
- 立方公式 及 完全立方公式
- 伪代码书写规则(转)
- 遥感基础知识——电磁波
- Java代码解压RAR/ZIP文件
热门文章
- 【MATLAB】符号数学计算(八):符号分析可视化
- 深度盘点Python11个主流框架:Pandas、Django、Matplotlib、Numpy、PyTorch......
- Openpose+Tensorflow 这样实现人体姿态估计 | 代码干货
- 200万注册开发者,13亿张全景图片,90%数据生产环节AI化,百度地图生态全景升级2.0
- 瞧瞧,这样的代码才叫Pythonic
- 无限想象空间,用Python玩转3D人体姿态估计
- 人工智能改变未来教育的5大方式!
- 网友们票选的2018 Best Paper,你pick谁?
- 开源50万行代码,百亿广告分成,百度智能小程序能成吗?
- 明晚8点直播 | 顺丰科技如何利用深度学习赋能智慧物流?