一张图看懂梯度、散度、旋度、Jacobian、Hessian和Laplacian
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
作者|王赟 Maigo@知乎(已授权)
来源|https://zhuanlan.zhihu.com/p/35323714
编辑|极市平台
一、入门
图中的细实线箭头表示了四种一阶微分运算,包括梯度、散度、旋度和 Jacobian。每条箭头的起点表示了相应运算的自变量的类型,终点表示了相应运算的因变量的类型,例如梯度运算是作用在标量上的,结果是向量。图中的「向量」默认为列向量。
这四种一阶微分运算可以统一用算符 (读作 nabla)表示。Nabla 算符是一个形式向量 ,它可以如下地作用于标量 或向量 上:
直接与标量 相乘,得到 的梯度 。
与向量 点乘,得到 的散度 。本文把点乘用矩阵乘法的形式写作 。
与向量 叉乘,得到 的旋度 。
若允许偏导算符写在变量的右边,则 就可以表示 的 Jacobian。
图中的粗实线箭头表示了两种二阶微分运算,它们可以由两个一阶微分运算组合而成,即:
梯度的散度就是 Laplacian;
梯度的 Jacobian 就是 Hessian。
图中的虚线箭头表示了一种不涉及微分的运算(迹)。在微分运算之后接上「迹」运算,可能得到另一种微分运算,如:
Jacobian 的迹就是散度;
Hessian 的迹就是 Laplacian。
二、入迷
图中的四种一阶微分运算两两搭配,一共可以得到 7 种二阶微分运算。第一节的图中画出了两种,本节的图中画出了另外五种(浅蓝色与灰色)。这五种二阶微分运算并没有特别的名字,但其中有两种是恒等于 0 的:
梯度的旋度恒为零向量;
旋度的散度恒为 0。
其中,「梯度无旋」可以用下面的图形象说明(图片来自@得分的):
如果梯度有旋会怎么样?
三、入魔
Laplacian 是一个作用于标量的二阶微分运算,其结果也是标量。但我们也可以把它作用于一个向量的每一个元素,得到一个向量;这种运算称为向量 Laplacian。
Laplacian 运算作用于标量 上的结果可以用 nabla 算符写成 。这种写法无法直接推广到向量 Laplacian,因为 里 无法直接跟 做矩阵乘法。但如果允许偏导算符写在变量右边,那就可以把向量 Laplacian 表示成 。这是 Jacobian 运算与「矩阵右乘 」运算的复合;后者的效果是对矩阵的每一行求散度。图中恰好有一个为「逐行散度」运算准备的空位,我们把它补充到图中。
向量 Laplacian 的结果,恰好等于「散度的梯度」与「旋度的旋度」之差。为了体现出这种关系,我把「从向量到向量」的三种二阶微分运算改用橙红色箭头表示。
四、入土
既然引入了「逐行散度」这个一阶微分运算,那就索性把它能组合出来的二阶微分运算也全都放到图里去吧!这样就得到了一个完美对称的图,它包含了 11 种二阶微分运算,其中:
有两种比较常见:Laplacian 和 Hessian;
有两种恒等于零:「梯度的旋度」和「旋度的散度」;
有三种满足减法关系:向量 Laplacian = 散度的梯度 - 旋度的旋度;
剩下的四种没有专门的名字,也很罕见。
其中任何一种微分运算后面接上「迹」,都可以得到另一种同阶微分运算:
Jacobian 的迹就是散度;
Hessian 的迹就是 Laplacian;
旋度的 Jacobian 的迹就是旋度的散度,恒等于 0;
矩阵逐行散度的 Jacobian 的迹,就是它的逐行散度的散度。
但需要注意只能在运算之后接上「迹」,在运算之前接「迹」是不行的,比如矩阵的迹的梯度不等于它的逐行散度。
如果有读者知道图中几种没有名字的运算叫什么名字、有什么用途,或者在图中内容之外还有什么值得包括进来的微分运算,欢迎补充。
点个在看 paper不断!
一张图看懂梯度、散度、旋度、Jacobian、Hessian和Laplacian相关推荐
- 化繁为简,一张图看懂梯度、散度、旋度、Jacobian、Hessian和Laplacian
来源|王赟 Maigo@知乎,https://zhuanlan.zhihu.com/p/35323714 本文仅作学术分享,如有侵权,请联系后台作删文处理. 一.入门 图中的细实线箭头表示了四种一阶微 ...
- 一张图看懂图像识别算法发展历史
一张图看懂图像识别算法发展历史
- 【转】几张图看懂列式存储
几张图看懂列式存储 转载于:https://www.cnblogs.com/apeway/p/10870211.html
- 一张图看懂阿里云网络产品[二] 专有网络VPC
摘要: 一张图看懂网络产品系列文章,让用户用最少的时间了解网络产品,本文章是第二篇 专有网络VPC 一张图看懂阿里云网络产品系列文章,让用户用最少的时间了解网络产品,本文章是第二篇 专有网络VPC 系 ...
- 一张图看懂2017双11中的网络产品和技术
摘要: 大家都知道,2017年双11又创造了新纪录,全天交易额1682亿,交易峰值32.5万笔/秒,支付峰值25.6W笔/秒,狂欢的背后是极其复杂庞大的技术系统,其中就有大量阿里云云计算相关的产品和技 ...
- 鸿蒙分布式体验,一张图看懂鸿蒙OS 2.0 分布式能力升级构筑全场景体验
原标题:一张图看懂鸿蒙OS 2.0 分布式能力升级构筑全场景体验 [手机中国新闻]9月10日下午,华为召开HDC2020大会,全新的HarmonyOS 2.0正式发布.新系统的分布式能力全面升级,同时 ...
- 一张图看懂SOA与微服务
一张图看懂SOA与微服务 图片来自普元 1.SOA是站在整个企业系统的角度的治理 2.微服务的概念则小一点 3.ESB主要解决的是系统集成的问题,而且是面向已有的信息资产
- 一张图看懂开源许可协议,开源许可证GPL、BSD、MIT、Mozilla、Apache和LGPL的区别...
一张图看懂开源许可协议,开源许可证GPL.BSD.MIT.Mozilla.Apache和LGPL的区别 转载于:https://www.cnblogs.com/jingzhishen/p/589278 ...
- 一张图看懂光圈、快门、感光度的意义
一张图看懂光圈.快门.感光度的意义 光圈越大,参照物越模糊. 快门越高,运动物越清晰. 感光度越大,照片糙点越多.
最新文章
- 手撕 leetcode 中难题 第一天
- ubuntu部署java环境
- JS 作用域与变量提升---JS 学习笔记(三)
- 在 MyBatis 里,如何将 JSON 型字段到 Java 类的映射
- 【位运算】代码中的常用操作
- 通过 pxe(网络安装)完成centos 系统的网络安装
- Promise源码解析
- 数据库周刊 | DBA 核心技能
- 树莓派的ssh远程登录操作(图文)
- 从零入门 Serverless | 函数计算的开发与配置
- MongoDB进阶系列(12)——MongoDB 固定集合
- 如何利用PS 更改图像背景颜色
- 网页设计配色应用实例剖析—蓝色系
- 设计模式:设计模式经典总结
- 神兵利器——敏感文件发现工具
- 2021年中国移动广告行业发展现状及趋势:发展趋势不断攀升,互动广告已逐渐成为主流[图]
- linux卸载带输入法,Ubuntu删除自带的输入法之后设置不见了
- 【融职培训】Web前端学习 第11章 微信开发4 JS-SDK接口
- 分支与循环结构测试题(有答案版)
- 人机交互目前的瓶颈和马斯克的脑机接口