1：迹

2：矩阵的内积

3：导数与微分

3.1 古典微积分

3.2 基于极限的微积分

4. 总结

1：迹

迹是线性代数中的一个概念，一个方阵的对角线元素之和称为是迹。对于如下方阵A:

$A=\begin{pmatrix} a_{11} & a_{12} & a_{13} & \dots & a_{1n} \\ a_{21} & a_{22} & a_{23} & \dots & a_{2n} \\ a_{31} & a_{32} & a_{33} & \dots & a_{3n} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & a_{n4} & \dots & a_{nn} \end{pmatrix}$

A的迹为：

$trace(A) =a_{11}+a_{22}+\dots+a_{nn}= \sum_{i=1}^{n}a_{ii}$

如果你刚开始接触迹这个概念可能会摸不着头脑，因为从定义上看实在太简单了。事实上迹是方阵一个非常重要的特征：

相似矩阵的迹相同（有人把迹形象地比作是相似变换留下的痕迹）
迹是矩阵的特征值之和

这两个事实抛出来之后迹这个概念一下子就复杂起来了，但是这里我们不详细讨论它的诸多解读，只使用最简单的定义即对角线元素之和。如果你对迹感兴趣可以读一下知乎上的回答。这篇帖子https://www.zhihu.com/question/20533117/answer/255818053

2：矩阵的内积

你可能听说过向量的内积，设有两个向量 $a=\begin{pmatrix} a_1 & a_2 & \dots & a_n \end{pmatrix}^T$ 和 $b=\begin{pmatrix} b_1 & b_2 & \dots & b_n \end{pmatrix}^T$ ，那么根据内积的定义，向量a和b的内积为：

$\left < a, b \right >= a^Tb=a_1b_1+a_2b_2+\dots+a_nb_n=\sum_{i=1}^{n}a_ib_i$

因此从形式上看，两个向量的内积就是对应元素相乘再相加（代数定义）。你可能还看到过这种定义：

$\left < a,b\right >=\left |a\right |\left | b \right |cos(\theta)$

即两个向量的内积等于向量模长的乘积再乘上夹角余弦值（几何定义）。这两种定义是等价的。如果你对向量内积的推导过程感兴趣可以参考。这篇文章https://blog.csdn.net/zhangyingjie09/article/details/88375120 那么矩阵内积是个什么呢？矩阵内积其实可以看做是向量内积的延申，他表达的是两个相同大小的矩阵对应元素乘积之和，设有两个均为m行n列的矩阵A和B，他们的定义如下：

$A = \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1n} \\ a_{21} & a_{22} & \dots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} \end{pmatrix} , B = \begin{pmatrix} b_{11} & b_{12} & \dots & b_{1n} \\ b_{21} & b_{22} & \dots & b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ b_{m1} & b_{m2} & \dots & b_{mn} \end{pmatrix}$

那么矩阵A和B的内积就可以定义为：

$\left < A,B\right > = a_{11}b_{11} + a_{12}b_{12}+\dots+a_{mn}b_{mn}=\sum_{i=1}^{m} \sum_{j=1}^{n} a_{ij}b_{ij}$

有趣的是我们可以借助前面迹的概念简化矩阵内积的表达形式，矩阵A和B的内积还可以表达为：

$\left < A,B\right >=trace(A^T B)$

希望你看到这个公式不要奇怪，看起来很复杂，其实很简单，举个二维方阵的例子来理解一下这个公式。设A和B是两个二维方阵(只要矩阵尺寸相同即可计算其内积，不一定是方阵)，表达为：

$A=\begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix}, B=\begin{pmatrix} b_{11} & b_{12} \\ b_{21} & b_{22} \end{pmatrix}$

那么根据内积的原始定义，这两个矩阵的内积应该是：

$\left < A,B\right > = a_{11}b_{11} + a_{12}b_{12}+a_{21}b_{21}+a_{22}b_{22}$

再来分析一下含有迹运算的这个公式：

$A^T B= \begin{pmatrix} a_{11}b_{11}+a_{21}b_{21} & a_{11}b_{12}+a_{21}b_{22} \\ a_{12}b_{11}+a_{22}b_{21} & a_{12}b_{12} + a_{22}b_{22} \end{pmatrix}$

求上面A^T B的迹你会发现结果正好是符合矩阵内积的原始定义的。

3：导数与微分

导数与微分无论从形式上还是从物理意义上都存在一定的相似性，因此很多人包括作者在内都经常将两者视为同一个概念，这通常不会有问题。但是如果你习惯性地将微分如dx视为无穷小量并进行分子分母相消操作时经常会得到错误的结果特别是在矩阵求导中这种情况会经常发生。究其原因还是因为我们对于微积分的理解还停留在古典微积分。

3.1 古典微积分

古典微积分是建立在无穷小量基础上的。在十七世纪由牛顿和莱布尼兹分别独立归纳出了古典微积分。这里说归纳还是比较严谨的，因为在此之前微积分的大量知识已经积累起来了（关于微积分的发展历史可以参考)。这篇文章https://zhuanlan.zhihu.com/p/265544769?utm_source=com.microsoft.emmx 促使微积分出现的场景非常多，其中一个就是解决复杂曲线下的面积问题。如下图１所示是一条连续曲线。那么如何求解曲线下的面积呢？古典微积分的做法是将这个不规则形状的面积分割为无数多个小矩形的面积之和。

图1. 曲线的线下面积

可以看到划分的越细致， $\Delta x$ 就会越小，最终求解的面积也会越精确。当小矩形的个数趋于无穷多个时， $\Delta x$ 将趋近于0，此时用dx来表示 $\Delta x$ ，代表 $\Delta x \rightarrow 0$ 。此时的dx就是古典微积分中微分（字面理解为微小的部分）的概念。在古典微积分中导数的概念也非常直观，它是利用切线去定义的。如下图2所示。

图2. 从割线到切线

直线ab分割某一条曲线，交点为a和b，对于割线可以求出它的斜率为：

$k=\frac{\Delta y}{\Delta x}$

当b点沿着曲线逐渐逼近a点时， $\Delta y$ 变成了y的微分dy， $\Delta x$ 变成了变量x的微分dx，割线变成了切线。切线斜率此时就称为导数，即：

f’(x)= $\frac{dy}{dx}$

以上基本就是古典微积分中关于微分和导数的阐述，总的来说非常直观且容易接受，但是却存在着重大的缺陷就是所谓幽灵般的无穷小量。这个无穷小有的时候会被当做0舍弃掉，有的时候又去参与分子分母相消的运算，搞得很无厘头。数学的严谨性是不允许存在这样的瑕疵的。所以才有了后面的基于极限的导数与微分。总结一下古典微积分中：

微分被认为是变量的微小部分

导数被认为是曲线切线斜率很直观，遗憾的是有瑕疵。

3.2 基于极限的微积分

极限概念的引入使得微积分的导出过程更为严谨，所以现在的教科书里大多数都是基于极限建立微积分。基于极限的导数定义如下：

$f{}'(x)= \lim_{\Delta x \rightarrow 0}\frac{\Delta y}{\Delta x} = \lim_{\Delta x \rightarrow 0}{\frac{f(x+\Delta x) - f(x)}{\Delta x}}$

由导数的定义，我们可以基于严格的数学推导导出微分的定义。根据上式移项可得：

$\lim_{\Delta x \rightarrow 0}\left (\frac{\Delta y}{\Delta x} - f'(x) \right) = 0$

此时可以令：

$\frac{\Delta y}{\Delta x} - f{}'(x) = \sigma$

那么：

$\Delta y = f{}'(x) \Delta x + \sigma \Delta x$

由于 $\sigma$ 的存在上式是一个严格的等式。此时令：

$dy = f'(x)\Delta x$

举个特例，如果y=f(x)=x（我们推导的是一个普遍性的概念即微分，因此它应该适用于所有的连续函数，自然会包括y=x这样的简单线性函数）,那么上式即为 $dy=dx=1\Delta x$ ，因此dx和 $\Delta x$ 在此处是等价的。因此：

dy = f’(x)dx

这就是极限意义下微分的定义，因此在基于极限的微积分中： 1. 导数是一个极限 2. 微分是一个函数这个过程都是经过严格数学推导得到的，所以会比较抽象，但总的来说还是比较容易理解的。正因为微分本身是一个函数，所以才会说 $\frac{du}{dy}\frac{dy}{dx}$ 这种式子中直接约去dy是十分鲁莽的举动（我们很多时候是这样做的，但是有些时候这样做是错误的，在极限框架下这个相消操作是需要证明才能进行的）。

4. 总结

这篇文章介绍了几个基本的数学概念，总的来看没有超出微积分和线性代数的范畴。下一篇文章将基于本文内容探讨一种在动力学中非常关键的运算即矩阵导数。由于个人能力有限，所述内容难免存在疏漏，欢迎指出，欢迎讨论。

01：机器人学数学基础相关推荐

AI算法连载01：数学基础之线性代数
导语:不懂算法的工程师做不了AI,不懂算法的产品经理将把AI带入泥潭.数学是AI基础的基础,代数是AI的敲门砖. 在人工智能AI如火如荼的大潮下,越来越多的工程师们意识到算法是AI的核心.而面对落地的 ...
学习笔记(01):机器学习数学基础--概率论与数理统计视频教学-矩估计和最大似然估计...
立即学习:https://edu.csdn.net/course/play/8617/177375?utm_source=blogtoedu 我觉得这个老师就是猴博士本人,因为我最近也买了猴博士的&q ...
AI算法连载04：数学基础之蒙特卡洛方法与MCMC采样
相关文章: AI算法连载01:数学基础之线性代数 AI算法连载02:概率论基础 AI算法连载03:数学基础之数值计算导语:不懂算法的工程师做不了AI,不懂算法的产品经理将把AI带入泥潭. 一.前言 ...
AI算法连载03：数学基础之数值计算
相关文章: AI算法连载01:数学基础之线性代数 AI算法连载02:概率论基础导语:不懂算法的工程师做不了AI,不懂算法的产品经理将把AI带入泥潭.数值计算是AI的具体结果,因此,学好AI,首先要学 ...
Datawhale组队学习周报（第038周）
本周报总结了从 11月01日至11月07日,Datawhale组队学习的运行情况,我们一直秉承"与学习者一起成长的理念",希望这个活动能够让更多的学习者受益. 第 30 期组队学习 ...
AI算法连载02：概率论基础
相关文章: AI算法连载01:数学基础之线性代数导语:不懂算法的工程师做不了AI,不懂算法的产品经理将把AI带入泥潭.概率是AI最重要的预测理论! 在人工智能AI如火如荼的大潮下,越来越多的工程师们 ...
黑猴子的家：下载svn客户端
1.官网 https://tortoisesvn.net/ (客户端) https://www.visualsvn.com/(服务端+客户端) 2.Downloads 3.TortoiseSVN 64 ...
黑猴子的家：下载SVN服务端
https://www.visualsvn.com/(服务端+客户端) 1.download 2.64-bit 3.下载查看全文 http://www.taodudu.cc/news/show-70 ...
黑猴子的家：TortoiseSVN 客户端安装
1.双击运行 2.Next 3.Next 4.Next 5.Install 6.Finish 查看全文 http://www.taodudu.cc/news/show-7033935.html 相关文 ...

01：机器人学数学基础

1：迹

2：矩阵的内积

3：导数与微分

3.1 古典微积分

3.2 基于极限的微积分

4. 总结

01：机器人学数学基础相关推荐

最新文章

热门文章

01：机器人学数学基础

1：迹

2： 矩阵的内积

3： 导数与微分

3.1 古典微积分

3.2 基于极限的微积分

4. 总结

01：机器人学数学基础相关推荐

最新文章

热门文章

2：矩阵的内积

3：导数与微分