数理篇 - 高等数学小筑

高等数学就是微积分，级数和方程。微分是对变化以及变化的变化的描述，积分是将空间或时间对象在空间或时间中拆解为小颗粒计算，然后将计算结果求和。级数是将函数描述为叠加形式，以便分而治之。微分方程可看作是对系统输入和输出关系的描述，比如线性时不变系统(LTI)就要用它们来描述。

问题简要:

函数和集合映射什么关系？

极限是怎么求出来的？

导数的导数有什么现实意义？

微分和极限有什么关系？

积分的意义？

不定积分和定积分如何求解？

向量和行列式运算的关系？

偏导数在图形或物理方面的意义？

偏导数分子和分母为什么不能独立运算？

曲线曲面及体积分的关系？

梯度，散度，旋度，通量，环流量的关系？物理意义？

为什么要出现无穷级数?

有哪些无穷级数对我们有意义？

微分方程有什么实际意义？

微分方程和LTI系统什么关系？

微分方程怎么求解？

高等数学在了解电磁场与电磁波，信号完整性分析，信号与系统分析，图像处理，无线通信应用等方面具有重要的作用，往往作为基本理论的构建方法被使用，因此特别需要做一简介。

本篇的阐述思路是围绕着一个应用将高等数学中工程性比较强的知识点串联起来，各知识点之间基本上沿着其历史出现的顺序进行组织，同时尽量说明它们为什么出现以及产生了哪些影响。另外那些在嵌入式开发中应用不强的知识点还是按照有关教材罗列出，以便提供一较完整的高数轮廓。

图

现在主流的数字视频压缩基本都遵循H.264编码规范进行实现。但是无论是H.264还是前几年作为主流的MPEG4编码规范.它们对于编码基本都分为运动估计，量化和编码三个步骤。其中为了实现量化--也就是对视频对象的数字信息进行有损压缩，需要采用离散余弦变换[DCT]先对视频数据进行转换，以便将视频的时域信息转换为频域信息。因为只有转换为频域信息后，才方便将人眼不敏感的高频信号分量删除，从而达到量化压缩的目的。

为了对上面的描述有一个更具体的角度，我们考虑一张数字相机捕获的未经压缩的原始视频图:

该图为未经压缩分辨率为CIF(352X288)的YUV420格式数据，每个分量为8bit。现在就Y分量即亮度分量来考虑对该图进行压缩。

由于只有一张图当然就不必考虑人的移动了，否则还需接着拍一张图以便在两张图之间完成运动物体-人的运动估计。这张Y分量构成的图，可看作行列形式的二维数组或者行列式。图的Y plane的二进制数据片段如下

这是顶部两行像素对应的Y分量，由于分辨率是CIF(352*288)，因此每行像素Y分量占据352个bytes，因此第二行像素的Y分量数值从0x0160H位置开始。对比0x0160H位置处的值0XDB与第一行的0x0000H处的值0xD7非常接近，因为这两行正是图片中的天空，因此像素值非常接近。但是它们也是有差异的。

从行和列的方向分别看去，可以看到数据是呈大小规律或无规律变化。反映到图像的亮度上就是明暗剧烈变化或平缓变化，这种有的可以为人眼区别，也容易被人眼察觉，有的则反之。比如人眼易于关注亮的部分，对变化剧烈的细微部分并不敏感。如果把这张亮度分量图想像成俯视拍到的沙丘或者水面，那么很容易直观的将这些明暗变化与沙丘的起伏或水的波浪建立起对应关系。也就是一旦将这张图想像成波，那么自然就可以将变化剧烈的部分看作高频波，将变化平缓的看作低频波。

将亮度分量图看作波后，用离散余弦变换就可以将它们表示为频域形式。由于离散余弦变换[DCT]实际上是一个余弦函数相关的级数和，如下，一个看起来稍显复杂的公式:

注：严格的离散余弦变换公式中，其中一个N可以写为M，且M和N可以不相等。这里由于为图像处理服务，所以都写成了N。

式中i,j表示二维数组索引或行列图的坐标，f(i,j)表示Y分量取值，N是索引或坐标的最大值，u和v既是坐标也是余弦分量的频率。也许现在要理解它的物理和数学意义还比较模糊，但是我们看到它首先是一个级数，然后看到它的每个分项是一个函数和三角函数乘积。将含有i的余弦先提到对j求和的∑的外部，这样当i固定，j变化时意味着行亮度分量元素分别与余弦某个采样点相乘，然后求和。当行元素求和处理后，可看作将行元素归并到了一列，然后这个列元素与余弦某个采样点相乘求和。如果宏观的看，就像是用不同频率的波形物对先对行元素处理，然后用另一个频率波形物对生成的列元素再进行处理，由此得到指定坐标处的频率函数值。由于u和v越大意味着这个波形物的频率越高，那么它们所形成的F(u,v)称为高频分量，反之称为低频分量。

由于f(i,j)乘以余弦，相当于f(i,j)变化的频率特性转移到了余弦频率特性，或者说余弦频率特性也可以表示f(i,j)的变化特性。因此根据之前提到高频部分，人眼不敏感的概念。依据某个经验阈值丢弃一些属于高频的F(u,v)，也就是丢弃了空域中的一些变化剧烈的数据。这个丢弃过程就是量化，就是损失了信息量而又尽可能不影响视觉感受的压缩。

量化后的数据再采用哈夫曼或算术算法编码属于无损压缩，这里也暂可不关注。

到此为止，事情仍然是模糊的，至少为什么要将亮度分量矩阵转换为这种频率函数矩阵呢？这就和我们高等数学中了解的傅立叶级数关联起来了。那么什么是傅立叶级数，追根朔源我们还需从函数和微积分说起。

“紧接着函数概念的采用，产生了微积分，它是继欧几里德[Euclid]几何之后，全部数学中的一个最大的创造。”这句话正确性与否暂不评论，但提供了两个信息: 函数和微积分关联紧密;微积分很重要。

1.1.1. 函数

随笔:

中国人似乎是习惯文字描述的国度，比如铜钱上常见什么什么通宝，却很少看到人物或符号。因此很难想象如果中国人推演整个数学公式会用什么符号来表示目前让我们看起来奇形怪状的(实际中国历史上也曾有用符号来表示数字的记录，但不知道为什么湮没了)，西方人提供的符号。鉴于此，在对我族科技史有些伤感的同时，对于这些不那么亲近的符号面孔，姑且只能去熟悉它们了(这里开个玩笑，其实谈不上什么伤感，因为哲学的观点出发，”我”的世界里东方和西方都属于我)。

正文:

函数的定义略过不提，只说它的连续性。函数在某点的连续性被定义为:f(x)在点x0的某一邻域有定义，当x趋于x0点时，f(x)等于f(x0)，则函数f(x)在点x0连续。实际上这与其说是一个定义，不如说是一个假设，因为按照几何观点或者物理粒子观点，有两个含义需说明：x趋向于x0，并不是x等于x0，那肯定不能保证f(x)在此趋势中等于f(x0)。另外，x0是一个理想的概念点，并不是真实点。比如说1代表了x轴的一个唯一的点，这是我们概念中假设的刚性点，如果从0.999开始我们是否能数到1呢？假如精度是无穷位，显然是否能数到1是个疑问。

这就解释了，连续不连续是通过趋势或过程或跨度来判断的。但是对于现实的问题，我们只要一定的精度就可以了，而不必纠结于真正的连续。比如如果精度是0.001那么0.999再数一次就得到了1。这种思考对于以后的数字信号处理是有些益处的，甚至对用数字思考世界也是有意义的。因为首先虽然可以假定一个数值代表一个点，但是我们往往更关注点和点之间的关系，如果单纯用一个数值来表示一个点是没有任何意义的，就像是物体没有参考坐标系一样。其次数字信号处理就是在一定数量的信号样本标准下，对信号进行处理。

当函数产生后，很自然的隐含了一系列的对应关系，比如因变量差值和自变量差值的关系，但是这一点在遇到实际问题之前是没有太引起注意的。比如运动物体的加速度和求解曲线某处的切线斜率。”非常之功必待非常之人”,自古皆然。随着加速度问题由牛顿得出结论，曲线切线问题也由费马解决，一切豁然开朗，这就是接下来要讨论的导数与微分。

补充:

函数的正交:函数的正交是向量正交的推广,函数可看成无穷维向量,在n维空间中两向量正交是借助内积来定义的,设X=(x1,x2,...,xn),Y=(y1,y2,...,yn),则X与Y正交定义为其内积X*Y=x1*y1+x2*y2+...+xn*yn=0,

设f(x),g(x)是定义在[a,b]区间的可积函数,f(x),g(x)中的自变元类似于(有限维)向量下标,向量X中分量的下标取1,2,..,n这些离散值,而f(x)中的x可连续取[a,b]中所有的值,因此f(x)是无穷维向量,两向量内积是对应分量之积的有限和,推广到函数空间,两函数内积是对应分量(函数值)之积的无限和,积分是有限和的极限,因此积分表示一个无限和,为了看清这一推广,将向量内积表示为X*Y=x1*y1*1+x2*y2*1+...+xn*yn*1,这个和式中每一项是由X的分量,Y的分量和1相乘之积(1看成下标取1个单位),对应于向量内积的写法,函数内积应写为f(x)g(x)△x,它对应了[a,b]区间某子区间的值,该子区间长为△x,它类似于下标,将所有这些值加起来,当最大子区间长为趋于零,有限和变为无限和,其值恰为f(x)g(x)在[a,b]的积分.

”任何一个连续函数都可以在定义域里用某个正交函数集来表示，若此函数集不仅是正交而且完备，则用它来表示信号时将没有误差“

在线性空间中就是指构成这个空间的基是相互正交的，即这个空间中所有的向量都可以由这组基线性表出，而且这些基又相互正交。正交也就是在三维空间中垂直的意思。

拓展开，在许多更具体的问题中都是这样。例如，函数集合的标准正交基是：sin(NX),cos(NX),N取整数。这样就可以说这组函数是完备正交的。因为任何一个函数都可以由他们通过线性叠加而构成，傅立叶级数以及傅立叶变换就是以此研究的。并且他们相互垂直，也就是他们中任何两个不同的函数在一个周期中对这两个函数的乘积的积分都为零，相同的函数结果为1。

在几何空间中，三维空间，就是长宽高，三个方向相互垂直，并且可以表示其中的任何一个点（也就是向量）

补充:

幂函数，指数函数，对数函数，三角函数，反三角函数作为基本初等函数，和常数组合后又形成各种初等函数。

1.1.2. 极限

数列的极限，函数的极限定义都是一种趋势定义。即当n或x趋向于N或x0时，xn或f(x)如何取值。这种定义本身而言，模糊性和逻辑性参半，因此如果要深究是值得推敲的。但是这里姑且听之，因为对于以后的应用而言，极限的运算法则更有意义。尽管这些法则有些也是不那么严谨，比如数列和函数的夹逼准则：

若数列y和z在n趋于∞时极限都为a，则数列x极限也为a；

若函数g(x) 和h(x)在x趋于x0时极限都为A，则f(x)极限也为A；

这里假如x是一个振荡有界数列，f(x)是一个振荡有界函数，那么夹逼准则是否有效就值得怀疑了。

然而这样的准则仍不是今后的应用所特别关心的，因此也暂搁置一旁。而以后的应用所关注的是如下:

及其引申

因为这样的定义很容易和微观或瞬态下的几何和物理问题关联起来，比如曲线切线斜率和加速度问题。反过来只要问题可以化简为微观或瞬态问题，都可以尝试用极限思维来解决。

但是极限是怎么求出来的，除了教材上所说的无穷小比值法则之外，是否还有其它隐而未说的？从极限定义式

可看出极限是关于函数f(x)和无穷小量Δx的，因此借助于函数定义和无穷小比值法则基本上是可以推导出函数极限的，同时用极限定理来证明所取的值也就可以验证所获极限是否合法。

1.1.3. 导数与微分

承接函数和极限的阐述，再结合微观或瞬态问题的解决，很容易将基于因变量差与自变量差比值的极限归纳为新的定义:导数。这个名词和它的英文derivative 同样让人费解，根据什么导出，派生呢？是不是导出或派生出来的都可以叫导数呢,真的是不怎么直观。当然我们不能苛求古人，这里的讨论只是为将导数的实质深化一下。况且名词的定义从来不仅是继承来的，也是在发生变化的，比如我们现在一提起导数就会想到dy/dx 。

因此导数归根结底是求极限，极限又是基于无穷小的运算推导。无穷小有两种表现方式：x->x0 或 Δx -> 0 。

有了函数，极限和导数的定义，自然的，新的事物就会产生出来，因为一生二，二生三，这是亘古的法则。这个新事物就是接下来要讨论的函数的级数表示。

不过在此之前稍稍提一下微分，dx等于Δx，而dy < Δy

1.1.4. 函数和级数

泰勒中值定理明确了可以用f(x0) + f``(x0)(x-x0) + f ``(x0)/2! *(x-x0)2 + ...Rn(x)多项式来表达一个函数f(x)。那么它是如何得出来的？函数是否可以表示为其他形式？问题一个一个来看:

17世纪末，数学家们常常采用线性插值法求解三角函数以及对数函数的插值从而满足航海，天文学，地理学方面的应用需要。至于航海，天文学为什么需要涉及三角函数，对数函数插值先不去管它，所谓线性插值法就是假设在两个已知值之间的区间内，认为函数是自变量的线性函数。但是实际问题中，函数往往是非线性的，这就给求解插值的精确性带来很大困扰。

补充:插值法，这个熟悉的字眼，我们在图像处理时，往往要用到它根据已获得的像素值推测未知位置的像素值。简单情况下，就是横向或纵向相邻两个像素值的均值作为插值出来的中间像素值。

其实这个方法部分地指出了将函数取值空间微分化的思路，只是没有给出一个合适的取值表达式。后来牛顿可能是从微分的角度出发，提出了f(x)的新的插值表达式，如下

f(a+h) = f(a) +h/c * Δf(a) + h/c *(h/c - 1)/(2!) * Δ^2f(a) + ...

这个公式也称为gregory-newton公式，因为gregory在newton之前也提出了类似的方法。

这个公式何以如此Newton并没有给出详细证明。本文就前三项表达式从几何意义的角度尝试给出证明，后续项表达式还没有推算出来，留待以后再说明。

补充图及证明

泰勒发现用Δx替代c后，f(x+Δx)的gregory-newton公式中各项包含了Δf(a)的高阶差分和Δx的高次方的比值，我们暂称为高阶因式。当为了求得f(x)的定义，使Δx趋近于0时，很自然想到了极限和导数的关系。那么取其中的Δ^2f(a)/ Δx^2来观察看它和导数有什么关系。

由于

可以推得

因此所取的高阶因式就是 f ``(a)。其他各项的高阶因式依此类推。

虽然泰勒没有给出这个级数的完备的证明，比如这个级数是否收敛，但是它对于函数求解依然是意义重大的。

至此我们了解了函数的一种级数表达形式，即它在某些条件下，可以表示为泰勒级数形式；那么是否还有其他级数表达式呢?当18世纪人们在研究天体运动等天文现象时，发现天文现象大都对应周期函数，而这些周期函数则可以用三角函数的求和来表述，进而简化计算。

先来看一个三角函数和的表达式和它的几何意义

關於 (1.2),(1.4) 之幾何意義可以如此看,

從原點 A0 開始, 畫一射線 −→

A0A1 與 x 軸之夾

角為 θ, 而且取 A1 使得線段 A0A1 為單位長,

由極座標可知 A1 =(cos θ, sin θ), 其次, 從 A1

為起點畫射線 −→

A1A2 與 −→

A0A1 之夾角為 θ, 並取

A2, 使得 A1A2 也是單位長, 則 A2 相對於 A1

之座標是 (cos2θ, sin2θ), 故 A2 相對於 A0 之

座標 A2 =(cos θ +cos2θ, sin θ +sin2θ) 依

此步驟可得第 n 個點 An, 其

事实上对于非周期函数，欧拉，拉格朗日，克莱罗等都发现或尝试用三角级数来描述。下面以欧拉在研究插值问题时的一个推导过程来说明三角级数的出现。尽管这个推导有点麻烦，但我们还是努力尝试一下，以便有个初步的感觉。

略

正是由于三角级数的出现，使得傅立叶在研究热的分析时，想到用它们来描述热传导。

1.1.5. 不定积分和定积分

不定积分并不像定积分那样有明确的几何意义或物理意义，而更多的是针对导数运算的逆过程。因此不定积分的关注点就主要的集中于各种求解技巧。除基本不定积分公式，就是聚合换元法(第一种换元法)，拆分换元法(第二种换元法)，分部积分法，有理函数(多项式分式)积分。这些方法一定程度上可以看作是为了定积分求解所做的铺垫。

定积分有明确的几何意义，一重定积分可以看作区间内函数曲线与横轴之间的面积或者旋转体体积等。由于有了明确的几何意义，也就意味着定积分的计算可以根据几何图形得出某种规律以简化定积分的计算，比如定积分中值定理，比如两区域面积之差(牛顿-莱布尼兹公式)。如果定积分的上下限是特殊值，比如+∞,-∞,函数睱点，则就需要利用对该积分求极限来判断该积分是否收敛。

积分有一重的也有多重的，它的几何意义是空间积分，比如二维空间中的面积积分或三维空间中的曲面积分；积分的物理意义是时间积分，比如电容器的电流积分；积分的其他意义可能只是数学上的一种表达形式，也可能是包含了空间和时间概念的积分，或者是其他未考虑到的意义。

1.1.6. 空间解析及向量

空间几何坐标演绎出其他坐标

(x,y,z)不仅表示空间点，也可表示向量，需根据上下文区分；

线性方程组，x,y为向量时就可以像求解实数线性方程组一样求解向量

如

5x-3y=a

3x-2y=b

a = (2,1,2) b = (-1,1,-2)

因为

x = 2a -3b

y = 3a -5b

所以

x = (7,-1,10)

y = (11,-2,16)

数量积:积是数字，意味着一个向量在另一个向量上投影的模并与该向量模相乘的乘积值

向量积:积是向量，方向与当前两向量所在平面垂直；值为一向量模与该向量在与另一向量垂直法线上的投影模的乘积

它们有很多实际的物理或几何意义需要仔细分析

空间坐标系及空间曲面，曲线方程

什么是正交函数集，这一点需要从向量内积的角度来分析。

略

正是由于正交函数集中各函数的特性，因此将函数的三角级数化为sin和cos的和形式就便于通过等式两边积分来求得三角级数各项系数的公式，这些公式也叫三角级数的包络函数。推导过程如下:

略

离散余弦变换是怎样完成对图像数据的处理，它对应什么样的物理原理？

艾哈迈德是如何想到DCT来实现对视频数据的时频转换处理？肯定是基于离散傅立叶变换想到的，因为变换中e^(jw)可以转换为cosw +jsinw。

现在先直观的就之前的DCT公式分析其数学和物理意义。

从公式中看到a(u) 和 a(v)都是常数，暂不理会。乘积和式

可看作

假如现在有8x8的正方形像素块，格式是yuv422，只考虑y分量，比如如下

图略

f(i,j)就对应该矩阵中的成员值，i和j取值范围是0-7

那么对应于i从0到7，B(j)的计算分别如下

到此为止，我们看到对于不同的u和v，F(u,v)的计算需要涉及矩阵中每行的成员与cos函数作卷积，然后再与cos 函数作卷积，即要进行64次乘和运算。直观的看这样的计算并没有什么意义，但是当我们将f(i,j)与cos函数的乘积用波形描述出来，就能够看出一些端倪。

当u和v越大，对应的cos的频率越大，波形越密；B(j)与cos相乘可以看作f(i,j)对波形采样取值后放大。

不同频率的cos波形图略待补充

二维方向上的cos波形图与矩阵数据图待补充

通过二维图，可以看到在横向增加了数据抵消的可能性后，在纵向上进一步增加数据抵消的可能，这样最终通过这些乘以cos函数的步骤就将信息集中在了低频区。

有了二维dct，还可以直观的想到三维DCT

从以上图直观的可将cos波形和f(i,j)的乘积看作采样，假定矩阵数据成员相差不大的情况下，当cos频率越低则f(i,j)乘以cos函数后取值单调行强，周期性规律低，各取值之和抵消为0的可能就小，注意与cos函数相乘本身就是有是数据序列值抵消的意思，并不是不抵消。当cos频率越大时，f(i,j)乘以cos函数后取值越趋向于周期性变化，各取值之和抵消为0的可能性就大。

那么如果稍作思考，也许就会问用sin函数是不是也可以呢？其实并不是不可以，但对于类似于视频这样的应用情况并不合适，因为可以注意到在0 – Π,sin函数的取值都是正值，而视频数据越相邻关联性越强，那么按照sin函数的这种特性就不利于实现对视频数据的去关联性。

从下面的图中也可以观察出这种概率现象

补充:

为什么说8x8，而不是16x16等。因为在8x8的范围内关联性强，dct能发挥较好的去关联性作用。

Dct中的高频和低频

条纹图画点状图叠加略

通过高频捕捉到高频点，通过低频相乘则捕捉到线状图规律，那么由于线状对于人眼而言比点状更加有意义，因此对dct后的数据将高频系数丢弃对人的视觉感受影响并不大。

假如这些点是噪声，那么通过dct再量化则可以实现去噪

Dct就像牛一样，浑身都是宝，比如利用它的时频转换特性还可以实现图像的数字水印技术

随笔:在接下来的多元函数微分及重积分章节中，很基本的一点就是对变量从按照分解的角度去研究或按分量的角度去构造。有不同的坐标体系就有不同的分解角度或分量角度。

1.1.7. 多元函数微分

1.导数直观的说就是因自变量变化比率的极限形式，而多元函数是一个因变量多个自变量，因此它的偏导数也就是因变量与某个自变量的变化比的极限形式。具体偏导数定义形式如下:

可以对比一元函数导数形式，极限形式中因变量的变化并不是函数真正的变化，而是函数在x轴上的投影的变化。就像力的解析一样，对于多元函数，如果将函数看作一个向量，则偏导数是函数在各个维度上解析后的射影函数的导数。因此函数的变化可以通过它的射影函数的变化程度来直观想像。

实际中比如火箭四个推进剂的推力变化程度，可以推知火箭轨迹。而在电磁领域，由于磁场是一个闭合的球形轨迹，因此用分解方法就可以简化电磁分析。在图像领域，将一张图的亮度分量作为横纵坐标维度的函数，那么就可以利用横轴和纵轴方向的偏导数来简单推断边缘变化。比如横轴变化为0，纵轴发生变化，则可以简单推断物体边缘是横向的。如下图灰黑交界处:

2.偏导数在运算时不能像导数那样进行分子分母的独立运算。固然教科书上已经有实例证明了偏导数分子分母拆分运算和不拆分运算结果不同。但是它的直观意义是什么呢？

上图中标识1和2所指的Әp的意义是不同的，标识1所指的意思是当自变量发生变化时，p的射影函数的变化，而标识2所指的意思是函数p发生了变化，因此它们没有等价性，自然是不能约分的。因此

3.高阶偏导数的意义是什么？常见到的可能是二阶导数的应用，比如在图像处理中用二阶偏导数来分析图像变化的剧烈程度。一阶导数如果是个常量，说明变化是均匀的，如下图所示箭头方向的灰度变化，黑色是均匀增加的。

而下面的图则说明灰度变化是非均匀的，如果沿着箭头方向看去则会遇到亮变暗，暗变亮，亮保持不变，亮边暗，暗变更暗等一系列变化描述，那么如何描述这一系列变化的程度呢？直观的结论是，将这一系列变化与横坐标构成新的函数再求导便可用于实现这个目的。而这个再次求导相对于横坐标就等于亮度对横坐标变量的二次导数。参考下图，可见变化剧烈的位置亮度函数的二次导数取值必然比较大，反之较小。如果以上一张图来参考，则其亮度函数的二阶导数为0。

4.方向导数和梯度

方向导数顾名思义是沿着某个方向函数变化的描述。偏导数所反映的函数沿着坐标轴变化实质是方向导数的一种特例。因为导数进一步抽象就是在极小范围内，a量变化与b量变化比值。那么谁来作这个a量都是可以的，只要它和b量存在着一定的对应关系。而b量常取坐标轴维度变化，当它取任意射线方向变化时，则找到随着射线变化时的因变量，则不难求出方向导数。

梯度被定义为函数在各个坐标维度上的偏导数所构成的一个向量。而向量又可以由单位向量和模的乘积来描述。按照力的分解的思路，函数在某点沿各坐标维度的变化可以合成为函数在该点沿各维度所构成的向量方向的变化值。这样很直观的，梯度作为向量就可以用方向导数乘以单位向量来表示。

而在实际的空间场中，由于梯度是函数在各个坐标维度上的偏导数所构成的一个向量，因此常用梯度来分析空间场任意方向的变化。

5.二元函数泰勒公式

略

6.最小二乘法，很好的实验技巧

利用多个实验数据构造函数系数，使得各组实验值与函数值的差平方的和最小。实际上就是通过对差平方和这个函数∑的分析来求得目标函数的系数，在函数∑中目标函数的系数作为了自变量存在。

当遇到求函数的最小最大值时，就是要求函数的极值，而极值由导数的取值来判断。导数取值为0时说明这是一个极值，对于多元函数则是要求偏导数取值为0。

目标函数有多少个待求系数，就有多少个函数∑的偏导数，由此构成方程组来求解这些系数。

1.1.8. 重积分

偏微分的逆过程

1.概述二三重积分，曲线曲面积分

积分就是对函数和微分元件(component)的乘积的求和，首先要确保函数在任何微分元件处的取值的逻辑意义是一致的，然后在此前提下构造不同的微分元件。

因此无论是哪种积分都需要构造积分式中的微分元件，在微观下这些元件的构造有直观法和解析法。直观法可以理解为要进行平面积分就按照平面元件积分，要进行空间积分就按照立体元件积分；要进行曲线或曲面积分就按照曲线或曲面元件积分，只是要将曲线或曲面元件用直角边关系或直角平面表达出来。而解析法就是将函数解析在不同的坐标维度上，然后沿着坐标积分。

就二三重积分来说，在微观情况下将微分元件(component)看作四边形和十二边体。对于二重积分，在直角坐标系中这个微分元件为矩形，在极坐标系中这个微分元件为扇区。对于三重积分，在直角坐标系中这个微分元件为立方体，在柱面坐标系中这个微分元件为弧面体，在球面坐标系中这个微分元件也为弧面体。

就曲线曲面积分来说，一种是在微观情况下将微分元件划分为小弧段或微曲面并转换到直角坐标系表示；另一种是将被积函数分解到不同的坐标维度，然后按照二重积分来实现。

2.格林,高斯,斯托克斯公式

格林公式用于描述平面单连通闭区域积分和该区域曲线积分的关系。

等式右侧尤其重要，因为按照力的分解和合成思想，右侧实际上是某个函数在x轴和y轴上的分解表达形式。而对于下式可以做进一步的分析:

如果这个函数是力函数，它的分量P沿着y轴变化速率与Q沿着x轴变化速率相等，则可以直观的将该积分表达式理解为一个物体从曲线L的一端沿着任意路径前进，由于任何路径的运动都可以分解为在x和y轴上向着另一端点的运动，同时由于在x轴和y轴上的起始速度以及运动中的加速度不变，因此运动所作的功相等。这样在电场中分析电荷的运动时这一公式就很有用了。

高斯公式用于描述闭曲面及其所围成的空间的积分关系，如下式。

由高斯公式引出的散度

而

通量

斯托克斯公式

环流量与旋度

▽ 称为那不勒算子，在电磁理论分析中会大量用到

1.1.9. 无穷级数:

自Greygory及牛顿，泰勒，麦克劳林等将函数展开为幂级数的同时，数学研究者也尝试着用三角函数级数来描述任意函数，这在之前的函数与级数一节已经讨论。

n 欧拉方程

欧拉是一个多产的数据家，据说他的著作可以装十几车。同时欧拉也是个善猜的数据家，虽然这和十八世纪数学研究的粗犷性分不开，但无论怎样，欧拉所提供的很多结论都是非常有价值的。比如e的复指数的展开所体现出的与三角函数的关系在信号分析中就非常重要，因为它将特殊的e指数与代表了波的三角函数联系起来了。当然具体讨论将放到信号分析章节去阐述，这里主要了解一下该公式的推导。

级数展开

Z = x + iy

e^z = 1 + z + 1/2! z^2 + ... + 1/n! z^n

当x = 0时，对上式右侧z的n次项依次计算后可得

e^iy = 1 + iy – 1/2! y^2 – i1/3! y^3 + 1/4! y^4 + i1/5! y^5 + ...

= (1 – 1/2! y^2 + 1/4! y^4 - ...) + i(y - 1/3! y^3 + 1/5! y^5 - ...)

= cosy + isiny

变化为y为x，则得欧拉公式

e^ix = cosx + isinx

而且利用e^-jx联立方程组可求得

cosx = (e^ix + e^-ix)/2

Sinx = (e^ix - e^-ix)/2i

n 傅立叶级数

在讨论傅立叶级数之前，先考虑一下水的特性，水具有波动性，也具有可塑性。诗词中常见风停雨住，湖面如镜的比喻，也有“潭面无风镜未磨”的形容。因此直观的来想像，水的波动构成了水面的形态。进一步，对于那些表现出周期性的水面形态，可以设想由三角函数波叠加而成。

假如波浪远看起来是下图样式

则可以用如下的正弦波叠加来近似，图中只画出幅度较大，频率较小的几个正弦波

而对于如下图描述的波浪形状则不那么直观去构造叠加正弦波。

这就需要依赖于傅立叶级数理论去分析。

首先了解一下正弦函数的通用形式都有什么样的意义。如下

y=Asin(ωt +φ)

为了直观理解上述函数的意义，ω角频率(=2п/T=2пf)是关键，它表示每秒步进多少弧度包含了频率和相位信息。这样sin(ωt)中当t不同时，sin(ωt)就可以将函数波形描述出来，当ω不同时，就可以将波形的疏密描述出来；而φ则是将整个波形相对于坐标原点做了平移。

补充:

这种直观的理解对于由傅立叶变换衍生的Z变换也是有帮助的，因为在Z变换中将e^((σ+jω)Ts)定义为Z ,e^(σTs)决定幅度，而e^( jωTs)=e^(j2пf/Fs)决定相位。

在傅立叶想到用三角函数表示一个周期函数之前，事实上已经有很多人得出了一些函数的三角函数级数表达形式，比如欧拉。

欧拉对三角函数级数的发现，略待补充

傅立叶级数(先以周期为2п的函数表达方式来讨论)

补充:

y=Asin(ωt +φ)可以展开为

y = Asin(ωt +φ) = Asin(φ)cos(ωt) + Acos(φ)sin(ωt)

令ωt = x , Asin(φ) = a , Acos(φ) = b则简化为

Y = a * cosx + b *sinx

因此将上述傅立叶级数转化为如下

补充:

三角函数系在[-п, п]区间上正交，即1(=cos0x)，coskx,sinkx集合中任何不同的两个函数乘积在该区间上的积分为0。这个性质有利于三角函数级数中系数的推导，在其他方面的运算中也是有简化意义的。

对上述傅立叶级数等式两边积分，并利用三角函数系的正交性可求得a0表达式；

对上述傅立叶级数等式两边同乘以cosnx并积分，利用三角函数系的正交性可推导出an表达式；

对上述傅立叶级数等式两边同乘以sinnx并积分，利用三角函数系的正交性可推导出bn表达式；

这个an和bn的表达式也被称为三角函数级数的包络函数或者傅立叶变换。

当周期为2L时，可推导出一般周期函数的傅立叶级数表达式，同时利用欧拉公式将cos和sin项用e的形式来表示以简化级数的表述形式。这里不再细解，在数字信号处理部分将同拉普拉斯变换，Z变换详细讨论。

1.1.10. 微分方程:

一阶微分方程

分离变量法:等式一端只含y和dy,另一端只包括x和dx

齐次方程:f(x,y)可表述为φ(y/x)形式；然后利用变量替换法和分离变量法可求解

一阶线性微分方程:dy和y都是一次的微分方程

全微分方程:微分等式非0端是某个函数的全微分形式

高阶常系数(非)齐次线性微分方程的求解

高阶线性微分方程及其求解特别重要，因为在数字信号系统中就要用它来描述LTI系统。

常系数齐次线性微分方程是利用了e指数函数的导数特点，假定y=e^rx来求解的

欧拉方程:特殊的变系数线性微分方程

将

牛顿和莱布尼兹提出了积分，虽然他们看待积分的角度不一样，但殊途同归。

积分

dxdy 看作矢量叉乘积

微分