数值分析——绪论及误差分析

文章目录

  • 数值分析——绪论及误差分析
    • 全文目录
    • 数值分析的作用及其学习工具使用
      • 数值分析常用工具
      • 数值分析的具体实例（多项式简化求值）
    • 计算机数值误差产生机理
      • 计算机的数值存储方式
      • 计算机误差产生原因
    • 误差
      • 误差限与精度
      • 模型误差
      • 观测误差
      • 截断误差
      • 舍入误差
      • 有效数字缺失
      • 误差的产生和避免
      • 误差的传播
    • 算法设计的稳定性与病态条件
      • 病态问题
      • 计算的稳定性
    • 练习题
    • Reference
    • About Me
    • 联系方式
    • 全文目录
    • 数值分析的作用及其学习工具使用
      • 数值分析常用工具
      • 数值分析的具体实例（多项式简化求值）
    • 计算机数值误差产生机理
      • 计算机的数值存储方式
      • 计算机误差产生原因
    • 误差
      • 误差限与精度
      • 模型误差
      • 观测误差
      • 截断误差
      • 舍入误差
      • 有效数字缺失
      • 误差的产生和避免
      • 误差的传播
    • 算法设计的稳定性与病态条件
      • 病态问题
      • 计算的稳定性
    • 练习题
    • Reference
    • About Me
    • 联系方式

全文目录

（博客园）机器学习

（Github）MachineLearning Math

数值分析的作用及其学习工具使用

数值分析方法是在解决科学研究和实践中遇到的各种奇怪复杂问题时，构建一种简单的数学物理模型来进行研究，最终得到我们需要的解。例如对于一个无法求得原函数的积分，我们可以用足够多的曲边梯形面积和进行求解。或者对于一个高次方程，我们也无法直接求得它的零点，那么这个时候，我们建立对应的数值分析模型时非常有必要的。

数值分析常用工具

对于本系列课程，建议读者对包括但不限于以下三种语言有一定的了解：C#、Matlab、Python ，本系列文章将用以下三种语言对其中涉及的算法进行Coding和解析。同时推荐安装以下库及应用程序：

应用程序：

  • Visual Studio Code：当今最强大的支持拓展的编辑器，适合各种语言的开发工作。强力建议安装。
  • Visual Studio 2022：宇宙第一IDE，微软出品的最强开发套件，配合C#如虎添翼事半功倍，建议使用C#的同学们安装
  • Pycharm：JB公司出品的Python IDE，适合于大型Python项目开发使用。如果只是写写小算法小程序，此软件过于庞大，吃性能。
  • Matlab：科学计算、建模第一开发工具，其中各种库可以有效的支撑你的需求，非常强大的一款工具软件，但是软件收费且非专业人员许多功能用不上
  • Octave：你可以理解为一个开源免费的Matlab，没有了商业用途的各种工具库，只留下了最基础的一些科学计算和Matlab语言，在科学计算方面非常不错，吴恩达在机器学习教程中也使用这款工具，推荐使用。
  • GeoGebra全家桶：科学计算、2、3D绘图最好用的工具之一。

库及SDK：

  • .NET 6（C#）：微软最新的开发框架，性能速度以及语法已经达到了前几名的位置，单论语言执行速度效率已经在前几名，支持U3d，web、ML等各种开发。单独拎出来是因为微软旗下库版本众多，这里推荐最新的.NET6
  • MathNet.Numerics：C#.NET上最强大的科学计算工具，在nuget中可以进行下载。
  • NPlot：C#.NET上一个优秀的绘图工具库
  • Numpy：python上一个优秀的科学计算库
  • Matplotlib：python上用于函数、数据等绘图的工具库。

数值分析的具体实例（多项式简化求值）

对于一个复杂多项式的计算，我们往往需要花费巨大的人力逐次计算，比如求：

f(x)=3x4−2x3+4x2+5x−1，求f(12)f(x)=3x^4-2x^3+4x^2+5x-1，求f(\frac{1}{2})f(x)=3x4−2x3+4x2+5x−1，求f(21​)

最最直接的方法就是进行计算

3×12×12×12×12−2×12×12×12+4×12×12+5×12−13\times\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}-2\times\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}+4\times\frac{1}{2}\times\frac{1}{2}+5\times\frac{1}{2}-13×21​×21​×21​×21​−2×21​×21​×21​+4×21​×21​+5×21​−1

我们计算了10次的乘法，同时还计算了四次加减法运算，这实在是太复杂了，那么我们试着去优化一下，倘若我将a=12×12a=\frac{1}{2}\times\frac{1}{2}a=21​×21​记录一下,那么式子就可以变成

3×a×a−2×a×12+4×a+5×12−13\times a\times a-2\times a\times\frac{1}{2}+4\times a+5\times\frac{1}{2}-13×a×a−2×a×21​+4×a+5×21​−1

这样，我们包含计算a在内大概需要计算7次乘法，四次加减法运算。很明显我们减少了不少的计算步骤，那么继续试试是否又其他的做法？

f(x)=3x4−2x3+4x2+5x−1=x(5+4x−2x2+3x3)−1=x(5+x(4−2x+3x2))−1=x(5+x(4+x(3x−2)))−1f(x)=3x^4-2x^3+4x^2+5x-1\\ =x(5+4x-2x^2+3x^3)-1\\ =x(5+x(4-2x+3x^2))-1\\ =x(5+x(4+x(3x-2)))-1 f(x)=3x4−2x3+4x2+5x−1=x(5+4x−2x2+3x3)−1=x(5+x(4−2x+3x2))−1=x(5+x(4+x(3x−2)))−1

通过这个变换（称为霍纳方法、嵌套乘法），我们只需要进行4次乘法和4次加法，计算的时候从内往外计算。一般而言，任意一个n次多项式都可以通过n次乘法和n次加法求得。

这个例子展示了科学计算的主题特征，简单计算的速度总是比复杂的计算快得多，同一个问题当我们采取不同的方法时可能可以有效的提升我们的效率和速度。这也是为什么数值分析（计算方法）显得尤为重要的原因。

计算机数值误差产生机理

计算机的数值存储方式

这里我们直接对计算机数值存储方式进行讲解而不作过多的展开。详细的内容可以参考我《.NET Guide》—— 基本数据类型及其存储方式 #5.2

计算机误差产生原因

数值分析是一门建立在计算机计算的基础上的学科，我们需要详细解释一下在计算机中，是什么导致了误差的出现。首先抛出一个问题，为什么计算机会存在精度问题？或者换句话说，任何非0、5结尾的小数在计算机中都不是一个精确值？

上述问题是一个非常有建设意义的问题，我们知道计算机时使用二进制进行数据的运算和存储的，那么根据二进制的计算法则，浮点数的二进制表示应当是∑i∗2−n,i∈{0,1},n∈N+\sum i*2^{-n},i \in \{0,1 \},n \in N^+∑i∗2−n,i∈{0,1},n∈N+，根据这个式子不难看出对于二进制而言，并不能用有限的位数表示所有的浮点数。举个浅显的例子，例如十进制数(13)10=0.3˙(\frac{1}{3})_{10}=0.\dot{3}(31​)10​=0.3˙，无论我们怎么写都无法用有限的十进制位数写出准确的数值，只能通过近似的值进行描述，当我们采用三进制数，我们就能用有限小数 (0.1)3(0.1)_3(0.1)3​ 进行描述。

因此对于二进制存储信息的计算机来说，数据的存储位数总是有限度的，我们不可能准确的表述每一个浮点数，于是，对于那些无法表示的数值，我们只能采取近似的手段进行拟合，误差就出现了。

误差

误差限与精度

首先我们给出这样一个定义，设x∗x^*x∗是某量的一个精确值，而 xxx 是此量的近似值，那么我们将 e=∣x∗−x∣e = |x^*-x|e=∣x∗−x∣ 定义为值的 绝对误差，也就是误差。

不过在工程实践中，我们往往是不知道实际值x∗x^*x∗的，同时误差e也并不是已知量，我们只能设法在计算过程中采取某些手段，对误差进行一个估计。这个估计是一个区间范围，那么给出下面条件

∃ϵ>0,∣e∣=∣x∗−x∣≤ϵ\exist \epsilon>0,\\ |e| = |x^*-x|\leq\epsilon∃ϵ>0,∣e∣=∣x∗−x∣≤ϵ

若上式成立，我们则给出了x−ϵ≤x∗≤x+ϵ,x∈[x−ϵ,x+ϵ]x-\epsilon\leq x^*\leq x+\epsilon,x\in[x-\epsilon,x+\epsilon]x−ϵ≤x∗≤x+ϵ,x∈[x−ϵ,x+ϵ]，于是我们称ϵ\epsilonϵ为绝对误差限，又称为精度。它描绘了我们近似值与绝对值的相似程度，给出了误差的最大值。

通常，在同一范围或数量级内，误差限越小，也就是我们的数据越精确。当逾越这条线的时候，绝对误差限就显得心有余而力不足了。例如数字的近似值是9999，精确值是10000，它的误差限是1；若近似值是9，精确值是10，误差限也是1，很明显前者的拟合效果要好于后者。我们称前者是99.99%的吻合度，而后者的吻合度是90%。

上述式子很明显是因为比较的数量级不同而导致的，为了更好的描述，我们采用相对误差及相对误差限进行描述。相对误差定义为er=ex∗=1−xx∗e_r=\frac{e}{x^*}=1-\frac{x}{x^*}er​=x∗e​=1−x∗x​，根据量纲的计算法则，很明显相对误差区别于绝对误差的地方就在于相对误差是一个无量纲常量，通常也采用百分比作为表示。

与绝对误差一样，我们通常无法直接得出ere_rer​的值，精确值往往也是未知的，同样的，我们使用相对误差限去给出一个区间估计。

∣er∣=∣ex∗∣≤ϵr|e_r| = |\frac{e}{x^*}|\leq \epsilon_r∣er​∣=∣x∗e​∣≤ϵr​

这里我们可以给出任意数值的误差估计方法，如下式所示：

设有精确值x1∗x^*_1x1∗​,估计值x1x_1x1​，构造函数y=f(x),f(x1)y=f(x),f(x_1)y=f(x),f(x1​)在x1∗x^*_1x1∗​处Taylor展开得：

f(x1)=f(x1∗)+(dfdx1)∗(x1−x1∗)+12!(d2fd2x1)∗(x1−x1∗)2+13!(d3fd3x1)∗(x1−x1∗)3+⋯f(x_1) = f(x^*_1)+(\frac{df}{dx_1})^*(x_1-x^*_1)+\frac{1}{2!}(\frac{d^2f}{d^2x_1})^*(x_1-x^*_1)^2+\frac{1}{3!}(\frac{d^3f}{d^3x_1})^*(x_1-x^*_1)^3+\dotsbf(x1​)=f(x1∗​)+(dx1​df​)∗(x1​−x1∗​)+2!1​(d2x1​d2f​)∗(x1​−x1∗​)2+3!1​(d3x1​d3f​)∗(x1​−x1∗​)3+⋯

同时我们知道估计值和精确值的差即为误差e(x1)e(x_1)e(x1​)，且为无穷小量,那么上述式子化为

f(x1)=f(x1∗)+e(x1)(dfdx1)∗+⋯故e(f(x))=f(x)−f(x∗)=f(x1)−f(x1∗)≈e(x1)(dfdx1)∗f(x_1)=f(x^*_1)+e(x_1)(\frac{df}{dx_1})^*+\dotsb\\ 故e(f(x))=f(x)-f(x^*)=f(x_1)-f(x^*_1)\approx e(x_1)(\frac{df}{dx_1})^*f(x1​)=f(x1∗​)+e(x1​)(dx1​df​)∗+⋯故e(f(x))=f(x)−f(x∗)=f(x1​)−f(x1∗​)≈e(x1​)(dx1​df​)∗

因此我们得出了误差的一个分析式，(dfdx1)∗(\frac{df}{dx_1})^*(dx1​df​)∗则称为绝对误差增长因子，表示误差经过运算fff后变化的速率或倍数。

同时给出相对误差估计推导：

e(f(x))r=e(f(x))f(x1∗)=(dfdx1)∗⋅e(x1)f(x1∗)=x1∗f(x1∗)(dfdx1)∗⋅er(x1)e(f(x))_r=\frac{e(f(x))}{f(x^*_1)}=(\frac{df}{dx_1})^* \cdot \frac{e(x_1)}{f(x_1^*)}\\ =\frac{x_1^*}{f(x_1^*)}(\frac{df}{dx_1})^*\cdot e_r(x_1)e(f(x))r​=f(x1∗​)e(f(x))​=(dx1​df​)∗⋅f(x1∗​)e(x1​)​=f(x1∗​)x1∗​​(dx1​df​)∗⋅er​(x1​)

同样的，x1∗f(x1∗)(dfdx1)∗\frac{x_1^*}{f(x_1^*)}(\frac{df}{dx_1})^*f(x1∗​)x1∗​​(dx1​df​)∗则称为相对误差增长因子，表示误差经过运算fff后变化的速率或倍数。

更一般的，给出任意函数的误差分析式：

绝对误差：e(f)≈∑i=1n[(∂f∂xi)⋅e(xi)]相对误差：er(f)≈∑i=1n[(xi∗f(⋯)⋅∂f∂xi)⋅er(xi)]绝对误差：e(f)\approx\sum_{i=1}^n \left [\left( \frac{\partial f}{\partial x_i}\right)\cdot e(x_i)\right]\\ 相对误差：e_r(f)\approx\sum_{i=1}^n \left [\left( \frac{x_i^*}{f(\dotsb)}\cdot\frac{\partial f}{\partial x_i}\right)\cdot e_r(x_i)\right] 绝对误差：e(f)≈i=1∑n​[(∂xi​∂f​)⋅e(xi​)]相对误差：er​(f)≈i=1∑n​[(f(⋯)xi∗​​⋅∂xi​∂f​)⋅er​(xi​)]

模型误差

模型误差往往是建模过程中，忽略了那些影响细微的次要因素，最终在要求精度的情况下，出现了模型的误差。例如我们初高中学过的公式G=mgG=mgG=mg，我们往往会有一句g取9.8N/kg，数学模型描述就为G=9.8mG=9.8mG=9.8m，这里的g就是一个近似值，而我们知道重力加速度在不同的地方是会受到高度、海拔、地壳密度分布等等因素影响的，由于我们的重力加速度取了近似值，因此这个模型也是一个近似模型，而这里必然会产生误差，由于近似模型导致的误差我们就称为模型误差。

观测误差

观测误差往往是因为数据的来源受到主观因素的影响，假设我有一个绝对精准的弹簧式重力计，我们用它去测量物体重量的时候必须通过肉眼去读取仪器上的刻度数字，在这里我们因读数不准产生的误差就是观测误差。或者同上面的质量和重量的方程中，假设我们知道了G，通过计算得出了质量m，它与实际质量的差值就是观测误差。

截断误差

截断误差在计算机和生活中是一个常见误差。我们在进行大笔金钱交易的时候往往会讨价还价，最常见的还价就是“抹零头”，284元的饭钱讲价成280元，这就是一种截断。计算机因数据溢出而直接抹去首尾的数据时，也是一种截断，只是这种更多视为一种错误，而不是误差。

如果你对高等数学了解一些，那必然知道泰勒展开式是一个无穷级数，我们常常采用带拉格朗日或皮亚诺余项去描述误差，这个误差也是因为我们只取了有限的项而导致了数据的不精确。

例如下列展开：

ex=S(x)=1+x+x22!+⋯+xnn!e^x=S(x)=1+x+\frac{x^2}{2!}+\dotsb+\frac{x^n}{n!}ex=S(x)=1+x+2!x2​+⋯+n!xn​

因为我们只采用前n项作为计算，实际的误差（拉格朗日余项）就为

ex−S(x)=xn+1(n+1)!eθxe^x-S(x) = \frac{x^{n+1}}{(n+1)!}e^{\theta x}ex−S(x)=(n+1)!xn+1​eθx

舍入误差

这是平时可能用到最多的一种误差形式了，四舍五入就是一种常见的舍入误差。计算机默认就是使用舍入误差去处理误差的。只不过计算机由于是二进制的原因，因此它只要是1就向上进1。采用舍入误差有一个特性就是你的误差绝对不会超过区间的一半。

有效数字缺失

有效数字是指数字位数里第一个非零值到最后的数字，例如0.001就具有一位有效数字。那么我们为什么需要去讨论有效数字这个问题呢？事实上，仔细想想，如果说我现在需要计算9.01−3\sqrt{9.01}-39.01​−3，9.01\sqrt{9.01}9.01​大约是3.0016662，假定我们的计算机只能存储三位有效数字，上述式子的差异却需要在第四位有效数字的时候才取到，那么9.01−3=3−3=0.00\sqrt{9.01}-3=3-3=0.009.01​−3=3−3=0.00，我们最终得到的数据连一位有效数字都没有，而实际上我们需要存储的是1.67×10−31.67\times 10^{-3}1.67×10−3即可获得更为精确的数字，同样是三位有效数字，0的答案就是我们的有效数字缺失。那么如何去避免这个问题呢？

我们如果做下列变换

(9.01−3)(9.01+3)9.01+3=9.01−96.00=1.67×10−3\frac{(\sqrt{9.01}-3)(\sqrt{9.01}+3)}{\sqrt{9.01}+3}=\frac{9.01-9}{6.00}=1.67\times 10^{-3}9.01​+3(9.01​−3)(9.01​+3)​=6.009.01−9​=1.67×10−3

这样就避免了在减法过程使得我们早早的丢失了有效数据。

再举一个例子，有下列式子

E1=lim⁡x→01−cosxsin2x,E2=lim⁡x→011+cosxE_1=\displaystyle \lim_{ x \to 0}\frac{1-cosx}{sin^2x},E_2=\displaystyle \lim_{ x \to 0}\frac{1}{1+cosx}E1​=x→0lim​sin2x1−cosx​,E2​=x→0lim​1+cosx1​

如果高等数学底子好的朋友们应该一眼就能看出这两个式子是相等的，结果应当是0.5，但是计算机会老老实实的去计算这些数据，先从分子的减法开始计算，如果x足够的小，那么1−cosx1-cosx1−cosx最终会因为有效数字过于靠后以至于计算机无法保存到有效数字从而使得E1=0E_1=0E1​=0。

如下图所示，当x越发减小，对整个式子结果的改变就越大：

这不是我们希望的结果，于是我们进行恒等变形：

(1+cosx)(1−cosx)(1+cosx)sin2x=sin2x+cos2x−cos2x(1+cosx)sin2x=sin2x(1+cosx)sin2x\frac{(1+cosx)(1-cosx)}{(1+cosx)sin^2x}=\frac{sin^2x+cos^2x-cos^2x}{(1+cosx)sin^2x}=\frac{sin^2x}{(1+cosx)sin^2x}(1+cosx)sin2x(1+cosx)(1−cosx)​=(1+cosx)sin2xsin2x+cos2x−cos2x​=(1+cosx)sin2xsin2x​

通过这个变换，巧妙的利用了消去可能导致有效位数缺失的减法操作。

误差的产生和避免

我们的模型误差、观测误差属于不可抗力导致的误差，我们只能尽可能去优化模型和提高精度，但是往往付出了极大代价却收获甚微。我们对于误差的避免更多是采取减少在计算过程中产生的截断和舍入误差，尽可能避免有效数字的缺失导致的数据丢失。

一般而言，这些误差产生通常是因为:

  1. 两个相近的数字进行减法导致了有效数字的缺失，例如刚才讲到的第一个例子，因此实际计算时我们应当避免过于接近的数字进行减法，如果无法避免，则通过平方和一类的公式进行升阶扩大处理。
  2. 临界数（接近数据存储最大值）先做了加法，例如如果计算机只能存储3位数字，若不考虑符号位，以无符号数进行计算，最大值应当是7，那么7+2-3=6很显然是能在计算机存储下的，但计算机按着顺序计算时会先计算7+2=9=0b1001，最高位将会被丢弃，最终却得到了7+2=1的答案，显然是不对的，如果调整成先做减法则不会有这个问题。
  3. 过于繁杂的计算步骤，当计算步骤过多的时候，每一次运算都会产生舍入误差，这些误差将会在后续不断的传播累计，最后影响结果。同时如果计算不稳定（经常出现舍入操作，例如每一次计算的尾数都大于4），也会导致误差过大。我们需要设计好计算简单，同时每一次舍入操作得到的舍和入都是相同结果（例如每次尾数都小于5）
  4. 极限状态下的误差扩大化，例如我们的估计值和真实值很接近，或者运算中有趋近于0的数字产生，往往就会导致有效位数的缺失，我们最好采用泰勒展开、和差化积，利用三角、对指数函数的运算法则对其进行处理，从而避免误差的继续累计。
  5. 绝对值过小的数字做除数，事实上误差有如下公式成立：e(xy)≈yex+xeyy2e(\frac{x}{y})\approx\frac{ye_x+xe_y}{y^2}e(yx​)≈y2yex​+xey​​,若y过小，则会导致误差成平方倍扩大。因此我们也需要避免这种情况，最简便的方法就是通过放大分子分母，使得其分母可以尽可能多的保留下有效数字

误差的传播

和的绝对误差即误差的和

f(x1,x2⋯,xn)=∑i=1nxie(∑i=1nxi)≈∑i=1ne(xi)er(∑i=1nxi)≈∑i=1nxi∗∑i=1nxi∗er(xi)f(x_1,x_2\dotsb,x_n)=\sum^n_{i=1}x_i\\ e(\sum_{i=1}^n x_i)\approx\sum_{i=1}^n e(x_i)\\ e_r(\sum_{i=1}^n x_i)\approx\sum_{i=1}^n \frac{x^*_i}{\sum_{i=1}^n x^*_i}e_r(x_i)f(x1​,x2​⋯,xn​)=i=1∑n​xi​e(i=1∑n​xi​)≈i=1∑n​e(xi​)er​(i=1∑n​xi​)≈i=1∑n​∑i=1n​xi∗​xi∗​​er​(xi​)

由此可以看出，我们传入的数据在进行加法运算时，误差大约和各个近似值的代数和是差不多的。因此我们可以得出结论：初始输入的近似值对于求和运算的影响时并不大的。

差的绝对误差相对而言较难估计，但是差的相对误差与我们的初始值关系是非常大的，就好比我们上文提到的，过于接近的数相减的时候，往往容易导致有效数字的严重缺失。因此我们尽可能要避免差的运算。

设f(x1,x2)=x1−x2er(x1−x2)≈x1∗x1∗−x2∗er(x1)−x2∗x1∗−x2∗er(x2)即er(x1−x2)≤∣x1∗x1∗−x2∗∣er(x1)+∣x2∗x1∗−x2∗∣er(x2)设f(x_1,x_2)=x_1-x_2\\ e_r(x_1-x_2)\approx\frac{x_1^*}{x_1^*-x_2^*}e_r(x_1)-\frac{x_2^*}{x_1^*-x_2^*}e_r(x_2)\\ 即e_r(x_1-x_2)\leq\left|\frac{x_1^*}{x_1^*-x_2^*}\right|e_r(x_1)+\left|\frac{x_2^*}{x_1^*-x_2^*}\right|e_r(x_2)设f(x1​,x2​)=x1​−x2​er​(x1​−x2​)≈x1∗​−x2∗​x1∗​​er​(x1​)−x1∗​−x2∗​x2∗​​er​(x2​)即er​(x1​−x2​)≤∣∣∣∣​x1∗​−x2∗​x1∗​​∣∣∣∣​er​(x1​)+∣∣∣∣​x1∗​−x2∗​x2∗​​∣∣∣∣​er​(x2​)

从这个式子也能看出如果输入的初始近似值过于接近，一旦做差，分母就会急剧的趋近0，使得整体的误差变大。

算数中积的误差公式为：

f(x1,x2⋯,xn)=∏i=1nxie(∏i=1nxi)≈∑i=1n[(∏j=1,j≠inxj∗)e(xi)]er(∏i=1nxi)≈∑i=1ner(xi)f(x_1,x_2\dotsb,x_n)=\prod_{i=1}^{n}x_i\\ e(\prod_{i=1}^{n}x_i)\approx\sum_{i=1}^n \left [\left (\prod_{j=1,j\neq i}^{n}x^*_j\right )e(x_i)\right]\\ e_r(\prod_{i=1}^{n}x_i)\approx \sum_{i=1}^n e_r(x_i) f(x1​,x2​⋯,xn​)=i=1∏n​xi​e(i=1∏n​xi​)≈i=1∑n​⎣⎡​⎝⎛​j=1,j​=i∏n​xj∗​⎠⎞​e(xi​)⎦⎤​er​(i=1∏n​xi​)≈i=1∑n​er​(xi​)

事实上我们换个角度，积在某种意义上就是一个累加的过程，因此误差的累计传播规律也类似于和的规律，积的相对误差积累是一个累加过程，但是对于绝对误差而言，积很受大数的乘法影响，例如估计值是0.9，精确值是1，当他们各自乘一百倍后，相对误差因为只有一项，故没有什么变化，但是绝对误差却从0.1放大到了10。所以如果在需要避免绝对误差的情况之下，我们要尽可能的去避免大数去直接乘一个近似值。

商的误差就可以类比减法的误差，直接给出我们的证明推论：

f(x1,x2)=x1x2er(x1x2)≈1x2∗e(x1)−x1∗(x2∗)2e(x2)=x1∗x2∗[er(x1)−er(x2)]≈er(x1)−er(x2)f(x_1,x_2) = \frac{x_1}{x_2}\\ e_r(\frac{x_1}{x_2})\approx\frac{1}{x_2^*}e(x_1)-\frac{x_1^*}{(x^*_2)^2}e(x_2)=\\ \frac{x_1^*}{x^*_2}[e_r(x_1)-e_r(x2)]\approx\\ e_r(x_1)-e_r(x_2)f(x1​,x2​)=x2​x1​​er​(x2​x1​​)≈x2∗​1​e(x1​)−(x2∗​)2x1∗​​e(x2​)=x2∗​x1∗​​[er​(x1​)−er​(x2)]≈er​(x1​)−er​(x2​)

不难看出，商的相对误差就是被除数和除数的相对误差的差，乘法在某种意义上也是除法，因此乘法中存在的问题在除法中也必定存在。乘法如果乘数过大会导致绝对误差过大，那么乘数取倒数就成为了除法，也就是说除法中要尽可能避免过小的数作为除数，这样才能最大的保护数据的准确性。

乘方、开方带来的误差和乘除法类似，这里不再过多赘述，直接给出我们的公式：

e(xp)=p(x∗)p−1e(x)er(xp)=per(x)e(x^p) = p(x^*)^{p-1}e(x)\\ e_r(x^p)=pe_r(x)e(xp)=p(x∗)p−1e(x)er​(xp)=per​(x)

综上所述，我们知晓了初始数据误差对于计算结果的影响，而前文提到的误差增长因子能很好的反映处计算结果和原始数据误差变化的情况及计算结果对于初始值的敏感程度。如果初始近似值变动而计算结果变化很小的时候，说明该计算是良态的。如果初始的近似值轻微扰动，但是结果变化极大的时候，则说明我们的计算是敏感的，病态的。

算法设计的稳定性与病态条件

病态问题

我们刚分析完了我们的算法的敏感、病态的理论，这里我以一个例子来展示病态函数是如何影响我们的结果的。

设f(x)=x2−x−10100，求f(99)的相对误差，并讨论x=99附近的性态。其中99的相对误差为1%（即99是一个估计值,存在1%的误差）设f(x) = x^2-x-10100，求f(99)的相对误差，并讨论x=99附近的性态。 \\其中99的相对误差为1\%（即99是一个估计值,存在1\%的误差）设f(x)=x2−x−10100，求f(99)的相对误差，并讨论x=99附近的性态。其中99的相对误差为1%（即99是一个估计值,存在1%的误差）

我们直接利用前文提到的泰勒展开误差估计公式计算，接下去分析:

er(f)=f′(99)×−99200×1%=−99%e_r(f)={f}\\'(99)\times \frac{-99}{200}\times1\%=-99\% er​(f)=f′(99)×200−99​×1%=−99%

这就说明当初始输入了一个相对误差在1%的初始值的时候，经过函数计算，函数值的相对误差会放大99倍。

f(99)=−200,f(99.9)=−20.9，f(99)=10f(99.9)f(99)=-200,f(99.9)=-20.9，f(99)=10f(99.9)f(99)=−200,f(99.9)=−20.9，f(99)=10f(99.9)

在我们初始的扰动只有0.9的情况，经过计算后的值却扩大到了10倍，按着相对误差的计算，也就是10%的扰动带来了1000%的函数变化。因此我们称这个函数早x=99附近是一个病态的函数。

因此我们在分析问题的时候，要额外注意问题是否是良态的。

计算的稳定性

计算的稳定性主要体现在当处理同一问题的时候，选用不同的计算方法或算法，往往对结果有着显著的区别。例如下面这个例子：

a0=ln6−ln5≈0.1823，a20≈0.0087301587≈0.0087an=−5an−1+1n,a10=?a_0 = ln6-ln5\approx0.1823，a_{20}\approx0.0087301587\approx0.0087\\a_n=-5a_{n-1}+\frac{1}{n},a_{10}=?a0​=ln6−ln5≈0.1823，a20​≈0.0087301587≈0.0087an​=−5an−1​+n1​,a10​=?

这个题目大家一看，惊呼：真是简单，直接将a0a_0a0​套进递推式，直接就能解出来了。但结果恰恰出乎你的预料。如果你利用题中给出的公式进行计算，会得出一个极端奇怪的答案，往往你还不自知错误所在。我们尝试分析一下。

得出错误结论的原因很显然是因为a0=0.1823a_0=0.1823a0​=0.1823发生了舍入误差，如果我们取六位有效数字，我们舍去了0.000022左右的大小，误差会随着计算式不断累积，如下

ϵ+0.1823=ln6−ln5a1=−5(0.1823+ϵ)+1a2=−5[−5(0.1823+ϵ)+12]⋯an=−5n(0.1823+ϵ)+⋯\epsilon+0.1823=ln6-ln5\\ a_1 = -5(0.1823+\epsilon)+1\\ a_2 = -5[-5(0.1823+\epsilon)+\frac{1}{2}]\\ \dotsb\\ a_n = -5^n(0.1823+\epsilon)+\dotsbϵ+0.1823=ln6−ln5a1​=−5(0.1823+ϵ)+1a2​=−5[−5(0.1823+ϵ)+21​]⋯an​=−5n(0.1823+ϵ)+⋯

我们可以发现，误差是呈现指数函数的形式进行增长的，我们可以算算到了第十项误差已经达到了原始误差的9,765,625倍，大概我们多算了214的样子，这显然是无法接受的答案，并且当你写出算法没有第十项的参考数值的时候，你会无法意识到自己的错误所在，因为你的算法逻辑完全正确，但你的错误恰恰发生在了最难注意到的误差之上。

那我们如何取解决这个问题呢？很显然对于这个递推而言，误差永远呈现指数函数形式进行变化。如果我们期许指数函数缩小，那么我们能不能试着把指数函数的底数换成一个绝对值小于1的数字呢？

答案显然是可以的，如果我们将原有递推式更改为以下这种情况：

15n−15an=an−1\frac{1}{5n}-\frac{1}{5}a_{n}=a_{n-1}5n1​−51​an​=an−1​

我只是反过来求解前一项，我们从后往前进行计算，那么，误差分析式就变成了

$$\epsilon+0.0087\
a_{19} = \frac{1}{5\cdot 20}-\frac{1}{5}(\epsilon+0.0087)\
a_{18} = \frac{1}{5\cdot 19}-\frac{1}{5}(\frac{1}{5\cdot 20}-\frac{1}{5}(\epsilon+0.0087))\
\dotsb\$$

很显然我们的误差项ϵ\epsilonϵ已经是一次比一次更小，呈现指数函数的缩小状态，这样得出的值很明显是要精确于前者的，最终的误差也不会超过0.000022。

通过这个例子我们可以发现，实际上对于同一个问题，采用的算法、分析的思路不同，带来的结果却天差地别。对于第一种解法，我们称为不稳定的算法，它会导致我们失真。第二种解法，我们的误差逐步在缩小，说明我们的算法是稳定的算法。

刚刚介绍的是因为算法不同的误差扩大化问题，还有另一种情况就是因为犯了我们之前说过的大数吃小数的问题。如题

求x2−(109+1)x+109=0的根求x^2-(10^9+1)x+10^9=0的根求x2−(109+1)x+109=0的根

通过因式分解我们很容易知道答案是x1=109,x2=1x_1=10^9,x_2=1x1​=109,x2​=1，但当我们利用求根公式−b±Δ2a\frac{-b\pm\sqrt{\Delta}}{2a}2a−b±Δ​​，我们能解出第一个更大解，但是当我们解第二个解的时候，由于−b−Δ-b-\sqrt{\Delta}−b−Δ​在我们计算机的字长不够时，会产生极为严重的截断误差，最终会得出一个等于0的解，很显然时不对的，这里犯了我们之前提到的大数和小数加减法的时候，往往会导致一些数据的丢失，因此我们转变思路，如果利用韦达定理：

x1×x2=cax1+x2=−bax_1\times x_2=\frac{c}{a}\\ x_1+x_2=-\frac{b}{a}x1​×x2​=ac​x1​+x2​=−ab​

不仅极为有效的减少了计算量，也不会再次出现刚才提到的问题了。

因此对于保持算法稳定性的原则就是，我们既要防止数字由于数量级相差过大，从而导致较小的数字丧失其计算作用；也要防止数字过于接近，使得有效数字缺失，产生不可避免的误差。更需要注意的就是我们的算法中产生的误差，应当是越来越小且收敛的。

练习题

  1. 已知对数lgalgalga的绝对误差限为0.5×10−n0.5\times 10^{-n}0.5×10−n,求相对误差限

  2. 如何使得(1−cosxx，x>>1),ln(30−302−1)(\frac{1-cosx}{x}，x>>1),ln(30-\sqrt{30^2-1})(x1−cosx​，x>>1),ln(30−302−1​)计算更精确

  3. 设f(x)=x2−log2xx,x=4.1±0.05f(x)=x^2-\frac{log_{2}x}{x},x=4.1\pm0.05f(x)=x2−xlog2​x​,x=4.1±0.05，若以u=f(4.1)u=f(4.1)u=f(4.1)作为近似值，请问u能有几位有效数字

  4. 用电表测得一个电阻两端电压和电流为V=220±2V,I=10±0.1A，求阻值R和相对、绝对误差。V=220\pm 2V,I=10\pm 0.1A，求阻值R和相对、绝对误差。V=220±2V,I=10±0.1A，求阻值R和相对、绝对误差。（PS:欧姆定律R=VIR=\frac{V}{I}R=IV​）

  5. 找到方程x2+912x=3x^2+9^{12}x=3x2+912x=3的根

Reference

《数值分析》（原书第二版） —— Timothy Sauer

《数值计算方法》（清华大学出版社） —— 吕同富等

About Me

作　　者：WarrenRyan
出　　处：https://www.cnblogs.com/WarrenRyan/
本文对应视频：BiliBili(待重录)
关于作者：热爱数学、热爱机器学习，喜欢弹钢琴的不知名小菜鸡。
版权声明：本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文链接。若需商用，则必须联系作者获得授权。
特此声明：所有评论和私信都会在第一时间回复。也欢迎园子的大大们指正错误，共同进步。或者直接私信我
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是作者坚持原创和持续写作的最大动力！

博主一些其他平台：
微信公众号：寤言不寐
BiBili——小陈的学习记录
Github——StevenEco
BiBili——记录学习的小陈（计算机考研纪实）
掘金——小陈的学习记录
知乎——小陈的学习记录

联系方式

电子邮件：cxtionch@live.com

社交媒体联系二维码：

# 数值分析——绪论及误差分析

全文目录

（博客园）机器学习

（Github）MachineLearning Math

数值分析的作用及其学习工具使用

数值分析方法是在解决科学研究和实践中遇到的各种奇怪复杂问题时，构建一种简单的数学物理模型来进行研究，最终得到我们需要的解。例如对于一个无法求得原函数的积分，我们可以用足够多的曲边梯形面积和进行求解。或者对于一个高次方程，我们也无法直接求得它的零点，那么这个时候，我们建立对应的数值分析模型时非常有必要的。

数值分析常用工具

对于本系列课程，建议读者对包括但不限于以下三种语言有一定的了解：C#、Matlab、Python ，本系列文章将用以下三种语言对其中涉及的算法进行Coding和解析。同时推荐安装以下库及应用程序：

应用程序：

  • Visual Studio Code：当今最强大的支持拓展的编辑器，适合各种语言的开发工作。强力建议安装。
  • Visual Studio 2022：宇宙第一IDE，微软出品的最强开发套件，配合C#如虎添翼事半功倍，建议使用C#的同学们安装
  • Pycharm：JB公司出品的Python IDE，适合于大型Python项目开发使用。如果只是写写小算法小程序，此软件过于庞大，吃性能。
  • Matlab：科学计算、建模第一开发工具，其中各种库可以有效的支撑你的需求，非常强大的一款工具软件，但是软件收费且非专业人员许多功能用不上
  • Octave：你可以理解为一个开源免费的Matlab，没有了商业用途的各种工具库，只留下了最基础的一些科学计算和Matlab语言，在科学计算方面非常不错，吴恩达在机器学习教程中也使用这款工具，推荐使用。
  • GeoGebra全家桶：科学计算、2、3D绘图最好用的工具之一。

库及SDK：

  • .NET 6（C#）：微软最新的开发框架，性能速度以及语法已经达到了前几名的位置，单论语言执行速度效率已经在前几名，支持U3d，web、ML等各种开发。单独拎出来是因为微软旗下库版本众多，这里推荐最新的.NET6
  • MathNet.Numerics：C#.NET上最强大的科学计算工具，在nuget中可以进行下载。
  • NPlot：C#.NET上一个优秀的绘图工具库
  • Numpy：python上一个优秀的科学计算库
  • Matplotlib：python上用于函数、数据等绘图的工具库。

数值分析的具体实例（多项式简化求值）

对于一个复杂多项式的计算，我们往往需要花费巨大的人力逐次计算，比如求：

f(x)=3x4−2x3+4x2+5x−1，求f(12)f(x)=3x^4-2x^3+4x^2+5x-1，求f(\frac{1}{2})f(x)=3x4−2x3+4x2+5x−1，求f(21​)

最最直接的方法就是进行计算

3×12×12×12×12−2×12×12×12+4×12×12+5×12−13\times\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}-2\times\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}+4\times\frac{1}{2}\times\frac{1}{2}+5\times\frac{1}{2}-13×21​×21​×21​×21​−2×21​×21​×21​+4×21​×21​+5×21​−1

我们计算了10次的乘法，同时还计算了四次加减法运算，这实在是太复杂了，那么我们试着去优化一下，倘若我将a=12×12a=\frac{1}{2}\times\frac{1}{2}a=21​×21​记录一下,那么式子就可以变成

3×a×a−2×a×12+4×a+5×12−13\times a\times a-2\times a\times\frac{1}{2}+4\times a+5\times\frac{1}{2}-13×a×a−2×a×21​+4×a+5×21​−1

这样，我们包含计算a在内大概需要计算7次乘法，四次加减法运算。很明显我们减少了不少的计算步骤，那么继续试试是否又其他的做法？

f(x)=3x4−2x3+4x2+5x−1=x(5+4x−2x2+3x3)−1=x(5+x(4−2x+3x2))−1=x(5+x(4+x(3x−2)))−1f(x)=3x^4-2x^3+4x^2+5x-1\\ =x(5+4x-2x^2+3x^3)-1\\ =x(5+x(4-2x+3x^2))-1\\ =x(5+x(4+x(3x-2)))-1 f(x)=3x4−2x3+4x2+5x−1=x(5+4x−2x2+3x3)−1=x(5+x(4−2x+3x2))−1=x(5+x(4+x(3x−2)))−1

通过这个变换（称为霍纳方法、嵌套乘法），我们只需要进行4次乘法和4次加法，计算的时候从内往外计算。一般而言，任意一个n次多项式都可以通过n次乘法和n次加法求得。

这个例子展示了科学计算的主题特征，简单计算的速度总是比复杂的计算快得多，同一个问题当我们采取不同的方法时可能可以有效的提升我们的效率和速度。这也是为什么数值分析（计算方法）显得尤为重要的原因。

计算机数值误差产生机理

计算机的数值存储方式

这里我们直接对计算机数值存储方式进行讲解而不作过多的展开。详细的内容可以参考我《.NET Guide》—— 基本数据类型及其存储方式 #5.2

计算机误差产生原因

数值分析是一门建立在计算机计算的基础上的学科，我们需要详细解释一下在计算机中，是什么导致了误差的出现。首先抛出一个问题，为什么计算机会存在精度问题？或者换句话说，任何非0、5结尾的小数在计算机中都不是一个精确值？

上述问题是一个非常有建设意义的问题，我们知道计算机时使用二进制进行数据的运算和存储的，那么根据二进制的计算法则，浮点数的二进制表示应当是∑i∗2−n,i∈{0,1},n∈N+\sum i*2^{-n},i \in \{0,1 \},n \in N^+∑i∗2−n,i∈{0,1},n∈N+，根据这个式子不难看出对于二进制而言，并不能用有限的位数表示所有的浮点数。举个浅显的例子，例如十进制数(13)10=0.3˙(\frac{1}{3})_{10}=0.\dot{3}(31​)10​=0.3˙，无论我们怎么写都无法用有限的十进制位数写出准确的数值，只能通过近似的值进行描述，当我们采用三进制数，我们就能用有限小数 (0.1)3(0.1)_3(0.1)3​ 进行描述。

因此对于二进制存储信息的计算机来说，数据的存储位数总是有限度的，我们不可能准确的表述每一个浮点数，于是，对于那些无法表示的数值，我们只能采取近似的手段进行拟合，误差就出现了。

误差

误差限与精度

首先我们给出这样一个定义，设x∗x^*x∗是某量的一个精确值，而 xxx 是此量的近似值，那么我们将 e=∣x∗−x∣e = |x^*-x|e=∣x∗−x∣ 定义为值的 绝对误差，也就是误差。

不过在工程实践中，我们往往是不知道实际值x∗x^*x∗的，同时误差e也并不是已知量，我们只能设法在计算过程中采取某些手段，对误差进行一个估计。这个估计是一个区间范围，那么给出下面条件

∃ϵ>0,∣e∣=∣x∗−x∣≤ϵ\exist \epsilon>0,\\ |e| = |x^*-x|\leq\epsilon∃ϵ>0,∣e∣=∣x∗−x∣≤ϵ

若上式成立，我们则给出了x−ϵ≤x∗≤x+ϵ,x∈[x−ϵ,x+ϵ]x-\epsilon\leq x^*\leq x+\epsilon,x\in[x-\epsilon,x+\epsilon]x−ϵ≤x∗≤x+ϵ,x∈[x−ϵ,x+ϵ]，于是我们称ϵ\epsilonϵ为绝对误差限，又称为精度。它描绘了我们近似值与绝对值的相似程度，给出了误差的最大值。

通常，在同一范围或数量级内，误差限越小，也就是我们的数据越精确。当逾越这条线的时候，绝对误差限就显得心有余而力不足了。例如数字的近似值是9999，精确值是10000，它的误差限是1；若近似值是9，精确值是10，误差限也是1，很明显前者的拟合效果要好于后者。我们称前者是99.99%的吻合度，而后者的吻合度是90%。

上述式子很明显是因为比较的数量级不同而导致的，为了更好的描述，我们采用相对误差及相对误差限进行描述。相对误差定义为er=ex∗=1−xx∗e_r=\frac{e}{x^*}=1-\frac{x}{x^*}er​=x∗e​=1−x∗x​，根据量纲的计算法则，很明显相对误差区别于绝对误差的地方就在于相对误差是一个无量纲常量，通常也采用百分比作为表示。

与绝对误差一样，我们通常无法直接得出ere_rer​的值，精确值往往也是未知的，同样的，我们使用相对误差限去给出一个区间估计。

∣er∣=∣ex∗∣≤ϵr|e_r| = |\frac{e}{x^*}|\leq \epsilon_r∣er​∣=∣x∗e​∣≤ϵr​

这里我们可以给出任意数值的误差估计方法，如下式所示：

设有精确值x1∗x^*_1x1∗​,估计值x1x_1x1​，构造函数y=f(x),f(x1)y=f(x),f(x_1)y=f(x),f(x1​)在x1∗x^*_1x1∗​处Taylor展开得：

f(x1)=f(x1∗)+(dfdx1)∗(x1−x1∗)+12!(d2fd2x1)∗(x1−x1∗)2+13!(d3fd3x1)∗(x1−x1∗)3+⋯f(x_1) = f(x^*_1)+(\frac{df}{dx_1})^*(x_1-x^*_1)+\frac{1}{2!}(\frac{d^2f}{d^2x_1})^*(x_1-x^*_1)^2+\frac{1}{3!}(\frac{d^3f}{d^3x_1})^*(x_1-x^*_1)^3+\dotsbf(x1​)=f(x1∗​)+(dx1​df​)∗(x1​−x1∗​)+2!1​(d2x1​d2f​)∗(x1​−x1∗​)2+3!1​(d3x1​d3f​)∗(x1​−x1∗​)3+⋯

同时我们知道估计值和精确值的差即为误差e(x1)e(x_1)e(x1​)，且为无穷小量,那么上述式子化为

f(x1)=f(x1∗)+e(x1)(dfdx1)∗+⋯故e(f(x))=f(x)−f(x∗)=f(x1)−f(x1∗)≈e(x1)(dfdx1)∗f(x_1)=f(x^*_1)+e(x_1)(\frac{df}{dx_1})^*+\dotsb\\ 故e(f(x))=f(x)-f(x^*)=f(x_1)-f(x^*_1)\approx e(x_1)(\frac{df}{dx_1})^*f(x1​)=f(x1∗​)+e(x1​)(dx1​df​)∗+⋯故e(f(x))=f(x)−f(x∗)=f(x1​)−f(x1∗​)≈e(x1​)(dx1​df​)∗

因此我们得出了误差的一个分析式，(dfdx1)∗(\frac{df}{dx_1})^*(dx1​df​)∗则称为绝对误差增长因子，表示误差经过运算fff后变化的速率或倍数。

同时给出相对误差估计推导：

e(f(x))r=e(f(x))f(x1∗)=(dfdx1)∗⋅e(x1)f(x1∗)=x1∗f(x1∗)(dfdx1)∗⋅er(x1)e(f(x))_r=\frac{e(f(x))}{f(x^*_1)}=(\frac{df}{dx_1})^* \cdot \frac{e(x_1)}{f(x_1^*)}\\ =\frac{x_1^*}{f(x_1^*)}(\frac{df}{dx_1})^*\cdot e_r(x_1)e(f(x))r​=f(x1∗​)e(f(x))​=(dx1​df​)∗⋅f(x1∗​)e(x1​)​=f(x1∗​)x1∗​​(dx1​df​)∗⋅er​(x1​)

同样的，x1∗f(x1∗)(dfdx1)∗\frac{x_1^*}{f(x_1^*)}(\frac{df}{dx_1})^*f(x1∗​)x1∗​​(dx1​df​)∗则称为相对误差增长因子，表示误差经过运算fff后变化的速率或倍数。

更一般的，给出任意函数的误差分析式：

绝对误差：e(f)≈∑i=1n[(∂f∂xi)⋅e(xi)]相对误差：er(f)≈∑i=1n[(xi∗f(⋯)⋅∂f∂xi)⋅er(xi)]绝对误差：e(f)\approx\sum_{i=1}^n \left [\left( \frac{\partial f}{\partial x_i}\right)\cdot e(x_i)\right]\\ 相对误差：e_r(f)\approx\sum_{i=1}^n \left [\left( \frac{x_i^*}{f(\dotsb)}\cdot\frac{\partial f}{\partial x_i}\right)\cdot e_r(x_i)\right] 绝对误差：e(f)≈i=1∑n​[(∂xi​∂f​)⋅e(xi​)]相对误差：er​(f)≈i=1∑n​[(f(⋯)xi∗​​⋅∂xi​∂f​)⋅er​(xi​)]

模型误差

模型误差往往是建模过程中，忽略了那些影响细微的次要因素，最终在要求精度的情况下，出现了模型的误差。例如我们初高中学过的公式G=mgG=mgG=mg，我们往往会有一句g取9.8N/kg，数学模型描述就为G=9.8mG=9.8mG=9.8m，这里的g就是一个近似值，而我们知道重力加速度在不同的地方是会受到高度、海拔、地壳密度分布等等因素影响的，由于我们的重力加速度取了近似值，因此这个模型也是一个近似模型，而这里必然会产生误差，由于近似模型导致的误差我们就称为模型误差。

观测误差

观测误差往往是因为数据的来源受到主观因素的影响，假设我有一个绝对精准的弹簧式重力计，我们用它去测量物体重量的时候必须通过肉眼去读取仪器上的刻度数字，在这里我们因读数不准产生的误差就是观测误差。或者同上面的质量和重量的方程中，假设我们知道了G，通过计算得出了质量m，它与实际质量的差值就是观测误差。

截断误差

截断误差在计算机和生活中是一个常见误差。我们在进行大笔金钱交易的时候往往会讨价还价，最常见的还价就是“抹零头”，284元的饭钱讲价成280元，这就是一种截断。计算机因数据溢出而直接抹去首尾的数据时，也是一种截断，只是这种更多视为一种错误，而不是误差。

如果你对高等数学了解一些，那必然知道泰勒展开式是一个无穷级数，我们常常采用带拉格朗日或皮亚诺余项去描述误差，这个误差也是因为我们只取了有限的项而导致了数据的不精确。

例如下列展开：

ex=S(x)=1+x+x22!+⋯+xnn!e^x=S(x)=1+x+\frac{x^2}{2!}+\dotsb+\frac{x^n}{n!}ex=S(x)=1+x+2!x2​+⋯+n!xn​

因为我们只采用前n项作为计算，实际的误差（拉格朗日余项）就为

ex−S(x)=xn+1(n+1)!eθxe^x-S(x) = \frac{x^{n+1}}{(n+1)!}e^{\theta x}ex−S(x)=(n+1)!xn+1​eθx

舍入误差

这是平时可能用到最多的一种误差形式了，四舍五入就是一种常见的舍入误差。计算机默认就是使用舍入误差去处理误差的。只不过计算机由于是二进制的原因，因此它只要是1就向上进1。采用舍入误差有一个特性就是你的误差绝对不会超过区间的一半。

有效数字缺失

有效数字是指数字位数里第一个非零值到最后的数字，例如0.001就具有一位有效数字。那么我们为什么需要去讨论有效数字这个问题呢？事实上，仔细想想，如果说我现在需要计算9.01−3\sqrt{9.01}-39.01​−3，9.01\sqrt{9.01}9.01​大约是3.0016662，假定我们的计算机只能存储三位有效数字，上述式子的差异却需要在第四位有效数字的时候才取到，那么9.01−3=3−3=0.00\sqrt{9.01}-3=3-3=0.009.01​−3=3−3=0.00，我们最终得到的数据连一位有效数字都没有，而实际上我们需要存储的是1.67×10−31.67\times 10^{-3}1.67×10−3即可获得更为精确的数字，同样是三位有效数字，0的答案就是我们的有效数字缺失。那么如何去避免这个问题呢？

我们如果做下列变换

(9.01−3)(9.01+3)9.01+3=9.01−96.00=1.67×10−3\frac{(\sqrt{9.01}-3)(\sqrt{9.01}+3)}{\sqrt{9.01}+3}=\frac{9.01-9}{6.00}=1.67\times 10^{-3}9.01​+3(9.01​−3)(9.01​+3)​=6.009.01−9​=1.67×10−3

这样就避免了在减法过程使得我们早早的丢失了有效数据。

再举一个例子，有下列式子

E1=lim⁡x→01−cosxsin2x,E2=lim⁡x→011+cosxE_1=\displaystyle \lim_{ x \to 0}\frac{1-cosx}{sin^2x},E_2=\displaystyle \lim_{ x \to 0}\frac{1}{1+cosx}E1​=x→0lim​sin2x1−cosx​,E2​=x→0lim​1+cosx1​

如果高等数学底子好的朋友们应该一眼就能看出这两个式子是相等的，结果应当是0.5，但是计算机会老老实实的去计算这些数据，先从分子的减法开始计算，如果x足够的小，那么1−cosx1-cosx1−cosx最终会因为有效数字过于靠后以至于计算机无法保存到有效数字从而使得E1=0E_1=0E1​=0。

如下图所示，当x越发减小，对整个式子结果的改变就越大：

这不是我们希望的结果，于是我们进行恒等变形：

(1+cosx)(1−cosx)(1+cosx)sin2x=sin2x+cos2x−cos2x(1+cosx)sin2x=sin2x(1+cosx)sin2x\frac{(1+cosx)(1-cosx)}{(1+cosx)sin^2x}=\frac{sin^2x+cos^2x-cos^2x}{(1+cosx)sin^2x}=\frac{sin^2x}{(1+cosx)sin^2x}(1+cosx)sin2x(1+cosx)(1−cosx)​=(1+cosx)sin2xsin2x+cos2x−cos2x​=(1+cosx)sin2xsin2x​

通过这个变换，巧妙的利用了消去可能导致有效位数缺失的减法操作。

误差的产生和避免

我们的模型误差、观测误差属于不可抗力导致的误差，我们只能尽可能去优化模型和提高精度，但是往往付出了极大代价却收获甚微。我们对于误差的避免更多是采取减少在计算过程中产生的截断和舍入误差，尽可能避免有效数字的缺失导致的数据丢失。

一般而言，这些误差产生通常是因为:

  1. 两个相近的数字进行减法导致了有效数字的缺失，例如刚才讲到的第一个例子，因此实际计算时我们应当避免过于接近的数字进行减法，如果无法避免，则通过平方和一类的公式进行升阶扩大处理。
  2. 临界数（接近数据存储最大值）先做了加法，例如如果计算机只能存储3位数字，若不考虑符号位，以无符号数进行计算，最大值应当是7，那么7+2-3=6很显然是能在计算机存储下的，但计算机按着顺序计算时会先计算7+2=9=0b1001，最高位将会被丢弃，最终却得到了7+2=1的答案，显然是不对的，如果调整成先做减法则不会有这个问题。
  3. 过于繁杂的计算步骤，当计算步骤过多的时候，每一次运算都会产生舍入误差，这些误差将会在后续不断的传播累计，最后影响结果。同时如果计算不稳定（经常出现舍入操作，例如每一次计算的尾数都大于4），也会导致误差过大。我们需要设计好计算简单，同时每一次舍入操作得到的舍和入都是相同结果（例如每次尾数都小于5）
  4. 极限状态下的误差扩大化，例如我们的估计值和真实值很接近，或者运算中有趋近于0的数字产生，往往就会导致有效位数的缺失，我们最好采用泰勒展开、和差化积，利用三角、对指数函数的运算法则对其进行处理，从而避免误差的继续累计。
  5. 绝对值过小的数字做除数，事实上误差有如下公式成立：e(xy)≈yex+xeyy2e(\frac{x}{y})\approx\frac{ye_x+xe_y}{y^2}e(yx​)≈y2yex​+xey​​,若y过小，则会导致误差成平方倍扩大。因此我们也需要避免这种情况，最简便的方法就是通过放大分子分母，使得其分母可以尽可能多的保留下有效数字

误差的传播

和的绝对误差即误差的和

f(x1,x2⋯,xn)=∑i=1nxie(∑i=1nxi)≈∑i=1ne(xi)er(∑i=1nxi)≈∑i=1nxi∗∑i=1nxi∗er(xi)f(x_1,x_2\dotsb,x_n)=\sum^n_{i=1}x_i\\ e(\sum_{i=1}^n x_i)\approx\sum_{i=1}^n e(x_i)\\ e_r(\sum_{i=1}^n x_i)\approx\sum_{i=1}^n \frac{x^*_i}{\sum_{i=1}^n x^*_i}e_r(x_i)f(x1​,x2​⋯,xn​)=i=1∑n​xi​e(i=1∑n​xi​)≈i=1∑n​e(xi​)er​(i=1∑n​xi​)≈i=1∑n​∑i=1n​xi∗​xi∗​​er​(xi​)

由此可以看出，我们传入的数据在进行加法运算时，误差大约和各个近似值的代数和是差不多的。因此我们可以得出结论：初始输入的近似值对于求和运算的影响时并不大的。

差的绝对误差相对而言较难估计，但是差的相对误差与我们的初始值关系是非常大的，就好比我们上文提到的，过于接近的数相减的时候，往往容易导致有效数字的严重缺失。因此我们尽可能要避免差的运算。

设f(x1,x2)=x1−x2er(x1−x2)≈x1∗x1∗−x2∗er(x1)−x2∗x1∗−x2∗er(x2)即er(x1−x2)≤∣x1∗x1∗−x2∗∣er(x1)+∣x2∗x1∗−x2∗∣er(x2)设f(x_1,x_2)=x_1-x_2\\ e_r(x_1-x_2)\approx\frac{x_1^*}{x_1^*-x_2^*}e_r(x_1)-\frac{x_2^*}{x_1^*-x_2^*}e_r(x_2)\\ 即e_r(x_1-x_2)\leq\left|\frac{x_1^*}{x_1^*-x_2^*}\right|e_r(x_1)+\left|\frac{x_2^*}{x_1^*-x_2^*}\right|e_r(x_2)设f(x1​,x2​)=x1​−x2​er​(x1​−x2​)≈x1∗​−x2∗​x1∗​​er​(x1​)−x1∗​−x2∗​x2∗​​er​(x2​)即er​(x1​−x2​)≤∣∣∣∣​x1∗​−x2∗​x1∗​​∣∣∣∣​er​(x1​)+∣∣∣∣​x1∗​−x2∗​x2∗​​∣∣∣∣​er​(x2​)

从这个式子也能看出如果输入的初始近似值过于接近，一旦做差，分母就会急剧的趋近0，使得整体的误差变大。

算数中积的误差公式为：

f(x1,x2⋯,xn)=∏i=1nxie(∏i=1nxi)≈∑i=1n[(∏j=1,j≠inxj∗)e(xi)]er(∏i=1nxi)≈∑i=1ner(xi)f(x_1,x_2\dotsb,x_n)=\prod_{i=1}^{n}x_i\\ e(\prod_{i=1}^{n}x_i)\approx\sum_{i=1}^n \left [\left (\prod_{j=1,j\neq i}^{n}x^*_j\right )e(x_i)\right]\\ e_r(\prod_{i=1}^{n}x_i)\approx \sum_{i=1}^n e_r(x_i) f(x1​,x2​⋯,xn​)=i=1∏n​xi​e(i=1∏n​xi​)≈i=1∑n​⎣⎡​⎝⎛​j=1,j​=i∏n​xj∗​⎠⎞​e(xi​)⎦⎤​er​(i=1∏n​xi​)≈i=1∑n​er​(xi​)

事实上我们换个角度，积在某种意义上就是一个累加的过程，因此误差的累计传播规律也类似于和的规律，积的相对误差积累是一个累加过程，但是对于绝对误差而言，积很受大数的乘法影响，例如估计值是0.9，精确值是1，当他们各自乘一百倍后，相对误差因为只有一项，故没有什么变化，但是绝对误差却从0.1放大到了10。所以如果在需要避免绝对误差的情况之下，我们要尽可能的去避免大数去直接乘一个近似值。

商的误差就可以类比减法的误差，直接给出我们的证明推论：

f(x1,x2)=x1x2er(x1x2)≈1x2∗e(x1)−x1∗(x2∗)2e(x2)=x1∗x2∗[er(x1)−er(x2)]≈er(x1)−er(x2)f(x_1,x_2) = \frac{x_1}{x_2}\\ e_r(\frac{x_1}{x_2})\approx\frac{1}{x_2^*}e(x_1)-\frac{x_1^*}{(x^*_2)^2}e(x_2)=\\ \frac{x_1^*}{x^*_2}[e_r(x_1)-e_r(x2)]\approx\\ e_r(x_1)-e_r(x_2)f(x1​,x2​)=x2​x1​​er​(x2​x1​​)≈x2∗​1​e(x1​)−(x2∗​)2x1∗​​e(x2​)=x2∗​x1∗​​[er​(x1​)−er​(x2)]≈er​(x1​)−er​(x2​)

不难看出，商的相对误差就是被除数和除数的相对误差的差，乘法在某种意义上也是除法，因此乘法中存在的问题在除法中也必定存在。乘法如果乘数过大会导致绝对误差过大，那么乘数取倒数就成为了除法，也就是说除法中要尽可能避免过小的数作为除数，这样才能最大的保护数据的准确性。

乘方、开方带来的误差和乘除法类似，这里不再过多赘述，直接给出我们的公式：

e(xp)=p(x∗)p−1e(x)er(xp)=per(x)e(x^p) = p(x^*)^{p-1}e(x)\\ e_r(x^p)=pe_r(x)e(xp)=p(x∗)p−1e(x)er​(xp)=per​(x)

综上所述，我们知晓了初始数据误差对于计算结果的影响，而前文提到的误差增长因子能很好的反映处计算结果和原始数据误差变化的情况及计算结果对于初始值的敏感程度。如果初始近似值变动而计算结果变化很小的时候，说明该计算是良态的。如果初始的近似值轻微扰动，但是结果变化极大的时候，则说明我们的计算是敏感的，病态的。

算法设计的稳定性与病态条件

病态问题

我们刚分析完了我们的算法的敏感、病态的理论，这里我以一个例子来展示病态函数是如何影响我们的结果的。

设f(x)=x2−x−10100，求f(99)的相对误差，并讨论x=99附近的性态。其中99的相对误差为1%（即99是一个估计值,存在1%的误差）设f(x) = x^2-x-10100，求f(99)的相对误差，并讨论x=99附近的性态。 \\其中99的相对误差为1\%（即99是一个估计值,存在1\%的误差）设f(x)=x2−x−10100，求f(99)的相对误差，并讨论x=99附近的性态。其中99的相对误差为1%（即99是一个估计值,存在1%的误差）

我们直接利用前文提到的泰勒展开误差估计公式计算，接下去分析:

er(f)=f′(99)×−99200×1%=−99%e_r(f)={f}\\'(99)\times \frac{-99}{200}\times1\%=-99\% er​(f)=f′(99)×200−99​×1%=−99%

这就说明当初始输入了一个相对误差在1%的初始值的时候，经过函数计算，函数值的相对误差会放大99倍。

f(99)=−200,f(99.9)=−20.9，f(99)=10f(99.9)f(99)=-200,f(99.9)=-20.9，f(99)=10f(99.9)f(99)=−200,f(99.9)=−20.9，f(99)=10f(99.9)

在我们初始的扰动只有0.9的情况，经过计算后的值却扩大到了10倍，按着相对误差的计算，也就是10%的扰动带来了1000%的函数变化。因此我们称这个函数早x=99附近是一个病态的函数。

因此我们在分析问题的时候，要额外注意问题是否是良态的。

计算的稳定性

计算的稳定性主要体现在当处理同一问题的时候，选用不同的计算方法或算法，往往对结果有着显著的区别。例如下面这个例子：

a0=ln6−ln5≈0.1823，a20≈0.0087301587≈0.0087an=−5an−1+1n,a10=?a_0 = ln6-ln5\approx0.1823，a_{20}\approx0.0087301587\approx0.0087\\a_n=-5a_{n-1}+\frac{1}{n},a_{10}=?a0​=ln6−ln5≈0.1823，a20​≈0.0087301587≈0.0087an​=−5an−1​+n1​,a10​=?

这个题目大家一看，惊呼：真是简单，直接将a0a_0a0​套进递推式，直接就能解出来了。但结果恰恰出乎你的预料。如果你利用题中给出的公式进行计算，会得出一个极端奇怪的答案，往往你还不自知错误所在。我们尝试分析一下。

得出错误结论的原因很显然是因为a0=0.1823a_0=0.1823a0​=0.1823发生了舍入误差，如果我们取六位有效数字，我们舍去了0.000022左右的大小，误差会随着计算式不断累积，如下

ϵ+0.1823=ln6−ln5a1=−5(0.1823+ϵ)+1a2=−5[−5(0.1823+ϵ)+12]⋯an=−5n(0.1823+ϵ)+⋯\epsilon+0.1823=ln6-ln5\\ a_1 = -5(0.1823+\epsilon)+1\\ a_2 = -5[-5(0.1823+\epsilon)+\frac{1}{2}]\\ \dotsb\\ a_n = -5^n(0.1823+\epsilon)+\dotsbϵ+0.1823=ln6−ln5a1​=−5(0.1823+ϵ)+1a2​=−5[−5(0.1823+ϵ)+21​]⋯an​=−5n(0.1823+ϵ)+⋯

我们可以发现，误差是呈现指数函数的形式进行增长的，我们可以算算到了第十项误差已经达到了原始误差的9,765,625倍，大概我们多算了214的样子，这显然是无法接受的答案，并且当你写出算法没有第十项的参考数值的时候，你会无法意识到自己的错误所在，因为你的算法逻辑完全正确，但你的错误恰恰发生在了最难注意到的误差之上。

那我们如何取解决这个问题呢？很显然对于这个递推而言，误差永远呈现指数函数形式进行变化。如果我们期许指数函数缩小，那么我们能不能试着把指数函数的底数换成一个绝对值小于1的数字呢？

答案显然是可以的，如果我们将原有递推式更改为以下这种情况：

15n−15an=an−1\frac{1}{5n}-\frac{1}{5}a_{n}=a_{n-1}5n1​−51​an​=an−1​

我只是反过来求解前一项，我们从后往前进行计算，那么，误差分析式就变成了

$$\epsilon+0.0087\
a_{19} = \frac{1}{5\cdot 20}-\frac{1}{5}(\epsilon+0.0087)\
a_{18} = \frac{1}{5\cdot 19}-\frac{1}{5}(\frac{1}{5\cdot 20}-\frac{1}{5}(\epsilon+0.0087))\
\dotsb\$$

很显然我们的误差项ϵ\epsilonϵ已经是一次比一次更小，呈现指数函数的缩小状态，这样得出的值很明显是要精确于前者的，最终的误差也不会超过0.000022。

通过这个例子我们可以发现，实际上对于同一个问题，采用的算法、分析的思路不同，带来的结果却天差地别。对于第一种解法，我们称为不稳定的算法，它会导致我们失真。第二种解法，我们的误差逐步在缩小，说明我们的算法是稳定的算法。

刚刚介绍的是因为算法不同的误差扩大化问题，还有另一种情况就是因为犯了我们之前说过的大数吃小数的问题。如题

求x2−(109+1)x+109=0的根求x^2-(10^9+1)x+10^9=0的根求x2−(109+1)x+109=0的根

通过因式分解我们很容易知道答案是x1=109,x2=1x_1=10^9,x_2=1x1​=109,x2​=1，但当我们利用求根公式−b±Δ2a\frac{-b\pm\sqrt{\Delta}}{2a}2a−b±Δ​​，我们能解出第一个更大解，但是当我们解第二个解的时候，由于−b−Δ-b-\sqrt{\Delta}−b−Δ​在我们计算机的字长不够时，会产生极为严重的截断误差，最终会得出一个等于0的解，很显然时不对的，这里犯了我们之前提到的大数和小数加减法的时候，往往会导致一些数据的丢失，因此我们转变思路，如果利用韦达定理：

x1×x2=cax1+x2=−bax_1\times x_2=\frac{c}{a}\\ x_1+x_2=-\frac{b}{a}x1​×x2​=ac​x1​+x2​=−ab​

不仅极为有效的减少了计算量，也不会再次出现刚才提到的问题了。

因此对于保持算法稳定性的原则就是，我们既要防止数字由于数量级相差过大，从而导致较小的数字丧失其计算作用；也要防止数字过于接近，使得有效数字缺失，产生不可避免的误差。更需要注意的就是我们的算法中产生的误差，应当是越来越小且收敛的。

练习题

  1. 已知对数lgalgalga的绝对误差限为0.5×10−n0.5\times 10^{-n}0.5×10−n,求相对误差限

  2. 如何使得(1−cosxx，x>>1),ln(30−302−1)(\frac{1-cosx}{x}，x>>1),ln(30-\sqrt{30^2-1})(x1−cosx​，x>>1),ln(30−302−1​)计算更精确

  3. 设f(x)=x2−log2xx,x=4.1±0.05f(x)=x^2-\frac{log_{2}x}{x},x=4.1\pm0.05f(x)=x2−xlog2​x​,x=4.1±0.05，若以u=f(4.1)u=f(4.1)u=f(4.1)作为近似值，请问u能有几位有效数字

  4. 用电表测得一个电阻两端电压和电流为V=220±2V,I=10±0.1A，求阻值R和相对、绝对误差。V=220\pm 2V,I=10\pm 0.1A，求阻值R和相对、绝对误差。V=220±2V,I=10±0.1A，求阻值R和相对、绝对误差。（PS:欧姆定律R=VIR=\frac{V}{I}R=IV​）

  5. 找到方程x2+912x=3x^2+9^{12}x=3x2+912x=3的根

Reference

《数值分析》（原书第二版） —— Timothy Sauer

《数值计算方法》（清华大学出版社） —— 吕同富等

About Me

作　　者：WarrenRyan
出　　处：https://www.cnblogs.com/WarrenRyan/
本文对应视频：BiliBili(待重录)
关于作者：热爱数学、热爱机器学习，喜欢弹钢琴的不知名小菜鸡。
版权声明：本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文链接。若需商用，则必须联系作者获得授权。
特此声明：所有评论和私信都会在第一时间回复。也欢迎园子的大大们指正错误，共同进步。或者直接私信我
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是作者坚持原创和持续写作的最大动力！

博主一些其他平台：
微信公众号：寤言不寐
BiBili——小陈的学习记录
Github——StevenEco
BiBili——记录学习的小陈（计算机考研纪实）
掘金——小陈的学习记录
知乎——小陈的学习记录

联系方式

电子邮件：cxtionch@live.com

社交媒体联系二维码：

【机器学习】数值分析01——绪论及误差分析相关推荐

  1. 周志华 《机器学习初步》 绪论

    周志华 <机器学习初步> 绪论 Datawhale2022年12月组队学习 ✌ 文章目录 周志华 <机器学习初步> 绪论 一.机器学习 二.典型的机器学习过程 三.计算学习理论 ...

  2. 机器学习算法 01 —— K-近邻算法(数据集划分、归一化、标准化)

    文章目录 系列文章 K-近邻算法 1 什么是K-近邻算法 1.1 K-近邻算法(KNN)概念 1.2 举例说明K-近邻算法 1.3 K-近邻算法流程总结 2 K-近邻算法API初步使用 2.1 Sci ...

  3. 机器学习入门 01 —— 机器学习概述

    文章目录 系列文章 机器学习概述 1.1.人工智能概述 1 人工智能应用场景 2 人工智能小案例 3 人工智能发展必备三要素 4 人工智能.机器学习和深度学习 5 小结 1.2.人工智能发展历程 1. ...

  4. 数值分析(1)误差及误差分析

    数值分析1.误差及误差分析 第一章 有效数 有效数字和相对误差 误差的数值运算 条件数 第一章 有效数 定义:某个数字x∗x^*x∗可以写成下面的形式 x∗=+/−10m∗0.a1a2...an... ...

  5. PRML 01 绪论：引言与引例

    1引言 2引例 Polynomial Curve Fitting 1泛化性能评价 2减小过拟合 21增大数据集 22beyas 23归则化 regularization 作者Christopher M ...

  6. 机器学习笔记(一)绪论

    1.绪论 1.1引言 机器学习致力于研究如何通过计算的手段,利用经验来改善系统自身的性能:经验,则以数据的形式存在,故而,机器学习所研究的,正是在计算机上从数据中产生模型的算法,即学习算法.基于学习算 ...

  7. 【李宏毅机器学习】01：机器学习介绍 Introduction

    李宏毅机器学习01:机器学习介绍 Introduction 文章目录 李宏毅机器学习01:机器学习介绍 Introduction 一.机器学习步骤 二.机器学习框架 三.机器学习学习地图 (一)Lea ...

  8. 李宏毅《机器学习》笔记：3.误差分析和梯度下降

    参考文章: 梯度下降:https://www.bilibili.com/video/BV1Tr4y1N7Lh 梯度下降优化:https://www.bilibili.com/video/BV1r64y ...

  9. 周志华《机器学习》入门-绪论

    绪论 什么是机器学习? 人可以通过经验学习,比方说"朝霞不出门,晚霞行千里",就是通过经验得来的知识.获得知识后,即使在不同的地点,不同的时间,看到不同的霞,我们也能作出正确的判断 ...

最新文章

  1. javascript-arguments不确定参数使用
  2. 信息系统项目管理师 必背
  3. python从事哪些职业好玩_Python就业可选方向有哪些？带你了解Python主流职业选择！...
  4. Java equals（）和hashCode（）
  5. 【渝粤题库】陕西师范大学201941 Java程序设计 作业（专升本）
  6. github设置仓库可见性 私人仓库设置他人协作/可见
  7. 小米获京东自营安卓平板销量冠军 小米平板5 Pro全版本降100元
  8. C#_基础_部分类partial（十八）
  9. 论火力发电锅炉之改进
  10. csgo查询服务器延迟,《csgo》网络延迟怎么查看 网络延迟ping查看方法分享
  11. 和自然语言处理有关的英语_自然语言处理对非英语语言的重要性
  12. 魅族官方刷机教程地址（免费）
  13. js开发html5游戏,JS开发HTML5游戏《神奇的六边形》（五）
  14. 携程React Native实践
  15. linux内核编程（hello world示例程序）
  16. 解决No converter for [class java.util.ArrayList] with preset Content-Type ‘null‘问题
  17. 单按键自锁开关电路设计
  18. 计算机在物理学中应用论文3000字,大学物理论文3000字
  19. nginx入门基础（内附教学视频）
  20. Cisco Zone Base FireWall介绍及配置

热门文章

  1. 【软件质量】软件时效性
  2. Java 枚举类型的应用
  3. python3-输入华氏度转化为摄氏度
  4. 网络库libevent、libev、libuv、libhv对比
  5. Linux USB 驱动开发（三）—— 编写USB 驱动程序
  6. 软件项目外包平台 公司刚刚创业，人手不够怎么办 外包吧
  7. ARM uboot 的移植3 -从 uboot 官方标准uboot开始移植
  8. 视频播放器的html代码（二）
  9. 计算机网络——物理层(宽带接入技术)
  10. oracle用delete删除数据所需时间测试