算法复杂性分析及运算规则证明(一)

我们有必要知道算法的复杂性是算法运行所需要的计算机资源的量，需要空间资源的量称为空间复杂度，同样需要时间资源的量称为时间复杂度。那麽这个量与什么有关系呢？

这个量应该是只依赖于要解决的问题的规模，算法的输入和算法的本身。

专业术语用C=F（N，I，A）三元函数表示。时间T(time)，空间S（space）。

二者计量方法相似，且分析空间复杂度要比时间复杂度简单，因此我们主要讨论时间复杂度。但在此之前，同样需要说一下空间复杂度。

空间复杂度是算法在运行过程中临时占用的存储空间大小的度量, 同样是关于问题规模n和算法的输入i的函数s=s（n，i）。只要算法占用的存储空间不要达到计算机无法接受的程度（实际生活上应该没有或许不需要这样的算法）就行。所以，常常会见到通过牺牲空间复杂度来换取算法更加高效的运行时间效率。

算法在计算机存储器上占用的空间包括三个部分:输入输出，算法本身和运行临时占有。

算法的输入输出数据所占用的存储空间是由要解决的问题决定的，它不会随算法的不同而改变。

算法本身：存储算法本身所占用的存储空间与算法书写的长短成正比，要压缩这部分存储空间，就必须编写出较短的算法。我想实际应用需要根据需求采取不同的编程语言来实现，不同编程语言实现的代码长短差别很大，然而存储空间都在可接受范围之内（通常不同编程语言的效率更受关注）。

运行临时占有：

根据算法在运行过程中临时占用存储空间的不同，可以将算法分为两类。

原地算法（in-place algorithm）：只需要占用少量的临时工作单元，而且不随问题规模的大小而改变，我们称这种算法是“就地”进行的，是节省存储的算法。
非原地算法（not-in-place）：需要占用的临时工作单元数与解决问题的规模n有关，它随着n的增大而增大，当n较大时，将占用较多的存储单元。
算法临时占用空间是考虑算法空间复杂度时主要考虑的部分。相比于随着问题输入规模扩大而扩大的非原地算法，原地算法是更加简洁高效的算法（仅考虑空间复杂度时）。
参考https://baike.baidu.com/item/%E5%8E%9F%E5%9C%B0%E7%AE%97%E6%B3%95/8010757?fr=aladdin

时间复杂度

在我们知道了上面所说的三元函数后，我们需要做的是如何将复杂函数具体化。即对于给定的N，I,A如何导出T（N，I）的数学表达式，从而给出计算T（N，I）的法则。此处会用到高等数学的知识。

求T（N，I），算法在一台抽象的计算机上运行所需的时间。

解：设此抽象的计算机的元运算有k种，分别记为O1，O2，，，Ok。每执行一次这些元运算所需时间分别为t1,t2,,,tk。要知道的是这些t为常数，元运算也就是类似加减乘除等的运算。

对于给定的算法A，经统计，用到元运算Oi的次数为ei（i为下标），对于每个i（1<=i<=k）,ei是N和I的函数，即ei=ei（N，I）。

所以，T（N，I）= $\sum_{i=1}^{k}tiei$ （其中ei=ei（N，I））。

显然不可能对规模为N的每种合法输入I都统计ei（N，I）

故：只能在规模为N的某些或某类有代表性的合法输入中统计相应的ei来评价其时间复杂性。

在此，只考虑三种情况下的时间复杂性，即最坏情况，最好情况和平均情况。

图示DN（N为下标）是规模为N的合法输入的集合；I*是DN中使T（N，I*）达到Tmax（N）的合法输入。

实践证明：可操作性最好的且最具有实际价值的是最坏情况的时间复杂度。

随着研究的深入，要求用计算机解决的问题越来越复杂，规模越来越大，对求解这类问题的算法进行复杂性分析具有特别重要的意义。因而特别关注。

在此引入复杂性渐进性态的概念。

设T（N）是前面定义的关于算法A的复杂性函数。对于T（N），如果存在t（N），当N-> $\infty$ 时，使得（T（N）-t（N））/T（N）->0,就说t（N）是T（N）当N-> $\infty$ 时的渐进态性。

在数学上，t（N）是T（N）的渐进表达式。直观上，t（N）是T（N）的高阶项。

比如说：T（N）=4NlogN+3 $N^{2}$ +7，那么t（N）的一个答案就是3 $N^{2}$ 。

当N-> $\infty$ 时，T（N）渐进与t（N），我们有理由用t（N）替代T（N）作为算法A在N-> $\infty$ 时的复杂性的度量。

进一步考虑到，分析算法的复杂性目的在于比较求解同一问题的两个不同算法的效率。而只需确定各自的阶就可以了。换句话说这时的渐进复杂性分析只关心t（N）的阶。

所以，常常需要对t（n）的分析进一步简化，即假设算法中用到的所有不同的元运算各执行一次所需要的时间都是一个单位时间。

为了与此简化的复杂性分析相匹配，需要引入以下渐进意义下的符号O， $\Omega$ ， $\Theta$ ，o。

设f（N）和g（N）是定义在正数集上的正函数，存在常数C和自然数N0，使得存在N，当N>N0时，f（N）<=Cg（N).则称f（N）当N充分大时，上有界，且为g（N）。记为f（N）=O（g（N））。

简要证明两条规则（省略的写）如下图。

符号 $\Omega$ 为渐进下界，常常与O配合。上界的阶越低，下界的阶越高，则评估越精确，结果越有价值。

定义f（N）= $\Theta$ （g，（N））当且仅当f（N）=O（g（N)）且f（N）= $\Omega$ （g（N)）时，称为f（N）与g（N）同阶。

如果对于任意给定的 $\varepsilon$ >0，都存在正整数N0，使得当N>=N0时有f（N）/g（N）< $\varepsilon$ ,则称函数f（N）当N充分大时的阶比g（N）的低，记为f（N）=o（g（N）。

最后加上一张偷来的图片：

发现一个问题, 未完持续-----请看下一篇算法复杂性分析及运算规则证明(二)

算法复杂性分析及运算规则证明(一)相关推荐

【计算理论】计算复杂性 ( 时间复杂度时间单位 : 步数 | 算法分析 | 算法复杂性分析 )
文章目录一.时间复杂度时间单位二.算法分析三.算法复杂性分析一.时间复杂度时间单位图灵机计算时间是根据步数进行定义的 , 图灵机走 111 步 , 时间加一 , 每一步的时间可能不一致 ...
（算法设计与分析）第一章算法概述-第一节：算法基本概念和算法复杂性分析
文章目录一:算法与程序 (1)算法的定义 (2)算法的五大特征 (3)算法与程序的区别 (4)算法的描述方法二:算法复杂性分析 (1)时间复杂度 A:算法时间复杂度表示方法 B:表示算法渐进时间复 ...
背景建模--Vibe 算法优缺点分析
背景建模--Vibe 算法优缺点分析一.Vibe 算法的优点 Vibe背景建模为运动目标检测研究邻域开拓了新思路,是一种新颖.快速及有效的运动目标检测算法.其优点有以下两点: 1.思想简单,易于实现 ...
算法时间复杂度分析基础
摘要本文论述了在算法分析领域一个重要问题--时间复杂度分析的基础内容.本文将首先明确时间复杂度的意义,而后以形式化方式论述其在数学上的定义及相关推导.从而帮助大家从本质上认清这个概念. ...
算法学习四：算法性能分析理论基础——函数增长与渐进分析
算法学习四:算法性能分析理论基础--函数增长与渐进分析在算法性能分析过程中,特别是在算法运行效率分析中,我们经常使用渐渐分析法,它使我们在分析算法性能时不必纠结于不同硬件平台的差异性,着重考虑算法的 ...
算法时间复杂度分析——大O、大Ω、大θ、小o，小ω
最近开始转战传统算法分析的研究工作了,重新拾起以前学过的一些内容. 目录一.概述二.对常见的Ο和Ω进行分析 2.1 大O表示法 2.2 大Ω表示法三.P问题,NP问题,NP-hard问题,NPC ...
深圳大学算法实验一——排序算法性能分析
深圳大学算法实验一一.实验目的与要求 1. 掌握九种排序算法原理 2. 掌握不同排序算法时间效率的经验分析方法,验证理论分析与经验分析的一致性. 3. 对多种排序算法提出改进方案 4. 综合比较各种 ...
【算法】妙不可言---算法复杂性
#14天阅读挑战赛# 14天阅读挑战赛 CSDN近期举办14天阅读打卡活动目录一.算法复杂性 ◼ 一棋盘粮有多少 ◼ 神奇的兔子数列一.算法复杂性如果我们想要求这样一个序列的每个元素之和: 你 ...
Yolov1目标检测算法详细分析
Yolov1目标检测算法详细分析 Yolov1介绍这是继RCNN,fast-RCNN 和 faster-RCNN之后,rbg(Ross Girshick)大神挂名的又一大作,起了一个很娱乐化的名字: ...

算法复杂性分析及运算规则证明(一)

算法复杂性分析及运算规则证明(一)相关推荐

最新文章

热门文章