算法复杂度解析

摘要
      本文论述了在算法分析领域一个重要问题——时间复杂度分析的基础内容。本文将首先明确时间复杂度的意义，而后以形式化方式论述其在数学上的定义及相关推导。从而帮助大家从本质上认清这个概念。

前言
      通常，对于一个给定的算法，我们要做 两项分析。第一是从数学上证明算法的正确性，这一步主要用到形式化证明的方法及相关推理模式，如循环不变式、数学归纳法等。而在证明算法是正确的基础上，第二部就是分析算法的时间复杂度。算法的时间复杂度反映了程序执行时间随输入规模增长而增长的量级，在很大程度上能很好反映出算法的优劣与否。因此，作为程序员，掌握基本的算法时间复杂度分析方法是很有必要的。
      但是很多朋友并不能清晰的理解这一概念，究其原因，主要是因为没有从数学层面上理解其本质，而是习惯于从直观理解。下面，我们就一步步走近算法时间复杂度的数学本质。

算法时间复杂度的数学意义
      从数学上定义，给定算法A，如果存在函数F(n)，当n=k时，F(k)表示算法A在输入规模为k的情况下的运行时间，则称F(n)为算法A的时间复杂度。
      这里我们首先要明确输入规模的概念。关于输入规模，不是很好下定义，非严格的讲，输入规模是指算法A所接受输入的自然独立体的大小。例如，对于排序算法来说，输入规模一般就是待排序元素的个数，而对于求两个同型方阵乘积的算法，输入规模可以看作是单个方阵的维数。为了简单起见，在下面的讨论中，我们总是假设算法的输入规模是用大于零的整数表示的，即n=1,2,3,……,k,……
      我们还知道，对于同一个算法，每次执行的时间不仅取决于输入规模，还取决于输入的特性和具体的硬件环境在某次执行时的状态。所以想要得到一个统一精确的F(n)是不可能的。为了解决这个问题，我们做一下两个说明：
      1.忽略硬件及环境因素，假设每次执行时硬件条件和环境条件是完全一致的。
      2.对于输入特性的差异，我们将从数学上进行精确分析并带入函数解析式。

算法时间复杂度分析示例
      为了便于朋友们理解，我将不会采用教科书上惯用的快速排序、合并排序等经典示例进行分析，而是使用一个十分简单的算法作为示例。我们先来定义问题。
      问题定义：
      输入——此问题输入为一个有序序列，其元素个数为n，n为大于零的整数。序列中的元素为从1到n这n个整数，但其顺序为完全随机。
      输出——元素n所在的位置。（第一个元素位置为1）

      这个问题非常简单，下面直接给出其解决算法之一（伪代码）：

      LocationN(A)
      {
            for(int i=1;i<=n;i++)-----------------------t1
            {
                  if(A[i] == n) ----------------------------t2
                        { return i; }------------------------t3
            }
      }

      我们来看看这个算法。其中t1、t2和t3分别表示此行代码执行一次需要的时间。
      首先，输入规模n是影响算法执行时间的因素之一。在n固定的情况下，不同的输入序列也会影响其执行时间。最好情况下，n就排在序列的第一个位置，那么此时的运行时间为“t1+t2+t3”。最坏情况下，n排在序列最后一位，则运行时间为“n*t1+n*t2+t3=(t1+t2)*n+t3”。可以看到，最好情况下运行时间是一个常数，而最坏情况下运行时间是输入规模的线性函数。那么，平均情况如何呢？
      问题定义说输入序列完全随机，即n出现在1...n这n个位置上是等可能的，即概率均为1/n。而平均情况下的执行次数即为执行次数的数学期望，其解为：

      E
      = p(n=1)*1+p(n=2)*2+...+p(n=n)*n
      = (1/n)*(1+2+...+n)
      = (1/n)*((n/2)*(1+n))
      = (n+1)/2

      即在平均情况下for循环要执行(n+1)/2次，则平均运行时间为“(t1+t2)*(n+1)/2+t3”。
      由此我们得出分析结论：
      t1+t2+t3 <= F(n) <= (t1+t2)*n+t3，在平均情况下F(n) = (t1+t2)*(n+1)/2+t3

算法的渐近时间复杂度
      以上分析，我们对算法的时间复杂度F(n)进行了精确分析。但是，很多时候，我们不需要进行如此精确的分析，原因有下：
      1.在较复杂的算法中，进行精确分析是非常复杂的。
      2.实际上，大多数时候我们并不关心F(n)的精确度量，而只是关心其量级。
      基于此，提出渐近时间复杂度的概念。在正式给出渐近时间复杂度之前，要先给出几个数学定义：

      定义一：Θ(g(n))={f(n) | 如果存在正常数c1、c2和正整数n0，使得当n>=n0时，0<c1g(n)<=f(n)<=c2g(n)恒成立}
      定义二：Ο(g(n))={f(n) | 如果存在正常数c和正整数n0，使得当n>=n0时，0<=f(n)<=cg(n)恒成立}
      定义三：Ω(g(n))={f(n) | 如果存在正常数c和正整数n0，使得当n>=n0时，0<=cg(n)<=f(n)恒成立}

      可以看到，三个定义其实都定义了一个函数集合，只不过集合中的函数需要满足的条件不同。有了以上定义，就可以定义渐近时间复杂度了。
      不过这里还有个问题：F(n)不是确定的，他是在一个范围内变动的，那么我们关心哪个F(n)呢？一般我们在分析算法时，使用最坏情况下的F(n)来评价算法效率，原因有如下两点：
      1.如果知道了最坏情况，我们就可以保证算法在任何时候都不能比这个情况更坏了。
      2.很多时候，算法运行发生最坏情况的概率还是很大的，如查找问题中待查元素不存在的情况。且在很多时候，平均情况的渐近时间复杂度和最坏情况的渐近时间复杂度是一个量级的。

      于是给出如下定义：设F(n)为算法A在最坏情况下F(n)，则如果F(n)属于Θ(g(n))，则说算法A的渐近时间复杂度为g(n)，且g(n)为F(n)的渐近确界。

      还是以上面的例子为例，则在上面定义中F(n) = (t1+t2)*n+t3。则F(n)的渐近确界为n，其证明如下：

      证明：
      设c1=t1+t2，c2=t1+t2+t3，n0=2
      又因为 t1,t2,t3均大于0
      则，当n>n0时，0<c1n<=F(n)<=c2n 即 0<(t1+t2)*n<=(t1+t2)*n+t3<=(t1+t2+t3)*n恒成立。
      所以 F(n)属于Θ(n)
      所以 n是F(n)的渐近确界
      证毕

      在实际应用中，我们一般都是使用渐近时间复杂度代替实际时间复杂度来进行算法效率分析。一般认为，一个渐近复杂度为n的算法要优于渐近复杂度为n^2的算法。注意，这并不是说渐近复杂度为n的算法在任何情况下都一定更高效，而是说在输入规模足够大后（大于临界条件n0），则前一个算法的最坏情况总是好于后一个算法的最坏情况。事实证明，在实践中这种分析是合理且有效的。
      类似的，还可以给出算法时间复杂度的上确界和下确界 ：
      设F(n)为算法A在最坏情况下F(n)，则如果F(n)属于Ο(g(n))，则说算法A的渐近时间复杂度上限为g(n)，且g(n)为F(n)的渐近上确界。
      设F(n)为算法A在最坏情况下F(n)，则如果F(n)属于Ω(g(n))，则说算法A的渐近时间复杂度下限为g(n)，且g(n)为F(n)的渐近下确界。
      这里一定要注意，由于我们是以F(n)最坏情况分析的，所以，我们可以100%保证在输入规模超过临界条件n0时，算法的运行时间一定不会高于渐近上确界，但是并不能100%保证算法运行时间不会低于渐近下确界，而只能100%保证算法的最坏运行时间不会低于渐近下确界。

总结
      算法时间复杂度分析是一个很重要的问题，任何一个程序员都应该熟练掌握其概念和基本方法，而且要善于从数学层面上探寻其本质，才能准确理解其内涵。在以上分析中，我们只讨论了“紧确界”，其实在实际中渐近确界还分为“紧确界”和“非紧确界”，有兴趣的朋友可以查阅相关资料。
    本文就到这里了，希望本文内容能对各位有所帮助。

上边的内容来源：http://www.cnblogs.com/leoo2sk/archive/2008/11/14/1332381.html感觉不是很清晰，只好在找一篇博文来学习了.

一个是时间复杂度，一个是渐近时间复杂度。前者是某个算法的时间耗费，它是该算法所求解问题规模n的函数，而后者是指当问题规模趋向无穷大时，该算法时间复杂度的数量级。

 

当我们评价一个算法的时间性能时，主要标准就是算法的渐近时间复杂度，因此，在算法分析时，往往对两者不予区分，经常是将渐近时间复杂度T(n)=O(f(n))简称为时间复杂度，其中的f(n)一般是算法中频度最大的语句频度。

 

此外，算法中语句的频度不仅与问题规模有关，还与输入实例中各元素的取值相关。但是我们总是考虑在最坏的情况下的时间复杂度。以保证算法的运行时间不会比它更长。

 

常见的时间复杂度，按数量级递增排列依次为：常数阶O(1)、对数阶O(log2n)、线性阶O(n)、线性对数阶O(nlog2n)、平方阶O(n^2)、立方阶O(n^3)、k次方阶O(n^k)、指数阶O(2^n)。

 

1. 大O表示法

定义

设一个程序的时间复杂度用一个函数 T(n) 来表示，对于一个查找算法，如下： 

int seqsearch( int a[], const int n, const int x) 
{ 
int i = 0; 
for (; a[i] != x && i < n ; i++ ); 
if ( i == n) return -1; 
else return i; 
} 
这个程序是将输入的数值顺序地与数组中地元素逐个比较，找出与之相等地元素。 

在第一个元素就找到需要比较一次，在第二个元素找到需要比较2次，……　，在第n个元素找到需要比较n次。对于有n个元素的数组，如果每个元素被找到的概率相等，那么查找成功的平均比较次数为: 

f(n) = 1/n (n + (n-1) + (n-2) + ... + 1) = (n+1)/2 = O(n) 

这就是传说中的大O函数的原始定义。

用大O来表述 
要全面分析一个算法，需要考虑算法在最坏和最好的情况下的时间代价，和在平均情况下的时间代价。对于最坏情况，采用大O表示法的一般提法（注意，这里用的是“一般提法”）是：当且仅当存在正整数c和n0,使得 T(n) <= c*f(n)对于所有的n >= n0 都成立。则称该算法的渐进时间复杂度为T(n) = O(f(n))。这个应该是高等数学里面的第一章极限里面的知识。这里f(n) = (n+1)/2, 那么c * f(n)也就是一个一次函数。就是在图象上看就是如果这个函数在c*f(n)的下面，就是复杂度为T(n) = O(f(n))。

对于对数级，我们用大O记法记为O(log2N)就可以了。

规则
1） 加法规则 
T(n,m) = T1(n) + T2(n) = O ( max (f(n), g(m) ) 
2) 乘法规则 
T(n,m) = T1(n) * T2(m) = O (f(n) * g(m)) 
3)一个特例 
在大O表示法里面有一个特例，如果T1(n) ＝ O?， c是一个与n无关的任意常数，T2(n) = O ( f(n) ) 则有 
T(n) = T1(n) * T2(n) = O ( c*f(n) ) = O( f(n) ). 

也就是说，在大O表示法中，任何非0正常数都属于同一数量级，记为O(1)。 
4)一个经验规则 
有如下复杂度关系 
c < log2N < n < n * Log2N < n^2 < n^3 < 2^n < 3^n < n! 
其中c是一个常量，如果一个算法的复杂度为c 、 log2N 、n 、 n*log2N ,那么这个算法时间效率比较高 ，如果是 2^n , 3^n ,n!,那么稍微大一些的n就会令这个算法不能动了，居于中间的几个则差强人意.

1）基本知识点：没有循环的一段程序的复杂度是常数，一层循环的复杂度是O(n),两层循环的复杂度是O(n^2)? （我用^2表示平方，同理 ^3表示立方）；

2）二维矩阵的标准差，残差，信息熵，fft2,dwt2,dct2的时间复杂度: 标准差和残差可能O(n)，FFT2是O(nlog(n))，DWT2可能也是O(nlog(n))；信息熵要求概率，而dct的过程和jpeg一样。因为和jpeg一样,对二难矩阵处理了.Y=T*X*T‘，Z=Y.*Mask，这样子,还有分成8*8子图像了;

3)example：

1、设三个函数f,g,h分别为 f(n)=100n^3+n^2+1000 , g(n)=25n^3+5000n^2 , h(n)=n^1.5+5000nlgn

请判断下列关系是否成立：

（1） f(n)=O(g(n))

（2） g(n)=O(f(n))

（3） h(n)=O(n^1.5)

（4） h(n)=O(nlgn)

这里我们复习一下渐近时间复杂度的表示法T(n)=O(f(n))，这里的"O"是数学符号，它的严格定义是"若T(n)和f(n)是定义在正整数集合上的两个函数，则T(n)=O(f(n))表示存在正的常数C和n0 ,使得当n≥n0时都满足0≤T(n)≤C?f(n)。"用容易理解的话说就是这两个函数当整型自变量n趋向于无穷大时，两者的比值是一个不等于0的常数。这么一来，就好计算了吧。

◆ (1)成立。题中由于两个函数的最高次项都是n^3,因此当n→∞时，两个函数的比值是一个常数，所以这个关系式是成立的。

◆ （2）成立。与上同理。

◆ （3）成立。与上同理。

◆ （4）不成立。由于当n→∞时n^1.5比nlgn递增的快，所以h(n)与nlgn的比值不是常数，故不成立。

2、设n为正整数，利用大"O"记号，将下列程序段的执行时间表示为n的函数。

(1) i=1; k=0

while(i<n)

{ k=k+10*i;i++;

}

解答：T(n)=n-1， T(n)=O(n)， 这个函数是按线性阶递增的。

(2) x=n; // n>1

while (x>=(y+1)*(y+1))

y++;

解答：T(n)=n1/2 ，T(n)=O(n1/2)，最坏的情况是y=0，那么循环的次数是n1/2次，这是一个按平方根阶递增的函数。

(3) x=91; y=100;

while(y>0)

if(x>100)

{x=x-10;y--;}

else x++;

解答： T(n)=O(1)，这个程序看起来有点吓人，总共循环运行了1000次，但是我们看到n没有? 没。这段程序的运行是和n无关的，就算它再循环一万年，我们也不管他，只是一个常数阶的函数。

同一问题可用不同算法解决，而一个算法的质量优劣将影响到算法乃至程序的效率。算法分析的目的在于选择合适算法和改进算法。一个算法的评价主要从时间复杂度和空间复杂度来考虑。 

1、时间复杂度

（1）时间频度
一个算法执行所耗费的时间，从理论上是不能算出来的，必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试，只需知道哪个算法花费的时间多，哪个算法花费的时间少就可以了。并且一个算法花费的时间与算法中语句的执行次数成正比例，哪个算法中语句执行次数多，它花费时间就多。一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。

（2）时间复杂度
在刚才提到的时间频度中，n称为问题的规模，当n不断变化时，时间频度T(n)也会不断变化。但有时我们想知道它变化时呈现什么规律。为此，我们引入时间复杂度概念。

一般情况下，算法中基本操作重复执行的次数是问题规模n的某个函数，用T(n)表示，若有某个辅助函数f(n),使得当n趋近于无穷大时，T（n)/f(n)的极限值为不等于零的常数，则称f(n)是T(n)的同数量级函数。记作T(n)=Ｏ(f(n)),称Ｏ(f(n)) 为算法的渐进时间复杂度，简称时间复杂度。

在各种不同算法中，若算法中语句执行次数为一个常数，则时间复杂度为O(1),另外，在时间频度不相同时，时间复杂度有可能相同，如T(n)=n_²+3n+4与T(n)=4n²+2n+1它们的频度不同，但时间复杂度相同，都为O(n²)。

按数量级递增排列，常见的时间复杂度有：
常数阶O(1),对数阶O(log₂n),线性阶O(n),
线性对数阶O(nlog₂n),平方阶O(n²)，立方阶O(n³),...，
k次方阶O(n^k),指数阶O(2ⁿ)。随着问题规模n的不断增大，上述时间复杂度不断增大，算法的执行效率越低。

2、空间复杂度 
与时间复杂度类似，空间复杂度是指算法在计算机内执行时所需存储空间的度量。记作:
S(n)=O(f(n))

我们一般所讨论的是除正常占用内存开销外的辅助存储单元规模。讨论方法与时间复杂度类似，不再赘述。

（3）渐进时间复杂度评价算法时间性能
　　主要用算法时间复杂度的数量级(即算法的渐近时间复杂度)评价一个算法的时间性能。
【例3．7】有两个算法A₁和A₂求解同一问题，时间复杂度分别是T₁(n)=100n²，T₂(n)=5n³。
（1）当输入量n＜20时，有T₁(n)＞T₂(n)，后者花费的时间较少。
（2）随着问题规模n的增大，两个算法的时间开销之比5n³/100n²=n/20亦随着增大。即当问题规模较大时，算法A₁比算法A₂要有效地多。
它们的渐近时间复杂度O(n²)和O(n³)从宏观上评价了这两个算法在时间方面的质量。在算法分析时，往往对算法的时间复杂度和渐近时间复杂度不予区分，而经常是将渐近时间复杂度T(n)=O(f(n))简称为时间复杂度，其中的f(n)一般是算法中频度最大的语句频度。
【例3．8】算法MatrixMultiply的时间复杂度一般为T(n)=O(n³)，f(n)=n³是该算法中语句(5)的频度。下面再举例说明如何求算法的时间复杂度。

【例3．9】交换i和j的内容。
      Temp=i;
      i=j;
      j=temp;

　　以上三条单个语句的频度均为1，该程序段的执行时间是一个与问题规模n无关的常数。算法的时间复杂度为常数阶，记作T(n)=O(1)。
      如果算法的执行时间不随着问题规模n的增加而增长，即使算法中有上千条语句，其执行时间也不过是一个较大的常数。此类算法的时间复杂度是O(1)。

【例3．10】变量计数之一。
(1) x=0;y=0;
(2) for(k-1;k<=n;k++)
(3)     x++;
(4) for(i=1;i<=n;i++)
(5)       for(j=1;j<=n;j++)
(6)         y++;

　　一般情况下，对步进循环语句只需考虑循环体中语句的执行次数，忽略该语句中步长加1、终值判别、控制转移等成分。因此，以上程序段中频度最大的语句是(6)，其频度为f(n)=n²，所以该程序段的时间复杂度为T(n)=O(n²)。
　　当有若干个循环语句时，算法的时间复杂度是由嵌套层数最多的循环语句中最内层语句的频度f(n)决定的。

【例3．11】变量计数之二。
(1) x=1;
(2) for(i=1;i<=n;i++)
(3)       for(j=1;j<=i;j++)
(4)           for(k=1;k<=j;k++)
(5)               x++;

　　该程序段中频度最大的语句是(5)，内循环的执行次数虽然与问题规模n没有直接关系，但是却与外层循环的变量取值有关，而最外层循环的次数直接与n有关，因此可以从内层循环向外层分析语句(5)的执行次数：

则该程序段的时间复杂度为T(n)=O(n³/6+低次项)=O(n³)。

（4）算法的时间复杂度不仅仅依赖于问题的规模，还与输入实例的初始状态有关。
【例3．12】在数值A[0..n-1]中查找给定值K的算法大致如下：
   (1)i=n-1;
          (2)while(i>=0&&(A[i]!=k))
      (3)     i--;
      (4)return i; 

      此算法中的语句(3)的频度不仅与问题规模n有关，还与输入实例中A的各元素取值及K的取值有关:
①若A中没有与K相等的元素，则语句(3)的频度f(n)=n；
②若A的最后一个元素等于K,则语句(3)的频度f(n)是常数0。

（5）最坏时间复杂度和平均时间复杂度
　　最坏情况下的时间复杂度称最坏时间复杂度。一般不特别说明，讨论的时间复杂度均是最坏情况下的时间复杂度。
      这样做的原因是：最坏情况下的时间复杂度是算法在任何输入实例上运行时间的上界，这就保证了算法的运行时间不会比任何更长。
【例3．19】查找算法【例1·8】在最坏情况下的时间复杂度为T(n)=0(n)，它表示对于任何输入实例,该算法的运行时间不可能大于0(n)。
      平均时间复杂度是指所有可能的输入实例均以等概率出现的情况下，算法的期望运行时间。
      常见的时间复杂度按数量级递增排列依次为：常数0(1)、对数阶0(log₂n)、线形阶0(n)、线形对数阶0(nlog₂n)、平方阶0(n²)立方阶0(n³)、…、k次方阶0(n^k)、指数阶0(2ⁿ)。显然，时间复杂度为指数阶0(2ⁿ)的算法效率极低，当n值稍大时就无法应用。
      类似于时间复杂度的讨论，一个算法的空间复杂度(Space Complexity)S(n)定义为该算法所耗费的存储空间，它也是问题规模n的函数。渐近空间复杂度也常常简称为空间复杂度。算法的时间复杂度和空间复杂度合称为算法的复杂度。