算法的复杂度

函数的渐进增长

我们来比较下两种算法哪个更好,假设 A 算法需要执行 2n + 3 次操作,可以理解为先有一个 n 次的循环,执行完成后再有一个 n 次的循环,最后有三次赋值运算。 B 算法要做 3n + 1 次操作,你觉得哪个更快呢?

准确来说,答案是不固定的。还是得看 n 的次数。

当 n = 1 时,算法 A 效率不如算法 B (次数要比算法 B 多一些)。而当 n = 2 时,两者效率相同。当 n = 3 时,算法 A 就开始优于 B 了。当 n 越来越大时,A 的效率也越来越比 B 好。

此时我们给出这样的定义,输入规模 n 在没有限制的情况下,只要超过一个数值 N,这个函数就总是大于另一个函数,我们称函数是渐进增长的。

函数的渐进增长:给定两个函数 f(n) 和 g(n),如果存在一个整数 N,使得对于所有的 n > N,f(n)总是比 g(n)大,那么,我们说 f(n)的增长渐快与 g(n)。

从上面的例子中我们可以发现,随着 n 的增大,后面的 +3 还是 +1 其实是不影响最终算法的变化的,所以,我们可以忽略这些加法常数。某个算法,随着 n 的增大,它会越来越优于另一种算法或者越来越差与另一种算法。

算法时间复杂度

算法事件复杂度定义

在进行算法分析时,语句总的执行次数 T(n)是关于问题规模 n 的函数,进而分析 T(n)随 n 的变化情况并确定 T(n)的数量级。
算法的时间复杂度,也就是算法的时间量度,记作:T(n) = O(f(n))。它表示随问题规模 n 的增大,算法执行事件的增长率和 f(n)的增长率相同,称作算法的渐进时间复杂度,简称为时间复杂度。 其中 f(n)是问题规模 n 的某个函数。

用大写 O() 来体现算法事件复杂度的记法,我们称之为大 O 记法。 一般情况下,随着 n 的增长,T(n)增长最慢的算法为最优算法。

由此可知,文章开头的求和算法的时间复杂度分别为是 O(n)。

推导大 O 阶方法

那么如何分析一个算法的时间复杂度呢?即如何推导大 O 阶呢?我们给出了下面的推导方法:

  • 用常数 1 取代运行时间中的所有加法常数
  • 在修改后的运行次数函数中,只保留最高阶项
  • 如果最高阶项存在且不是 1,则去除与这个项相乘的常数。得到的结果就是大 O 阶

我们好像已经得到了一个推导算法时间复杂度的万能公式。可事实上,分析一个算法事件复杂度,没有这么简单,我们还需要看看如下的例子。

常数阶

首先顺序结构的时间复杂度:

int count = 100;// 执行一次
int sum = (count + 1) * count / 2;// 执行一次
printf("%d",sum);// 执行一次

为什么时间复杂度不是 O(3),而是 O(1)? 这个算法的运行次数函数是 f(n) = 3,根据推导大 O 阶的方法,第一步就是把常数项 3 改为 1,再保留最高阶项时发现,它根本就没有最高阶,所以这个算法的时间复杂度为 O(1)。

与问题的大小无关(n 的多少),执行时间恒定的算法,我们称之为具有 O(1)的时间复杂度,又叫常数阶。

对于分支结构而言,无论是真,还是假,执行的次数都是恒定的,不会随着 n 的变大而发生变化,所以单纯的分支结构(不包含在循环结构中),其时间复杂度也是 O(1)。

线性阶

线性阶的循环结构会复杂很多。要确定某个算法的阶次,我们通常需要确定某个特定语句或某个语句集运行的次数。 因此,我们要分析算法复杂度,关键就是要分析循环结构的运行情况。

下面这段代码,它的循环的时间复杂度为 O(n),因为循环体中的代码需要执行 n 次。

int i;
for(i = 0; i < n; i++){
    // 时间复杂度为 O(1)的程序步骤序列
}

对数阶

int count = 1;
while (count < n){
    count = count * 2;
    // 时间复杂度为 O(1)的程序步骤序列
}

由于每次 count 乘以 2 之后,就距离 n 又更近了一分。也就是说,有多少个 2 相乘后大于 n,则会退出循环。由 2x=n得到x=log2n。所以上面这段代码的时间复杂度为 O(logn)。

平方阶

int i, j;
for(i = 0; i < n; i++){
    for(j = 0; j < n; j++){
        // 时间复杂度为 O(1)的程序步骤序列
    }
}

上面的循环嵌套例子,内循环我们已经分析过了,时间复杂度是 O(n)。 而对于外层的循环,不过是内部这个时间复杂度为 O(n)的语句,再循环一次,也就是 O(n2)。

我们再把外循环的循环次数改为 m,事件复杂度就变为 O(m × n)。

int i, j;
for (i = 0; i < m; i++) {
    for (j = 0; j < n; j++) {
        // 时间复杂度为 O(1)的程序步骤序列
    }
}

不难看出,循环的时间复杂度等于循环体的时间复杂度乘以该循环运行的次数。

那么下面这个循环嵌套,它的时间复杂度是多少呢?

int i,j;
for(i=0; i<n; i++)
{
   for(j=i; j<n; j++) // 注意j=i,而不是为0
   {
     //时间复杂度为 O(1)的程序步骤序列
   }
}

由于当i=0时,内循环执行了n次,当i=1时,执行了n-1次,....当i=n-1时,执行了一次。所以总的执行次数为:

n + (n-1) + (n-2) + ... + 1 = \frac{n(n-1)}{2}=\frac{n^2}{2} + \frac{n}{2}

用我们推到大 O阶的方法,第一条,没有加法常数不予考虑;第二条,只保留最高阶,因此只保存\frac{n^2}{2};第三条,去除这个项相乘的常数,也就是去除\frac{1}{2},最终这段代码的时间复杂度为O(n2)。

常见的时间复杂度

前面我们已经了解到了其中的 O(1)常数阶、O(logn)对数阶、O(n)线性阶、O(n2)平方阶,还有常见的 O(n3)立方阶 、O(2n)指数阶

常用的时间复杂度所耗费的时间从少到多依次是:

O(1) < O(logn) < O(n) < O(nlogn) < O(n2) < O(n3) < O(2n)

最坏情况与平均情况

假设我们在一个随机数字的数组中查找一个数,有时候运气好,可能查找到的第一个就是的,这时候算法的时间复杂度是 O(1)。 但是也有可能这个数在最后一个位置待着,那么算法的时间复杂度则是 O(n),这是最坏的一种情况了。

最坏情况运行时间是一种保证,那就是运行时间将不会再坏了。在应用中,这是一种最重要的需求,通常,除非特别指定,我们提到的运行时间都是最坏情况的运行时间。

而平均运行时间也就是从概率的角度看,这个数字在每一个位置的可能性是相同的,所以平均的查找时间为 n / 2 次后发现这个目标元素。

平均运行时间是所有情况中最有意义的,因为它是期望的运行时间。也就是,我们运行一段程序代码时,是希望看到平均运行时间的。

但是在现实中,平均运行时间很难通过分析得到,一般都是通过运行一定数量级的实验数据后估算出来的。

对算法的分析,一种方法是计算所有情况的平均值,这种时间复杂度的计算方法成为平均时间复杂度。 另一种方法是计算最坏情况下的时间复杂度,这种方法称为最坏时间复杂度。一般在没有特殊说明的情况下,都是指的是最坏时间复杂度。

算法空间复杂度

算法的空间复杂度通过计算算法所需的存储空间实现,算法空间复杂度的计算公式记作:S(n)= O(f(n)),其中,n 为问题的规模,f(n)为语句关于 n 所占用存储空间的函数。

我们在写代码时,完全可以用空间换取时间。比如说,要判断某某年是不是闰年,你可能需要花时间和心思来写一个算法来计算了。这样在每次获取时,都要通过计算才能得到闰年的结果。

还有一种方法,就是新建一个数组,把年份按下标存储起来,是闰年,对于数据项的值就为 1,否则为 0。这样,所谓的判断某一年是否是闰年就变成了查找和这个数组的某一项是否为 1 了。

当然,此时就要牺牲一些硬盘中或者说内存中的空间了。这是通过一笔空间换时间的例子,到底哪个好,其实还是要根据实际情况来。

参考

《大话数据结构》

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,590评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,808评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,151评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,779评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,773评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,656评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,022评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,678评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,038评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,756评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,411评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,005评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,973评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,053评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,495评论 2 343

推荐阅读更多精彩内容