16.1引言
在求解一个新问题时，通常的思路是寻找当前问题与已解决问题之间的相似之处，从而轻松找到新问题的求解方法。
本章将对各种算法按照不同的方法进行分类，然后在随后的3章中分别介绍3个算法设计思想(即贪婪、分治和动态规划)。
16.2分类
关于算法的分类有很多种方法，下面列出了其中的一些分类方法:
●实现方法
●设计方法
●其他分类方法
16.3 按实现方法分类
1.递归或迭代
递归算法指算法反复地调用自身，直到满足某个基准条件。它在C、C++等函数式编程语言中被普遍采用。迭代算法中经常使用循环等结构，并有时采用栈和队列等数据结构来求解问题。
有些问题适合用递归实现，另一些问题则适合用迭代实现。例如，汉诺塔问题的递归实现非常容易理解。每一个递归实现均可以改成迭代实现，反之亦然。
2.过程式或声明式(非过程)
对于声明式编程语言，只需要指明所需达到的目标，而无需给出实施的细节。过程式编程语言需要指明得到期望结果的具体步骤。例如，SQL更倾向于是一种声明式语言，而非过程式，因为查询操作不需要给出查询的具体步骤。而C、PHP、PERL等则是过程式语言的例子。
3.串行或并行或分布式
当讨论算法时，一般认为计算机- -次执行- -条指令，这就是所谓的串行程序(算法)。并行算法则利用计算机体系结构的特点一次处理多条指令，并将原问题分割成多个子问题，然后将它们分配到多个处理器或者线程来分别求解。迭代算法一般是可并行化的。如果将并行算法分布到不同的机器上，则将这样的算法称为分布式算法。
4.确定性或不确定性
确定性算法基于预定义的过程来求解问题，而不确定性算法在每一步通过某种启发式规则来推测最优解。
5.精确或近似
许多问题不一定能够找出最优解。因此，那些能够给出最优解的算法称为精确算法。在计算机科学中，对于那些不能够提供精确解的问题，常常给出近似算法。近似算法往往用于求解NP难问题(详细描述见第20章)。
16. 4按设计方法分类
除了实现方法外，还可以根据设计方法来对算法进行分类。
1.贪婪法
贪婪算法将问题分为多个阶段。在每一个阶段，选取当前状态的最优决策，而不考虑对后续决策的影响。这意味着算法在执行过程中会选取某些局部最优解。贪婪法假设通过局部最优解可以获得全局最优解。
2.分治法
分治法按以下3个步骤求解问题:
1)分:将原问题分成多个子问题，这些子问题是与原问题类型相同的规模更小的实例。
2)递归:递归求解子问题。
3)治:合理地组合子问题的解。
例子:归并排序和二分查找算法。
3.动态规划方法
动态规划( Dynamic Programming，DP)与 备忘录方法相结合。动态规划与分治法的不同是:分治法的子问题之间不存在依赖关系，而DP的子问题存在重叠。通过备忘录技术(用一个表保存已解决子问题的答案)，动态规划法可将许多问题的复杂度从指数级降低为多项式级(O(n2)、O(n')等)。动态规划与递归的不同之处在于递归调用的备忘录技术。当各个子问题之间相互独立时，没有重复调用，则这种备忘录技术对降低复杂度没有任何帮助，因此动态规划不是一种适用于所有问题的方法。通过备忘录技术(用一个表保存已解决子问题的答案)，动态规划可以将算法复杂度从指数级降低为多项式级。
4.线性规划方法
在线性规划中，在满足不等式约束的条件下，最大化(或最小化)输入变量的线性函数。许多问题(如，有向图的最大流)可以采用线性规划方法。
5.归约(转化和求解)
这种方法的思想是，将一复杂的问题转化和求解为--个已有渐近最优解的已知问题。该方法的目标是寻找一个归约算法，使得归约后的算法复杂度不会更高。例如，寻找线性表中中位数的算法是:首先将线性表排序，然后寻找有序表的中间值。这两个步骤分别称为转化和求解。
16.5 其他分类法
1.按研究领域分类
在计算机科学中，每-个领域都有各自的问题并需要有效的算法。例如，查找算法、排序算法、归并算法、数值算法、图算法、字符串算法、几何算法、组合算法、机器学习、加密、并行算法、数据解压缩算法等。
2.按复杂度分类
算法根据与输入规模相关的求解时间进行分类。有些算法具有线性时间复杂度(O(n))，另一些算法耗费指数级时间，甚至某些算法从不停止。注意某些问题可能有不同复杂度的多种求解算法。
3.随机算法
有些算法需要进行随机选择。对于某些问题，其最快的求解算法必须涉及随机操作，例子:快速排序。
4.分支定界、枚举和回溯
这些方法在人工智能领域都有使用，这里不展开叙述。对于回溯方法，可参考第2章。
注意:在后面的三章中，将分别讨论贪婪、分治和动态规划三种算法设计技术。关注这三种技术，因为用这三种技术求解的问题比其他技术多。
