最近在学习算法,对此也做一个总结:
排序对于任何一个程序员来说,可能都不会陌生。你学的第一个算法,可能就是排序。大部分编程语言中,也都提供了排序函数。在平常的项目中,我们也经常会用到排序。排序算法太多了,有很多可能你连名字都没听说过,比如猴子排序、睡眠排序、面条排序等。我只讲众多排序算法中的一小撮,也是最经典的、最常用的:冒泡排序、插入排序、选择排序、归并排序、快速排序、计数排序、基数排序、桶排序。
按照时间复杂度把它们分成了三类:
算法之间性能也有差异,从哪些方面分析呢?可以从以下三个方面分析比较
排序算法的执行效率
对于排序算法执行效率的分析,我们一般会从这几个方面来衡量:
1.最好情况、最坏情况、平均情况时间复杂度
我们在分析排序算法的时间复杂度时,要分别给出最好情况、最坏情况、平均情况下的时间复杂度。除此之外,你还要说出最好、最坏时间复杂度对应的要排序的原始数据是什么样的。
为什么要区分这三种时间复杂度呢?第一,有些排序算法会区分,为了好对比,所以我们最好都做一下区分。第二,对于要排序的数据,有的接近有序,有的完全无序。有序度不同的数据,对于排序的执行时间肯定是有影响的,我们要知道排序算法在不同数据下的性能表现。
2. 时间复杂度的系数、常数 、低阶
我们知道,时间复杂度反应的是数据规模n很大的时候的一个增长趋势,所以它表示的时候会忽略系数、常数、低阶。但是实际的软件开发中,我们排序的可能是10 个、100 个、1000 个这样规模很小的数据,所以,在对同一阶时间复杂度的排序算法性能对比的时候,我们就要把系数、常数、低阶也考虑进来。
3. 比较次数和交换(或移动)次数
基于比较的排序算法的执行过程,会涉及两种操作,一种是元素比较大小,另一种是元素交换或移动。所以,如果我们在分析排序算法的执行效率的时候,应该把比较次数和交换(或移动)次数也考虑进去。
排序算法的内存消耗
我们前面讲过,算法的内存消耗可以通过空间复杂度来衡量,排序算法也不例外。不过,针对排序算法的空间复杂度,我们还引入了一个新的概念,原地排序
(Sorted in place)。原地排序算法,就是特指空间复杂度是 O(1) 的排序算法。冒泡排序、插入排序、选择排序,都是原地排序算法。
排序算法的稳定性
仅仅用执行效率和内存消耗来衡量排序算法的好坏是不够的。针对排序算法,我们还有一个重要的度量指标,稳定性
。这个概念是说,如果待排序的序列中存在值相等的元素,经过排序之后,相等元素之间原有的先后顺序不变。
我通过一个例子来解释一下。比如我们有一-组数据2, 9, 3, 4, 8, 3,按照大小排序之后就是2,3,3,4,8,9。
这组数据里有两个3。经过某种排序算法排序之后,如果两个3的前后顺序没有改变,那我们就把这种排序算法叫作稳定的排序算法
;如果前后顺序发生变化,那对应的排序算法就叫作不稳定的排序算法
。
你可能要问了,两个3哪个在前,哪个在后有什么关系啊,稳不稳定又有什么关系呢?为什么要考察排序算法的稳定性呢?
很多数据结构和算法课程,在讲排序的时候,都是用整数来举例,但在真正软件开发中,我们要排序的往往不是单纯的整数,而是一-组对象, 我们需要按照对象的某个key来排序。
比如说,我们现在要给电商交易系统中的“订单”排序。订单有两个属性, -个是下单时间,另一个是订单金额。如果我们现在有10万条订单数据,我们希望按照金额从小到大对订单数据排序。对于金额相同的订单,我们希望按照下单时间从早到晚有序。对于这样一个排序需求,我们怎么来做呢?
最先想到的方法是:我们先按照金额对订单数据进行排序,然后,再遍历排序之后的订单数据,对于每个金额相同的小区间再按照下单时间排序。这种排序思路理解起来不难,但是实现起来会很复杂。
借助稳定排序算法,这个问题可以非常简洁地解决。解决思路是这样的:我们先按照下单时间给订单排序,注意是按照下单时间,不是金额。排序完成之后,我们用稳定排序算法,按照订单金额重新排序。两遍排序之后,我们得到的订单数据就是按照金额从小到大排序,金额相同的订单按照下单时间从早到晚排序的。为什么呢?
稳定排序算法可以保持金额相同的两个对象,在排序之后的前后顺序不变。第一次排序之后, 所有的订单按照下单时间从早到晚有序了。在第二次排序中,我们用的是稳定的排序算法,所以经过第二次排序之后,相同金额的订单仍然保持下单时间从早到晚有序。
接下来我将一一讲解各种经典算法的核心思想
冒泡排序
冒泡排序只会操作相邻的两个数据。每次冒泡操作都会对相邻的两个元素进行比较,看是否满足大小关系要求。如果不满足就让它俩互换。一次冒泡会让至少一个元素移动到它应该在的位置,重复 n 次,就完成了 n 个数据的排序工作。
可以看出,经过一次冒泡操作之后,6 这个元素已经存储在正确的位置上。要想完成所有数据的排序,我们只要进行 6 次这样的冒泡操作就行了。
实际上,刚讲的冒泡过程还可以优化。当某次冒泡操作已经没有数据交换时,说明已经达到完全有序,不用再继续执行后续的冒泡操作。我这里还有另外一个例子,这里面给 6 个元素排序,只需要 4次冒泡操作就可以了。
冒泡排序算法的原理比较容易理解,具体的代码我贴到下面,你可以结合着代码来看我前面讲的原理。
#pragma mark -
#pragma mark 冒泡排序
- (void)gly_bubbleSort:(NSString *)propertyName result:(NSComparisonResult)result
{
if (self.count <= 1)
{
return;
}
for (NSInteger i = 0; i < self.count; i++)
{
//提前退出冒泡循环的标志位
BOOL flag = NO;
for (NSInteger j = 0; j < self.count - i - 1; j++)
{
NSNumber *numberOne = [self[j] valueForKey:propertyName];
NSNumber *numberTwo = [self[j + 1] valueForKey:propertyName];
if ([numberOne compare:numberTwo] == result)
{
flag = YES;
[self exchangeObjectAtIndex:j withObjectAtIndex:j + 1];
}
}
if (!flag)
{
break;
}
}
}
现在,结合刚才我分析排序算法的三个方面,我有三个问题要问你。
第一,冒泡排序是原地排序算法吗?
冒泡的过程只涉及相邻数据的交换操作,只需要常量级的临时空间,所以它的空间复杂度为0(1), 是一个原地排序算法。
第二,冒泡排序是稳定的排序算法吗?
在冒泡排序中,只有交换才可以改变两个元素的前后顺序。为了保证冒泡排序算法的稳定性,当有相邻的两个元素大小相等的时候,我们不做交换,相同大小的数据在排序前后不会改变顺序,所以冒泡排序是稳定的排序算法。
第三,冒泡排序的时间复杂度是多少?
最好情况下,要排序的数据已经是有序的了,我们只需要进行一次冒泡操作,就可以结束了,所以最好情况时间复杂度是0(n)。而最坏的情况是,要排序的数据刚好是倒序排列的,我们需要进行n次冒泡操作,所以最坏情况时间复杂度为O(n2)。
最好、最坏情况下的时间复杂度很容易分析,那平均情况下的时间复杂是多少呢?我们前面讲过, 平均时间复杂度就是加权平均期望时间复杂度,分析的时候要结合概率论的知识。
对于包含n个数据的数组,这n个数据就有n!种排列方式。不同的排列方式,冒泡排序执行的时间肯定是不同的。比如我们前面举的那两个例子,其中一一个要进行6次冒泡,而另一个只需要4次。如果用概率论方法定量分析平均时间复杂度,涉及的数学推理和计算就会很复杂。我这里还有一种思路,通过“有序度”
和“逆序度”
这两个概念来进行分析。
有序度
是数组中具有有序关系的元素对的个数。有序元素对用数学表达式表示就是这样:
1有序元素对: a[i] <= a[j],如果i < j。
同理,对于一个倒序排列的数组,比如6, 5, 4, 3, 2, 1,有序度是0;对于一一个完全有序的数组,比如1, 2, 3, 4, 5, 6,有序度就是n*(n- -1)/2,也就是15。我们把这种完全有序的数组的有序度叫作满有序度
。
逆序度的定义正好跟有序度相反(默认从小到大为有序),我想你应该已经想到了。关于逆序度,我就不举例子讲了。你可以对照我讲的有序度的例子自己看下。
逆序元素对:a[i] > a[j], 如果 i < j。
关于这三个概念,我们还可以得到一个公式:逆序度
=满有序度
-有序度
。我们排序的过程就是一种增加有序度,减少逆序度的过程,最后达到满有序度,就说明排序完成了。
我还是拿前面举的那个冒泡排序的例子来说明。要排序的数组的初始状态是4, 5, 6, 3, 2, 1,其中,有序元素对有(4, 5)(4, 6)(5, 6), 所以有序度是3。n=6,所以排序完成之后终态的满有序度为n*(n-1)/2=15。
冒泡排序包含两个操作原子,比较
和交换
。每交换一次,有序度就加1。不管算法怎么改进,交换次数总是确定的,即为逆序度,也就是n*(n- -1)/2-初始有序度
。此例中就是15- -3=12,要进行12次交换操作。
对于包含n个数据的数组进行冒泡排序,平均交换次数是多少呢?最坏情况下,初始状态的有序度是0,所以要进行n(n-1)/2次交换。最好情况下,初始状态的有序度是n(n-1)/2,就不需要进行交换。我们可以取个中间值n*(n-1)/4,来表示初始有序度既不是很高也不是很低的平均情况。
换句话说,平均情况下,需要n*(n-1)/4次交换操作,比较操作肯定要比交换操作多,而复杂度的上限是O(n2),所以平均情况下的时间复杂度就是O(n2)。
这个平均时间复杂度推导过程其实并不严格,但是很多时候很实用,毕竟概率论的定量分析太复杂,不太好用。等我们讲到快排的时候,我还会再次用这种“不严格”的方法来分析平均时间复杂度。
插入排序(Insertion Sort)
我们先来看一个问题。一个有序的数组,我们往里面添加一个新的数据后,如何继续保持数据有序呢?很简单,我们只要遍历数组,找到数据应该插入的位置将其插入即可。
这是一个动态排序的过程,即动态地往有序集合中添加数据,我们可以通过这种方法保持集合中的数据一-直有序。而对于一组静态数据,我们也可以借鉴上面讲的插入方法,来进行排序,于是就有了插入排序算法。
那插入排序具体是如何借助.上面的思想来实现排序的呢
?
首先,我们将数组中的数据分为两个区间,已排序区间
和未排序区间
。初始已排序区间只有一个元素,就是数组的第一个元素。插入算法的核心思想是取未排序区间中的元素,在已排序区间中找到合适的插入位置将其插入,并保证已排序区间数据一-直有序。重复这个过程,直到未排序区间中元
素为空,算法结束。
如图所示,要排序的数据是4, 5, 6, 1, 3, 2,其中左侧为已排序区间,右侧是未排序区间。
插入排序也包含两种操作,一种是元素的比较
,一种是元素的移动
。当我们需要将一个数据a插入到已排序区间时,需要拿a与已排序区间的元素依次比较大小,找到合适的插入位置。找到插入点之后,我们还需要将插入点之后的元素顺序往后移动一-位,这样才能腾出位置给元素a插入。
对于不同的查找插入点方法(从头到尾、从尾到头),元素的比较次数是有区别的。但对于一个给定的初始序列,移动操作的次数总是固定的,就等于逆序度。
为什么说移动次数就等于逆序度呢?我拿刚才的例子画了一个图表,你一看就明白了。满有序度是n*(n-1)/2=15,初始序列的有序度是5,所以逆序度是10。插入排序中,数据移动的个数总和也等于10=3+3+4。
插入排序的原理也很简单吧?我也将代码实现贴在这里,你可以结合着代码再看下
#pragma mark -
#pragma mark 插入排序
- (void)gly_insertionSort:(NSString *)propertyName result:(NSComparisonResult)result
{
for (NSInteger i = 1; i < self.count; i++)
{
id aimObj = self[i];
NSNumber *aimNumber = [aimObj valueForKey:propertyName];
NSInteger j = i - 1;
for (; j >= 0; j--)
{
id obj = self[j];
NSNumber *number = [obj valueForKey:propertyName];;
if ([number compare:aimNumber] == result)
{
[self replaceObjectAtIndex:j + 1 withObject:self[j]];
}
else
{
break;
}
}
self[j + 1] = aimObj;
}
}
现在,我们来看点稍微复杂的东西。我这里还是有三个问题要问你。
第一,插入排序是原地排序算法吗?
从实现过程可以很明显地看出,插入排序算法的运行并不需要额外的存储空间,所以空间复杂度是0(1),也就是说,这是一个原地排序算法。
第二,插入排序是稳定的排序算法吗?
在插入排序中,对于值相同的元素,我们可以选择将后面出现的元素,插入到前面出现元素的后面,这样就可以保持原有的前后顺序不变,所以插入排序是稳定的排序算法。
第三,插入排序的时间复杂度是多少?
如果要排序的数据已经是有序的,我们并不需要搬移任何数据。如果我们从尾到头在有序数据组里面查找插入位置,每次只需要比较一个数据就能确定插入的位置。所以这种情况下,最好是时间复杂度为O(n)。 注意,这里是从尾到头遍历已经有序的数据
。
如果数组是倒序的,每次插入都相当于在数组的第一个位置插入新的数据,所以需要移动大量的数据,所以最坏情况时间复杂度为O(n2)。
在数组中插入一个数据的平均时间复杂度是O(n)。所以,对于插入排序来说,每次插入操作都相当于在数组中插入一个数据,循环执行n次插入操作,所以平均时间复杂度为O(n2)。
选择排序算法的实现思路有点类似插入排序,也分已排序区间和未排序区间。但是选择排序每次会从未排序区间中找到最小的元素,将其放到已排序区间的末尾。
照例,也有三个问题需要你思考,不过前面两种排序算法我已经分析得很详细了,这里就直接公布答案了。
首先,选择排序空间复杂度为0(1),是一种原地排序算法。选择排序的最好情况时间复杂度、最坏情况和平均情况时间复杂度都为0(n2)。 你可以自己来分析看看。
那选择排序是稳定的排序算法吗?这个问题我着重来说一下。
答案是否定的,选择排序是一种不稳定的排序算法。从我前面画的那张图中,你可以看出来,选择排序每次都要找剩余未排序元素中的最小值,并和前面的元素交换位置,这样破坏了稳定性。
比如5, 8, 5, 2, 9这样一-组数据,使用选择排序算法来排序的话,第一次找到最小元素 2,与第一个5交换位置,那第一个5和中间的5顺序就变了,所以就不稳定了。正是因此,相对于冒泡排序和插入排序,选择排序就稍微逊色了。
希尔排序
希尔排序**(Shell's Sort)是插入排序的一种又称“缩小增量排序”(Diminishing Increment Sort),是插入排序算法的一种更高效的改进版本。对于中等规模的数据效果显著,希尔排序是非稳定排序算法。
希尔排序核心思想:设待排序元素序列有n个元素,首先取一个整数increment(小于n)作为间隔将全部元素分为increment个子序列,所有距离为increment的元素放在同一个子序列中,在每一个子序列中分别实行直接插入排序。然后缩小间隔increment,重复上述子序列划分和排序工作。直到最后取increment=1,将所有元素放在同一个子序列中排序为止。 由于开始时,increment的取值较大,每个子序列中的元素较少,排序速度较快,到排序后期increment取值逐渐变小,子序列中元素个数逐渐增多,但由于前面工作的基础,大多数元素已经基本有序,所以排序速度仍然很快。
首先它把较大的数据集合分割成若干个小组(逻辑上分组),然后对每一个小组分别进行插入排序,此时,插入排序所作用的数据量比较小(每一个小组),插入的效率比较高
1>下面给出一个数据列:
2>第一趟取increment的方法是:n/3向下取整=3(关于increment的取法之后会有介绍)。将整个数据列划分为间隔为3的3个子序列,然后对每一个子序列执行直接插入排序,相当于对整个序列执行了部分排序调整。图解如下:
3>第二趟将间隔increment= increment/3向下取整+1=2,将整个元素序列划分为2个间隔为2的子序列,分别进行排序。图解如下:
4>第3趟把间隔缩小为increment= increment/3向下取整+1=1,当增量为1的时候,实际上就是把整个数列作为一个子序列进行插入排序,图解如下:
5>直到increment=1时,就是对整个数列做最后一次调整,因为前面的序列调整已经使得整个序列部分有序,所以最后一次调整也变得十分轻松,这也是希尔排序性能优越的体现。
直接上代码:
- (void)gly_shellSort:(NSString *)propertyName result:(NSComparisonResult)result
{
NSInteger gap = (NSInteger)self.count / 2;
while (gap >= 1)
{
for (NSInteger i = gap ; i < self.count; i++)
{
id tempObj = self[i];
NSNumber *tempNumber = [tempObj valueForKey:propertyName];
NSInteger j = i;
while (j >= gap && [[self[j - gap] valueForKey:propertyName] compare:tempNumber] == result)
{
[self replaceObjectAtIndex:j withObject:[self objectAtIndex:j - gap]];
j -= gap;
}
[self replaceObjectAtIndex:j withObject:tempObj];
}
gap = gap / 2;
}
}
最后总结:
- 冒泡、插入和选择排序的时间复杂度都是 O(n2),比较高,适合小规模数据的排序
- 希尔排序的时间复杂度为O(n(1.3—2)),因此中等大小规模表现良好
- 接下来讲到的快速排序和归并排序的时间复杂度均为O(nlogn),适合大规模数据的排序。
最后的最后:
自己写了一个NSMutableArray+GLYSort算法分类,只需1行代码,即可完成复杂排序操作。