因为Python
,我见识了优雅。优雅不经在于自己使用,还在于如何设计API
给别人使用。
设计 api 的时候,可以利用 python 的描述符
完成很多工作,而这些描述符操作,还有一个名字就是“魔法方法
”。前面我们介绍了一个装饰器魔法,现在再来认识一下迭代器神功。
迭代器(iterator
)是访问集合内元素的一种方式,提供了一种遍历类序列对象的方法。对于一般的序列,利用索引从0一直迭代到序列的最后一个元素。对象从集合的第一个元素开始访问,直到所有的元素都被访问一遍后结束。对于字典、文件、自定义对象类型等,可以自定义迭代方式,从而实现对这些对象的遍历。总之,迭起器就是定义了对对象进行遍历的方式。
一些编程语言C,C++需要实现这样的结构。另外一些高级语言python,ruby则把迭代协议在语言层面就实现了。当然,这样的隐藏了一些细节,有时候明明已经使用了,却浑然不知。
iter 函数
python提供了一个iter
函数用来生成迭代器。这个方法有两个参数,当只有一个参数的时候,若这个参数是一个容器
,则返回这个容器的迭代器对象
,若这个参数本身就是一个迭代器
,则返回其自身。
In [1]: alist = [1, 2, 3, 4]
In [2]: it = iter(alist)
In [3]: it
Out[3]: <listiterator at 0x102496e10>
In [4]: it2 = iter(it)
In [5]: id(it) == id(it2)
Out[5]: True
iterator 的特点
迭代器都有一个next
方法,每次调用这个方法而实现计数,当然计数不是通过索引实现,调用了next方法只会,迭代指针会指向下一个元素的位置。若下一个元素没有了,则会抛出StopIteration
异常。
In [6]: it.next()
Out[6]: 2
In [7]: it.next()
Out[7]: 3
In [8]: it.next()
Out[8]: 4
In [9]: it.next()
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)
<ipython-input-16-54f0920595b2> in <module>()
----> 1 it.next()
StopIteration:
In [10]:
这样做有什么用呢?试想想在迭代指针还没指到的当前元素时候,已经迭代之后的位置元素,那些元素需要计算么?因为只有迭代到当前位置的元素时候,才开始计算元素的值。在迭代之前可以不存在,在迭代之后可以被销毁。实现的迭代器不需要准备所遍历的所有元素,没错,这就是迭代器的一大魅力,惰性计算。
for 循环
知道了迭代器大致的用法,我们来遍历一个迭代器。
In [1]: it = iter(range(4))
In [2]: try:
...: while True:
...: print it.next()
...: except StopIteration:
...: pass
...:
0
1
2
3
In [3]:
上面的遍历看上去比较别扭,更不没有python优雅的感觉,或许,想到遍历一个容器,for in循环更优雅
In [3]: it = range(4)
In [4]: for i in it:
...: print i
...:
0
1
2
3
In [5]:
两次运算的效果几乎一样,那么for循环的机理是什么呢。前面所言python内置实现了各种迭代协议,for循环就是一个很好的例子。for 循环的时候,首先对循环对象实现迭代器包装,返回一个迭代器对象,然后每循环一步,就调用哪个迭代器对象的next方法,循环结束的时候,自动处理了 StopIteration这个异常。for循环是对迭代器进行迭代的语法糖。无处不在的语法糖。
当然实现迭代器的时候,有时候会把索引丢掉,在python可以使用内建函数enumerate
获取索引。
iterator 的定义
对于上面的 it 这个迭代器,是通过 iter方法实现的,那么iter函数到底做了什么呢?简而言之,实现了迭代器协议的对象,就是迭代器。什么事迭代器协议呢?再简而言之,满足下面两个条件即可:
- 实现了魔法方法
__iter__()
,返回一个迭代对象,这个对象有一个next()
方法, - 实现
next()
方法,返回当前的元素,并指向下一个元素的位置,当前位置已经没有元素的时候,抛出StopIteration
异常。
前面我们迭代range(4)是从零开始,现在我们实现一个迭代器对象,可以逆序迭代的。
class ReverseList():
def __init__(self, item):
self.list = range(item)
def __iter__(self):
return self
def next(self):
try:
return self.list.pop()
except:
raise StopIteration
In [1]: it = ReverseList(4)
In [2]: it.next()
Out[2]: 3
In [3]: it.next()
Out[3]: 2
In [4]: it.next()
Out[4]: 1
In [5]: it.next()
Out[5]: 0
In [6]:
更复杂的遍历逻辑,都可以在 next 方法里构造。当然,看到了这里,也就大概知道了迭代器的协议,也已经是python的数据结构实现了的。并且还没见识到惰性计算。其实吧,惰性计算,python有更好的处理魔法,就是生成器,关于生成器,比迭代器神功还有效。
接下来就是用迭代器的迭代之后销毁元素的特性,做一个练习吧。
有一个偶数项的列表 a = ["foo", 2, "bar", 4, "far", 6]
,希望对每两个相邻的两个元素打包,是为一组, 使得结果如下是这样的 [("foo", 2), ("bar", 4), ("far", 6)]
。如果是要打包是每三个一组呢?
有很多方法可以解决,下面使用迭代器进行处理,大概代码如下:
a = ["foo", 2, "bar", 4, "far", 6]
group_adjacent = lambda x, k: zip(*([iter(x)] * k))
In [1]: a = ["foo", 2, "bar", 4, "far", 6]
In [2]: group_adjacent = lambda x, k: zip(*([iter(x)] * k))
In [3]: group_adjacent(a, 2)
Out[3]: [('foo', 2), ('bar', 4), ('far', 6)]
In [4]:
对于迭代器,python还有很多高级功能,并且还专门有一个itertools
标准库用来做迭代器对象的相关处理。
迭代器魔法没有装饰器那么惊艳,却有着魔幻的力量,配合生成器,更有另一番天地。