通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个 元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面的绝大多数元素占用的空间都白白浪费了。
所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间,在Python中,这种一边循环一边计算的机制,称为生成器(Generator)。
要创建一个generator,有很多种方法。第一种方法很简单,只要把一个列表生成式的[]改成(),就创建了一个generator:
>>> L = [x*x for x in range(3)]
>>> L
[0, 1, 4]
>>> G = (x*x for x in range(3))
>>> G
<generator object <genexpr> at 0x10774db40>
L和G仅仅是差别在最外层的[]和(),L是一个list,而G是一个generator。
list可以直接打印出每个元素,而generator呢?如果是一个一个打印出来,就要借助generator的next():
>>> G.next()
0
>>> G.next()
1
>>> G.next()
4
>>> G.next()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
generator保存的是算法,每次调用next()方法,就计算出下一个值,知道最后一个值,如果没有值了,就抛出StopIteration的异常。
使用循环,获取generator中的每个值,说明generator也是可迭代的:
>>> G = (x*x for x in range(3))
>>> for i in G:
... print i
...
0
1
4
此刻,再次执行:
>>> for i in G:
... print i
...
>>>
发现并没有打印出什么东西。这种特性也是迭代器所具备的。
如果推算的算法比较复杂,用类似列表生成式的for循环无法实现的时候,还可以用函数来实现。例如,著名的斐波拉契数列。除第一个和第二个数外,任意一个数都可以由前面两个数相加得到:
1,1,2,3,5,8,13,21...
使用函数打印出来:
>>> def fib(max):
... n,a,b = 0,0,1
... while n < max:
... print b
... a,b = b,a+b
... n = n+1
>>> fib(6)
1
1
2
3
5
8
仔细观察,可以看出,fib函数实际上是定义了斐波拉契数列的推算规则,可以从第一个元素开始,推算出后续任意的元素,这种逻辑其实非常类似generator。
也就是说,上面的函数和generator仅一步之遥。要把fib函数变成generator,只需要把print b改为yield b就可以了:
def fib(max):
n, a, b = 0, 0, 1
while n < max:
yield b
a, b = b, a + b
n = n + 1
这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字,那么这个函数就不再是一个普通函数,而是一个generator:
>>> fib(6)
<generator object fib at 0x10226ba00>
使用for循环来迭代:
>>> for i in fib(6):
... print i
...
1
1
2
3
5
8
>>> def odd():
... print 'step 1'
... yield 1
... print 'step 2'
... yield 3
... print 'step 3'
... yield 5
...
>>> o = odd()
>>> o.next()
step 1
1
>>> o.next()
step 2
3
>>> o.next()
step 3
5
>>> o.next()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
可以看到,odd不是普通函数,而是generator,在执行过程中,遇到yield就中断,下次又继续执行。执行3次yield后,已经没有yield可以执行了,所以,第4次调用next()就报错。
小结
generator是非常强大的工具,在Python中,可以简单地把列表生成式改成generator,也可以通过函数实现复杂逻辑的generator。
要理解generator的工作原理,它是在for循环的过程中不断计算出下一个元素,并在适当的条件结束for循环。对于函数改成的generator来说,遇到return语句或者执行到函数体最后一行语句,就是结束generator的指令,for循环随之结束。