一、生成器
- 生成器指的是生成器对象,可由生成器表达式得到,也可使用
yield
关键字得到一个生成器函数,调用这个函数得到一个生成器对象 - 生成器对象,是一个可迭代对象,是一个迭代器
- 生成器对象,是延迟计算、惰性求值的
1.1 生成器函数
- 函数体重包含
yield
语句的函数,就是生成器函数,调用后返回生成器对象
m = (i for i in range(5)) # 生成器表达式
print(type(m))
print(next(m))
print(next(m))
def inc(): # 生成器函数
for i in range(5):
yield i
print(type(inc))
print(type(inc()))
g = inc()
print(type(g))
print(next(g))
for x in g:
print(x)
print('!!!!!!!!!!!!!!!!!!!!!!')
for y in g:
print(y)
普通函数调用,函数会立即执行直到执行完毕
生成器函数调用,并不会立即执行函数体,而是需要使用 next
函数来驱动生成器函数执行后获得的生成器对象
生成器表达式和生成器函数都可得到生成器对象,只不过生成器函数可写的更加复杂的逻辑
二、生成器的执行
def gen():
print('line 1')
yield 1
print('line 2')
yield 2
print('line 3')
return 3
yield 4
next(gen()) # line 1
next(gen()) # line 1
g = gen()
print(next(g)) # line 1
print(next(g)) # line 2
print(next(g)) # StopIteration
print(next(g), 'End')) # 没有元素给个缺省值
- 在生成器函数中,可多次
yield
,每执行一次yield
后会暂停执行,把yield
表达式的值返回 - 再次执行会执行到下一个
yield
语句又会暂停执行 -
return
语句依然可以终止函数运行,但return
语句的返回值不能被获取到 -
return
会导致当前函数返回,无法继续执行,也无法继续获取下一个值,抛出StopIteration
异常 - 若函数没有显式的
return
语句,若生成器函数执行到结尾(相当于执行了return None
),一样会抛出StopIteration
异常
2.1 生成器函数
- 包含
yield
语句的生成器函数调用后,生成 生成器对象 的时候,生成器函数的函数体不会立即执行 -
next(generator)
会从函数的当前位置向后执行到之后碰到的第一个yield
语句,会弹出值,并暂停函数执行 - 再次调用
next
函数,和上一条一样的处理过程 - 继续调用
next
函数,生成器函数若结束执行了(显式或隐式调用了return
语句),会抛出StopIteration
异常
三、生成器应用
3.1 无限循环
def counter():
i = 0
while True:
i += 1
yield i
c = counter()
print(next(c))
print(next(c))
print(next(c))
3.2 计数器
def inc():
def counter():
i = 0
while True:
i += 1
yield i
c = counter()
return next(c)
print(inc())
print(inc())
print(inc())
- 修改上例
def inc():
def counter():
i = 0
while True:
i += 1
yield i
c = counter()
def inner():
return next(c)
return inner # return lambda : next(c)
foo = inc()
print(foo())
print(foo())
print(foo())
代码中的 inner
函数可由 lambda
表达式代替
3.3 斐波那契数列
def fib():
x = 0
y = 1
while True:
yield y
x, y = y, x + y
foo = fib()
for i in range(101):
print(next(foo))
3.4 生成器交互
Python 提供了一个和生成器对象交互的方法 send
,该方法可以和生成器沟通
# 重置功能的计数器
def inc():
def counter():
i = 0
while True:
i += 1
response = yield i
if response is not None:
i = response
c = counter()
return lambda x=False: next(c) if not x else c.send(0)
foo = inc()
print(foo())
print(foo())
print(foo())
print(foo(True))
print(foo())
print(foo())
print(foo())
- 调用
send
方法,就可把send
的实参传给yield
语句做结果,这个结果可在等式右边被赋值给其它变量 -
send
和next
一样可推动生成器启动并执行
3.5 协程 Coroutine
- 生成器的高级用法
- 它比进程、线程轻量级,是在用户空间调度函数的一种实现
- Python 3 asyncio 就是协程实现,已经加入到标准库
- Python 3.5 使用
async
、await
关键字直接远程支持协程 - 协程调度器实现思路
有两个生成器 A、B
next(A)
后,A 执行到了yield
语句暂停,然后去执行next(B)
,B 执行到yield
语句也暂停,然后再次调用next(A)
,再调用next(B)
,周而复始,就实现了调度效果
可引入调度的策略来实现切换的方式 - 协程是一种非抢占式调度
四、yield from
语法
从 Python 3.3 开始增加了 yield from
语法,使得 yield from iterable
等价于 for item in iterable: yield item
yield from
就是一种简化语法的语法糖
def inc():
for x in range(1000):
yield x
# 使用 yield from 简化
def inc():
yield from range(1000)
foo = inc()
print(next(foo))
print(next(foo))
print(next(foo))
本质上 yield from
的意思就是从 from
后面的可迭代对象中拿元素一个个 yield
出去