迭代器与生成器

用一种方法,最好是只有一种方法来做一件事

迭代器的用途:

  1. for ... in 循环
  2. 遍历文件等
  3. 列表推导,字典推导,集合推导
  4. 元组拆包
  5. 调用函数时,使用* 拆包实参
可迭代对象

首先我们来分析一下序列可迭代的原因:iter函数
解释器需要迭代对象x时,会自动调用iter(x),内置的iter有如下作用

  1. 检查对象是否实现了__iter__方法,如果实现了就调用他,获取一个迭代器
 def __iter__(self):
        return iter(self._components)
  1. 如果没有实现,但是实现了__getitem__,Python会创建一个迭代器,尝试依次获取元素
    def __getitem__(self, index):
        cls = type(self)
        if isinstance(index, slice):
            return cls(self._components[index])
        elif isinstance(index, numbers.Integral):
            return self._components[index]
        else:
            msg = '{.__name__} indices must be integers'
            raise TypeError(msg.format(cls))
  1. 如果失败了,就会抛出TypeError异常

从 Python 3.4 开始,检查对象 x 能否可迭代,最准确的方法是:调用 iter(x) 函 数,如果不可迭代,再处理 TypeError 异常。这比使用 isinstance(x, abc.Iterable) 更准确,因为 iter(x) 函数会考虑到遗留的 getitem 方法, 而 abc.Iterable 类则不考虑。

只要实现了上述任意一个方法,我们就可以说该对象是可迭代对象

迭代器

若一个类想成为迭代器需实现

  1. 方法 __next__
  2. __iter__

使用:

it = iter(obj)
while True:
       try:
           print(next(it))
         except StopIteration:
            del it
            break

检 查对象 x 是否为迭代器最好的方式是调用 isinstance(x, abc.Iterator)。得益 于 Iterator.subclasshook 方法,即使对象 x 所属的类不是 Iterator 类的 真实子类或虚拟子类,也能这样检查。


有同学看到这里就不禁疑问,迭代器和可迭代对象,到底有啥区别 ???

可迭代的对 象有个 iter 方法,每次都实例化一个新的迭代器;而迭代器要实现 next 方 法,返回单个元素,此外还要实现 iter 方法,返回迭代器本身。 因此,迭代器可以迭代,但是可迭代的对象不是迭代器。


那我能不能将一个类实现为即是可迭代对象又是迭代器呢? 可能我们都不会意识到 这叫反模式

迭代器模式的适用性总结:

  • 访问一个聚合对象的内容而无需暴露它的内部表示
  • 支持对聚合对象的多种遍历
  • 为遍历不同的聚合结构提供一个统一的接口(即支持多态迭代)

为了“支持多种遍历”,必须能从同一个可迭代的实例中获取多个独立的迭代器,而且各个 迭代器要能维护自身的内部状态,因此这一模式正确的实现方式是,每次调用 iter(my_iterable) 都新建一个独立的迭代器。这就是为什么需要定义 迭代器类。

import re
import reprlib

RE_WORD = re.compile('\w+')


class Sentence:

    def __init__(self, text):
        self.text = text
        self.words = RE_WORD.findall(text)

    def __repr__(self):
        return 'Sentence(%s)' % reprlib.repr(self.text)

    def __iter__(self):  
        return SentenceIterator(self.words)  


class SentenceIterator:

    def __init__(self, words):
        self.words = words  
        self.index = 0  

    def __next__(self):
        try:
            word = self.words[self.index]  
        except IndexError:
            raise StopIteration() 
        self.index += 1  
        return word  

    def __iter__(self):  
        return self

在很多情况下,迭代器的遍历实现可以使用生成器来实现

生成器

生成器函数的工作原理
由一个生成器函数返回一个生成器对象,该函数使用yield关键字产出数据元素,一般情况下,一个生成器函数包含一个不断yield的循环,每次迭代都会访问下一个yield的产出数据

    def __iter__(self):
        for match in RE_WORD.finditer(self.text):  # <2>
            yield match.group()
def geb_AB():
    print("start")
    yield "A"
    print("continue")
    yield "B"
    print("end")
列表推导
[x*3 for x  in gen_AB()]
生成器表达式
res = (x*3 for x in gen_AB()) # 仅仅返回一个生成器

只有在for 循环迭代的时候,才会真正执行gen_AB的函数体,每次执行一个yield

yield from

如果生成器函数需要产出另外一个生成器的值,一般会使用嵌套的for循环解决

def chain(*iterable):
    for it  in iterable:
          for v in it:
                 yield v

s = "abcde"
t = tuple(2,4,5,6,6,7,)
list(chain(s,t))

如果是使用yield from

def chain(*iterable):
       for it in iterable:
              yield from it
iter 函数

iter函数有个极少使用的方式:接收两个入参,第一个是可调用对象或者函数,第二个为哨兵符,遇到到哨兵符就会抛出StopIteration.

def random_s():
     return randint(1,6)

d_it = iter(random_s, 1) # 当遇到1时停止
for roll in d_it:
     print(roll)
with open('mydata.txt') as fp:
        for line in iter(fp.reandline, "\n"):
               process_line(line)

下面贴几张标准库生成器函数


返回单个结果-归约
合并
映射
过滤
扩展
重排
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345

推荐阅读更多精彩内容