在python中,所有集合都可以迭代,在python语言内部,迭代器用于支持
for循环
构建和扩展集合类型
逐行遍历文本文件
列表推导,字典推导和集合推导
元组拆包
调用函数时,使用*拆包实参
本章涵盖的话题
语言内部使用 iter(...) 内置函数处理可迭代对象的方式
如何使用 Python 实现经典的迭代器模式
详细说明生成器函数的工作原理
如何使用生成器函数或生成器表达式代替经典的迭代器
如何使用标准库中通用的生成器函数
如何使用 yield from 语句合并生成器
案例分析:在一个数据库转换工具中使用生成器函数处理大型数据集
为什么生成器和协程看似相同,实则差别很大,不能混淆
序列可以迭代的原因:iter函数
解释器需要迭代对象 x 时,会自动调用 iter(x)。
内置的 iter 函数有以下作用。
(1) 检查对象是否实现了 __iter__ 方法,如果实现了就调用它,获取一个迭代器。
(2) 如果没有实现 __iter__ 方法,但是实现了 __getitem__ 方法,Python 会创建一个迭
代器,尝试按顺序(从索引 0 开始)获取元素。
(3) 如果尝试失败,Python 抛出 TypeError 异常,通常会提示“C object is not iterable”(C
对象不可迭代),其中 C 是目标对象所属的类。
从 Python 3.4 开始,检查对象 x 能否迭代,最准确的方法是:调用 iter(x) 函
数,如果不可迭代,再处理 TypeError 异常。这比使用 isinstance(x,
abc.Iterable) 更准确,因为 iter(x) 函数会考虑到遗留的 __getitem__ 方法,
而 abc.Iterable 类则不考虑。
可迭代的对象与迭代器的对比
可迭代的对象
使用 iter 内置函数可以获取迭代器的对象。如果对象实现了能返回迭代器的
__iter__ 方法,那么对象就是可迭代的。序列都可以迭代;实现了 __getitem__ 方
法,而且其参数是从零开始的索引,这种对象也可以迭代
>>> s = ‘ABC‘ >>> it = iter(s) # ? >>> while True: ... try: ... print(next(it)) # ? ... except StopIteration: # ? ... del it # ? ... break # ? ... A
B
C
? 使用可迭代的对象构建迭代器 it。
? 不断在迭代器上调用 next 函数,获取下一个字符。
? 如果没有字符了,迭代器会抛出 StopIteration 异常。
? 释放对 it 的引用,即废弃迭代器对象。
? 退出循环。
StopIteration 异常表明迭代器到头了。Python 语言内部会处理 for 循环和其他迭代上
下文(如列表推导、元组拆包,等等)中的 StopIteration 异常。
标准的迭代器接口有两个方法。
__next__
返回下一个可用的元素,如果没有元素了,抛出 StopIteration 异常。
__iter__
返回 self,以便在应该使用可迭代对象的地方使用迭代器,例如在 for 循环中。
在 Python 3 中,Iterator 抽象基类定义的抽象方法是 it.__next__(),而
在 Python 2 中是 it.next()。一如既往,我们应该避免直接调用特殊方法,使用
next(it) 即可,这个内置的函数在 Python 2 和 Python 3 中都能使用。
检查对象 x 是否为迭代器最好的方式是调用 isinstance(x, abc.Iterator)。得益
于 Iterator.__subclasshook__ 方法,即使对象 x 所属的类不是 Iterator 类的
真实子类或虚拟子类,也能这样检查
因为迭代器只需 __next__ 和 __iter__ 两个方法,所以除了调用 next() 方法,以及捕
获 StopIteration 异常之外,没有办法检查是否还有遗留的元素。此外,也没有办
法“还原”迭代器。如果想再次迭代,那就要调用 iter(...),传入之前构建迭代器的可
迭代对象。传入迭代器本身没用,因为前面说过 Iterator.__iter__ 方法的实现方式是
返回实例本身,所以传入迭代器无法还原已经耗尽的迭代器。
迭代器
迭代器是这样的对象:实现了无参数的 __next__ 方法,返回序列中的下一个元素;
如果没有元素了,那么抛出 StopIteration 异常。Python 中的迭代器还实现了
__iter__ 方法,因此迭代器也可以迭代。
构建可迭代的对象和迭代器时经常会出现错误,原因是混淆了二者。要知道,可迭代的对
象有个 __iter__ 方法,每次都实例化一个新的迭代器;而迭代器要实现 __next__ 方
法,返回单个元素,此外还要实现 __iter__ 方法,返回迭代器本身。
因此,迭代器可以迭代,但是可迭代的对象不是迭代器。
可迭代的对象一定不能是自身的迭代器。也就是说,可迭代的对象必须实现
__iter__ 方法,但不能实现 __next__ 方法。
另一方面,迭代器应该一直可以迭代。迭代器的 __iter__ 方法应该返回自身。
生成器函数的工作原理
只要 Python 函数的定义体中有 yield 关键字,该函数就是生成器函数。调用生成器函数
时,会返回一个生成器对象。也就是说,生成器函数是生成器工厂。
生成器函数会创建一个生成器对象,包装生成器函数的定义体。把生成器传给
next(...) 函数时,生成器函数会向前,执行函数定义体中的下一个 yield 语句,返回
产出的值,并在函数定义体的当前位置暂停。最终,函数的定义体返回时,外层的生成器
对象会抛出 StopIteration 异常——这一点与迭代器协议一致。
何时使用生成器表达式
生成器表达式是创建生成器的简洁句法,这样无需先定义函数再调
用。不过,生成器函数灵活得多,可以使用多个语句实现复杂的逻辑,也可以作为协程
使用
选择使用哪种句法很容易判断:如果生成器表达式要分成多行写,我倾向
于定义生成器函数,以便提高可读性。此外,生成器函数有名称,因此可以重用。
使用itertools模块生成等差数列
Python 3.4 中的 itertools 模块提供了 19 个生成器函数,结合起来使用能实现很多有趣
的用法。
itertools.count 函数返回的生成器能生成多个数。如果不传入参
数,itertools.count 函数会生成从零开始的整数数列。不过,我们可以提供可选的
start 和 step 值
不过,itertools.takewhile 函数则不同,它会生成一个使用另一个生成器的生成器,
在指定的条件计算结果为 False 时停止。因此,可以把这两个函数结合在一起使用
标准库中的生成器函数
把生成器当成协程
与 .__next__() 方法一样,.send() 方法致使生成器前进到下一个 yield 语句。不
过,.send() 方法还允许使用生成器的客户把数据发给自己,即不管传给 .send() 方法
什么参数,那个参数都会成为生成器函数定义体中对应的 yield 表达式的值。也就是
说,.send() 方法允许在客户代码和生成器之间双向交换数据。而 .__next__() 方法只
允许客户从生成器中获取数据。