python生成器

基础知识

生成器是python的一个特别特的特性，在许多场合都有重要应用。比如range函数产生的就是一个生成器。其主要的好处就是降低了内存的占用。为什么呢？拿range函数来讲吧，它的目的是生成一系列的数。假如我们想生成一列数0，1，2，3，4，则（以下两个紧跟的代码块中，第一个是实际的代码，第二个是输出）

range(5)

range(0, 5)

欸？怎么回事，输出的不是0，1，2，3，4,而是一个函数。这个函数实际上便是一个生成器。我们可以采用下面的方法把它展开

list(range(5))

[0, 1, 2, 3, 4]

或者使用一个for循环

for i in range(5):
    print(i)

0
1
2
3
4

生成器常常与for循环结合使用。在上述循环过程中，每循环一步，range产生一个数，直至range抛出一个结束的异常，for捕获异常后结束循环。
通过运行步骤，我们可以明白生成器节省空间的道理所在。range并没有一次性将数列都生成，而是逐渐生成。

自制生成器

为了进一步掌握生成器的编写方式，我们一起来实现range函数。当然这不一定是python内部的实现。如前文所述，range函数的作用是生成一列数。range的原本功能可以指定起始数、终止数和间隔。为了演示突出生成器的重点，我们将实现一个简化版的range，只给一个输入n，让其生成由0到n-1的数。并且，这个函数只是我们自己使用，就不做输入合法性检查了。闲言少叙，先看代码

def _range(n):
    step = 0
    while step < n:
        yield step
        step = step + 1
print(list(_range(5)))

[0, 1, 2, 3, 4]

注释讲解版函数如下

# 为了与python内置range函数进行区分，我们将其命名为_range.
# 那么如果你说我就不区分会怎么样？如果不区分的话，那么咱在这里定义的函数便会覆盖原函数。
def _range(n):
    # 采用一个变量暂存步数
    step = 0
    # 采用一个while循环，产生数据。
    # 当步数小于输入值n时，执行循环迭代
    while step < n:
        # 这是迭代器最关键的一步。yield表示输出。
        # 每当调用一次_range，便会执行到一个yield处，产生一个数据，同时暂停函数运行，直至再次调用。
        # 稍后会给出另外一个版本，加强大家在这方面的理解。
        yield step
        # 当再次调用时，会从这里开始，而非函数头部。步数加1，继续迭代
        step = step + 1
# 调用并将产生的数据展开后输出
print(list(_range(5)))

为了进一步加强大家对生成器的理解，接下来我们将上述版本稍作修改。我们想要产生一个0，0，1，1，2，2.。。。n-1,n-1的数列。该如何是好？且看

def _range(n):
    step = 0
    while step < n:
        yield step
        yield step
        step = step + 1
print(list(_range(5)))

[0, 0, 1, 1, 2, 2, 3, 3, 4, 4]

同时采用了两个yield，每当对_range函数调用一次，便从函数暂停的位置运行至下一个yield处，产生数据，随后输出。
接下来再举一个例子。我们产生一个0，0，1，0，1，2，0，1，2，3等等。这就要用到yield from这个语法了。它是生成器中的生成器。

def _range(n):
    step = 0
    while step < n:
        # range是另外一个生成器，yield from表示函数运行到此处时，进入range函数继续执行，直至range函数执行完毕。
        yield from range(step)
        step = step + 1
print(list(_range(5)))

[0, 0, 1, 0, 1, 2, 0, 1, 2, 3]

如果不用yield from会怎么样？想想。答案如下：

def _range(n):
    step = 0
    while step < n:
        # range是另外一个生成器，yield from表示函数运行到此处时，进入range函数继续执行，直至range函数执行完毕。
        yield range(step)
        step = step + 1
print(list(_range(5)))
for i in _range(5):
    print(i)
for i in _range(5):
    print(list(i))

[range(0, 0), range(0, 1), range(0, 2), range(0, 3), range(0, 4)]
range(0, 0)
range(0, 1)
range(0, 2)
range(0, 3)
range(0, 4)
[]
[0]
[0, 1]
[0, 1, 2]
[0, 1, 2, 3]

一个实际应用

不知道大家对生成器的基本原理及用法是否理解？下面我用一个更为实际的例子讲解生成器的妙用。
我在做数据处理时，单个数据文件可能非常大，直接读进内存很困难。这时候，便可采用生成器逐步读取处理。如

import os
def getFrame(filename):
    pos = 0
    frameSize = 100
    fullSize = os.path.getsize(filename)
    with open(filename, 'rb') as fid:
        while pos < fullSize:
            fid.seek(pos)
            yield fid.read(frameSize)
            pos = pos + frameSize

for frame in getFrame('SomeFilePath'):
    print(frame)

对于以上代码，我不过多讲解。大家对于其中有不明白的地方，可以自行查找帮助手册或者百度。如果还有不明白的地方，可以留言。其中大家可以重点理解with用法，这是在文件读取时常用并且非常好用的一个语法。
jupyter notebook原文件位于https://gitee.com/bolang/python-lesson.git