美文网首页廖雪峰的python基础教程学习笔记
Python学习笔记(八)列表生成式、生成器、迭代器

Python学习笔记(八)列表生成式、生成器、迭代器

作者: 晶爷传说 | 来源:发表于2018-02-25 20:56 被阅读0次

    主要介绍python的一些高级特性,即列表生成式、生成器、迭代器。

    列表生成式

    列表生成式即List Comprehensions,是python内置的非常简单但强大的可以用来创建list的生成式。例如,要创建list[0,1,2,3,4,5,6,7,8,9,10],可以使用list(range(0,11)):

    >>> list(range(0,11))
    [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    

    如果要生成的list每个元素都是一个变量(如x)的函数(f(x)),可以使用list(f(x) for x in ...)for循环后可以加入if判断条件进行过滤筛选,for`循环可以使用多层,还可以同时使用两个或多个变量,例如:

    >>> list(x*x for x in range(0,11))
    [0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
    
    >>> list(x*x for x in range(0,11) if x%2==1)
    [1, 9, 25, 49, 81]
    
    #列出当前目录下的所有文件和目录名
    >>> import os
    >>> list(d for d in os.listdir('.'))
    ['.config', 'Music', '.vim', '.DS_Store', 'list.py', '.bash_profile.swp', '.CFUserTextEncoding',...](文件太多不一一列出)
    
    >>> list(m+n for m in 'ABC' for n in 'XYZ')
    ['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']
    
    >>> d = {'x':'A', 'y':'B', 'z':'C'}
    >>> list(k+'='+v for k,v in d.items())
    ['x=A', 'y=B', 'z=C']
    >>> list(v.lower() for v in d.values())
    ['a', 'b', 'c']
    >>> list(k.upper() for k in d.keys())
    ['X', 'Y', 'Z']
    >>> list(k.upper()+'='+v.lower() for k,v in d.items())
    ['X=a', 'Y=b', 'Z=c']
    

    此外,列表生成式可以使用[]来创建,例如:

    >>> [m+n for m in 'ABC' for n in 'XYZ']
    ['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']
    

    生成器

    通过列表生成式可以创建列表,但受到内存限制,列表容量有限。而且,对于创建的一个包含100万个元素的列表,如果需要访问的只是前面几个元素,那后面的绝大多数元素占用的空间就浪费了。因此,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算后续的元素呢?这样不必创建完整的list,从而节省空间。
    在Python中,这种一边循环一边计算的机制,称为生成器:generator。
    创建一个generator,方法很多,最简单的是把创建列表生成式的[]改为(),例如:

    >>> g = (x*x for x in range(1,4))
    >>> g
    <generator object <genexpr> at 0x10a991e60>
    

    问题:如何打印出generator的每一个元素呢

    方法一:使用next()

    >>> next(g)
    1
    >>> next(g)
    4
    >>> next(g)
    9
    >>> next(g)
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    StopIteration
    

    当越界时抛出StopIteration错误

    方法二:使用for循环

    因为generator也是可迭代对象

    >>> from collections import Iterable
    >>> isinstance(g, Iterable)
    True
    

    具体操作:

    #test.py
    from collections import Iterable
    g = (x*x for x in range(1,4))
    for n in g:
        print(n)
    
    >>>python3 ~/python_test/test.py
    1
    4
    9
    

    使用for循环来迭代时,不用担心StopIteration错误。
    generator非常强大,如果推算的算法比较复杂,用类似列表生成式的for循环无法实现时,还可以用函数来实现。
    以斐波那契数列(Fibonacci)为例,除第一个和第二个数以外,任意一个数都可以由前两个数相加得来:1,1,2,3,5,8,13,......
    该数列使用列表生成式写不出来,但是,用函数把他打印出来却很容易:

    #test.py 
    #打印前max个数
    def fib(max):
        n, a, b = 0, 0, 1
        while n<max:
            print(b)
            a, b = b, a+b
            n = n+1
        return 'Done!'
    fib(6)
    
    python3 ~/python_test/test.py
    1
    1
    2
    3
    5
    8
    

    实际上,fib函数定义了fibonacci数列的推算规则,可以从第一个元素开始,推算出后续的任意元素,这种逻辑非常类似generator。
    要把fib函数变为generator,只需要把print(b)改为yield b就可以了:

    >>> def fib(max):
    ...     n, a, b = 0, 0, 1
    ...     while n<max:
    ...         yield b
    ...         a, b = b, a+b
    ...         n = n+1
    ...     return 'Done!'
    ...
    >>> fib(6)
    <generator object fib at 0x1071d7f68>
    >>> type(fib(6))
    <class 'generator'>
    

    generator和函数的执行流程不一样,函数是顺序执行,遇到return或最后一行函数语句返回,而generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回yield语句处继续执行。
    如:

    >>> f=fib(6)
    >>> next(f)
    1
    >>> next(f)
    1
    >>> next(f)
    2
    >>> next(f)
    3
    >>> next(f)
    5
    >>> next(f)
    8
    >>> next(f)
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    StopIteration: Done!
    

    同样,对于generator的函数,也不会用next()来获取下一个返回值,而是直接使用for循环来迭代:

    >>> for n in fib(6):
    ...     print(n)
    ...
    1
    1
    2
    3
    5
    8
    

    但是用for循环调用generator时,拿不到其中return语句的返回值,如果要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIterationvalue中:

    #test.py
    def fib(max):
        n, a, b = 0, 0, 1
        while n<max:
            yield b
            a, b = b, a+b
            n = n+1
        return 'Done!'
    
    f = fib(6)
    while True:
         try:
             x = next(f)
             print('f:', x)
         except StopIteration as e:
             print('Generator return value:', e.value)
             break
    lijing@lijingdeMacBook-Pro > python3 ~/python_test/test.py
    f: 1
    f: 1
    f: 2
    f: 3
    f: 5
    f: 8
    Generator return value: Done
    

    迭代器

    我们已经知道,可以直接作用于for循环的数据类型有以下几种:
    一类是集合类数据类型,如:listtupledictsetstr等。
    一类是generator,包括生成器和带yield的generator function。
    这些可以直接作用于for循环的对象统称为可迭代对象:Iterable,可以使用isinstance()来判断一个对象是不是Iterable对象。如:

    >>> isinstance([], Iterable)
    True
    >>> isinstance({}, Iterable)
    True
    >>> isinstance(123, Iterable)
    False
    >>> isinstance((x*x for x in range(1,11)), Iterable)
    True
    

    而generator不但可以作用于for循环,还可以被next()函数不断调用返回下一个值,直至最后抛出StopIteration错误。可以被next()函数调用并不断返回下一个值得对象称为迭代器:Iterator
    可以使用isinstance判断一个对象是否是Iterator对象:

    >>> from collections import Iterator
    >>> isinstance({}, Iterator)
    False
    >>> isinstance((x*x for x in range(1,11)), Iterator)
    True
    

    生成器都是Iterator对象,但是listdictstr虽然是Iterable,却并不是Iterator。把它们变为Iterator可以使用函数iter()函数:

    >>> isinstance(iter({}), Iterator)
    True
    

    Iterator对象表示的是一个数据流,可以被next()函数调用并不断返回下一个数据,直到抛出StopIteration错误,可以把数据流看做一个有序序列,但是提前并不知道序列长度,只能不断通过next()函数计算下一个数据,因此,Iterator是惰性的,只有需要返回下一个数据时才会计算。

    小结

    ·凡是可以作用于for循环的对象都是Iterable类型
    ·凡是可以作用于next()函数的对象都是Iterator类型,他们表示一个惰性的计算序列
    ·集合数据类型可以通过函数iter()获得一个Iterator对象

    相关文章

      网友评论

        本文标题:Python学习笔记(八)列表生成式、生成器、迭代器

        本文链接:https://www.haomeiwen.com/subject/ebqdxftx.html