美文网首页Python进阶
【Python进阶】1.3 保留最后 N 个元素(deque)

【Python进阶】1.3 保留最后 N 个元素(deque)

作者: Julia语言 | 来源:发表于2018-09-01 08:14 被阅读41次

欢迎关注Julia语言微信公众账号 julia_language

原文链接:http://suo.im/4SxFfX

微信公众号:Julia语言
每周一三五更新,其他时间随机加餐;
问题或建议,请公众号留言;

保留最后 N 个元素

问题

在迭代操作或者其他操作的时候,怎样只保留最后有限几个元素的历史记录?

解决方案

保留有限历史记录正是 collections.deque 大显身手的时候。使用list存储数据时,按索引访问元素很快,但是插入和删除元素就很慢了,因为list是线性存储,数据量大的时候,插入和删除效率很低。deque是为了高效实现插入和删除操作的双向列表,适合用于队列和栈:

>>> from collections import deque
>>> q = deque(['a','b','c'])
>>> q.append('x')
>>> q.appendleft('y')
>>> q
deque(['y', 'a', 'b', 'c', 'x'])
>>> len(q)
5
>>> q[0]
'y'
>>> q[-1]
'x'
>>> q.remove('c')
>>> q
deque(['y', 'a', 'b', 'x'])
>>> q.pop()
'x'
>>> q
deque(['y', 'a', 'b'])
>>> q.popleft()
'y'
>>> q
deque(['a', 'b'])
>>>

比如,下面的代码在多行上面做简单的文本匹配,并返回匹配所在行的最后 N 行:

from collections import deque

def search(lines, pattern, history=5):
    previous_lines = deque(maxlen=history)
    for line in lines:
        if pattern in line:
            yield line, previous_lines
        previous_lines.append(line)

# Example use on a file
if __name__ == '__main__':
    with open('somefile.txt') as f:
        for line, prevlines in search(f, 'python', 5):
            for pline in prevlines:
                print(pline, end='')
            print(line, end='')
            print('-'*20)

讨论

我们在写查询元素的代码时,通常会使用包含 yield 表达式的生成器函数,也就是我们上面示例代码中的那样。这样可以将搜索过程代码和使用搜索结果代码解耦。如果你还不清楚什么是生成器,以后会讲到。
使用 deque(maxlen=N) 构造函数会新建一个固定大小的队列。当新的元素加入并且这个队列已满的时候,最老的元素会自动被移除掉。

>>> q = deque(maxlen=3)
>>> q.append(1)
>>> q.append(2)
>>> q.append(3)
>>> q
deque([1, 2, 3], maxlen=3)
>>> q.append(4)
>>> q
deque([2, 3, 4], maxlen=3)
>>> q.append(5)
>>> q
deque([3, 4, 5], maxlen=3)

尽管你也可以手动在一个列表上实现这一的操作(比如增加、删除等等)。但是这里的队列方案会更加优雅并且运行得更快些。

更一般的, deque 类可以被用在任何你只需要一个简单队列数据结构的场合。如果你不设置最大队列大小,那么就会得到一个无限大小队列,你可以在队列的两端执行添加和弹出元素的操作。

>>> q = deque()
>>> q.append(1)
>>> q.append(2)
>>> q.append(3)
>>> q
deque([1, 2, 3])
>>> q.appendleft(4)
>>> q
deque([4, 1, 2, 3])
>>> q.pop()
3
>>> q
deque([4, 1, 2])
>>> q.popleft()
4

在队列两端插入或删除元素时间复杂度都是 O(1) ,而在列表的开头插入或删除元素的时间复杂度为 O(N) 。


欢迎关注微信公众账号Julia语言.jpg

相关文章

网友评论

    本文标题:【Python进阶】1.3 保留最后 N 个元素(deque)

    本文链接:https://www.haomeiwen.com/subject/rgyrwftx.html