美文网首页
Python 分段、迭代读取,防止内存爆炸的一些记录

Python 分段、迭代读取,防止内存爆炸的一些记录

作者: Tim_Lee | 来源:发表于2017-07-26 09:58 被阅读0次

    仅做记录,有空再填坑。大多原理是迭代器,占用空间少,效率更高。

    迭代读取字典时,

    Python 2 使用

    for k,v in d.iteritems():
        # do something
    

    Python 3 使用

    for k,v in d.items():
        # do something
    

    迭代 list 是,

    Python 2 用 xrange

    for i in xrange(n):
        # n is int variable
    

    Python 3 已经用 range 取代了 xrange。

    对于 with open 读写文件时,特别是比较大的图片文件时,比如用 requests 爬取的图片,需要取回来保存在本地,这时可以使用 chunk 设定分段读取的值。

    用 pandas 读取 MySQL 内容时,使用 chunksize 参数,防止 MySQL 表内容过大的报错。

    相关文章

      网友评论

          本文标题:Python 分段、迭代读取,防止内存爆炸的一些记录

          本文链接:https://www.haomeiwen.com/subject/tfenkxtx.html