美文网首页
Pthon读取大文件的操作

Pthon读取大文件的操作

作者: 暖遇 | 来源:发表于2018-09-11 16:33 被阅读0次

encoding:utf-8

author = 'zhoupao'
date = '2018/7/14 22:23'

3.3 read、readline 和 readlines 的区别? (2018-4-16-lxy)

read:读取整个文件。

readline:读取下一行,使用生成器方法。

readlines:读取整个文件到一个迭代器以供我们遍历。

现在要处理一个大小为 10G 的文件,但是内存只有 4G,如果在只修改 get_lines 函数而其他代

码保持不变的情况下,应该如何实现?需要考虑的问题都有哪些?

def get_lines():
l=[]

with open('file.txt','rb') as f:

    data=f.readlines(60000)

l.append(data)

yield l

要考虑到的问题有:

内存只有 4G 无法一次性读入 10G 的文件,需要分批读入。分批读入数据要记录每次读入数据的位

置。分批每次读入数据的大小,太小就会在读取操作上花费过多时间。

相关文章

  • Pthon读取大文件的操作

    encoding:utf-8 author = 'zhoupao'date = '2018/7/14 22:23'...

  • java读取大文件解决思路

    1. java 读取大文件的困难 java 读取文件的一般操作是将文件数据全部读取到内存中,然后再对数据进行操作。...

  • java操作文件

    优雅读取文件 优雅的写入文件 读取大文件

  • 文本/数据操作

    大文件读取 json 中文编码问题: 排序: url中文转码(python3) csv 文件操作模式 xml lx...

  • 文件操作

    打开方式 按行读取 大文件读写 ----按行 文件/目录的常用操作 os.path.isdir()判断是否位目录,...

  • 5、GeoTrellis-读取栅格文件

    读取单波段的栅格 读取多波段栅格 使用流读取栅格 通过流读取的tif,单个小文件可以完整的读取,大文件则Java虚...

  • 读取大文件

    with open(filename, 'rb') as f:for line in f:

  • python 读取大文件,避免内存溢出

    ####python读取大文件 最近在学习python的过程中接触到了python对文件的读取。python读取文...

  • 那就让你们美滋滋吧!

    应pthon同学的邀请,今天转载他的一篇文章。 pthon同学ID:pthon_ 那就让你们美滋滋吧! 最近刷知乎...

  • node读写大文件

    如果读取小文件,我们可以使用fs读取,fs读取文件的时候,是将文件一次性读取到本地内存。而如果读取一个大文件,一次...

网友评论

      本文标题:Pthon读取大文件的操作

      本文链接:https://www.haomeiwen.com/subject/hxbugftx.html