美文网首页
python读取文件过大时的读方法

python读取文件过大时的读方法

作者: 137c | 来源:发表于2019-10-09 17:55 被阅读0次

python读取文件过大时的读方法:只能一行一行读取。
具体有两种办法:

  1. for ... in ...
with open("file") as fh:
    for line in fh:
        print(line.strip())
  1. while fh.readline():
with open("file") as fh:
    line = fh.readline()
    while line:
        print(line.strip())
        line = fh.readline()

总结:

之前写的都是这样的:

    with open('little1',"r") as file:
        row_num = 0
        for line in file.readlines():

file已经是一个可迭代行的对象了,file再进行readlines实际上要把所有的行都装入内存,得到的结果是对同一个对象的引用,在大文件时完全没有必要。

即,若把file.readlines()叫做file2,file2和file是同一个东西,只不过file2就是一个拷贝,而file只是个指针。但在操作时除了没有装入,其他无异。

相关文章

  • python读取文件过大时的读方法

    python读取文件过大时的读方法:只能一行一行读取。具体有两种办法: for ... in ... while ...

  • Python四种逐行读取文件内容的方法

    Python四种逐行读取文件内容的方法 下面四种Python逐行读取文件内容的方法, 分析了各种方法的优缺点及应用...

  • 爬虫_014_文件操作

    (1)读文件 r方法1:直接读取所有内容。这种写法不推荐,因为是整个文件全部都读取 方法2:循环读取文件。这是读文...

  • Day10IO编程

    读文件 Python引入了with语句来自动帮我们调用close()方法: 调用read()会一次性读取文件的全部...

  • 使用Pandas读取csv文件

    python读取csv文件简单例子: python读取csv文件时,数据被保存到dataframe中,此时,数据会...

  • Python read 方法选择

    python read 方法选择 Python里与读取文件内容相关的方法read有多种选择,在什么时候用哪种读取办...

  • Java Web技术经验总结(十六)

    使用Java读取文件时,要评估文件的大小,避免因为文件过大而造成OOM,参见:Java高效读取文件 RateLim...

  • 读取txt文件

    """ 读取txt文件txt文件使我们经常操作的文件类型,Python提供了以下几种读取txt文件的方法。read...

  • golang 文件读写

    读文件 ReadFile直接读取 ReadAll 读取文件 Read方法读取 使用os.Open和bufio.Re...

  • python读取、写入txt文本内容

    读取txt文本python常用的读取文件函数有三种read()、readline()、readlines() 以读...

网友评论

      本文标题:python读取文件过大时的读方法

      本文链接:https://www.haomeiwen.com/subject/nrggpctx.html