如何使用临时文件

作者: SmallRookie | 来源:发表于2017-09-05 16:23 被阅读17次
实际案例

某项目中,我们从传感器采集数据,每收集到1G数据后,做数据分析,最终只保存分析结果。这样很大的临时数据如果常驻内存,将消耗大量内存资源,我们可以使用临时文件存储这些临时数据(外部存储)。

临时文件不用命名,且关闭后会自动删除。

解决方案:使用标准库中tempfile下的TemporaryFile,NamedTemporaryFile。

代码如下:

# -*- coding: utf-8 -*-

from tempfile import TemporaryFile, NamedTemporaryFile

# TemporaryFile创建的临时文件,只能由f访问
f = TemporaryFile()

f.write('abcdef' * 100000)

f.seek(0)

# 每次读取一部分,否则内存消耗过大
print f.read(100)


# NamedTemporaryFile创建的临时文件可在文件系统中找到
ntf = NamedTemporaryFile()

# 临时文件所在文件路径
print ntf.name

运行结果为:

abcdefabcdefabcdefabcdefabcdefabcdefabcdefabcdefabcdefabcdefabcdefabcdefabcdefabcdefabcdefabcdefabcd
c:\users\admin\appdata\local\temp\tmpcnn26b

在NamedTemporaryFile中,我们可以设置参数delete=False关闭自动删除机制,这样我们在创建一个新的临时文件时,原来的临时文件依旧存在。

相关文章

  • 如何使用临时文件

    实际案例 某项目中,我们从传感器采集数据,每收集到1G数据后,做数据分析,最终只保存分析结果。这样很大的临时数据如...

  • Python高效编程(四)

    实际编程和面试都会遇到的典型问题。 如何读写文本文件 如何设置文件的缓冲 如何访问文件的状态 如何使用临时文件 如...

  • A001. Stata中临时文件tempfile命令的使用

    Stata中临时文件tempfile命令的使用 处理数据时,有时需产生临时文件,最后还需要把临时文件删除,比较麻烦...

  • Python tempfile(临时文件)

    大量临时数据放在内存中会占用大量资源,可以使用临时文件来进行储存临时文件不用命名,且使用后会被自动删除Tempor...

  • 如何正确使用Python临时文件

    摘要:临时文件通常用来保存无法保存在内存中的数据,或者传递给必须从文件读取的外部程序。一般我们会在/tmp目录下生...

  • gameguardian

    使用说明: .配置临时文件路径 1.按“ 设置文件路径”按钮 2.输入临时文件的路径 确保你有几百MB的空间来进行...

  • 5-6 如何使用临时文件

    实际案例: 某项目中,我们从传感器采集数据,每收集到1G数据后,做数据分析,最终只保存分析结果.这样很大的临时数据...

  • python临时文件tempfile

    在处理文件过程中,有时候需要使用到临时文件,可以采tempfile库,比如在程序运行过程中,需要创建一个临时文件t...

  • MySQL:为什么lsof会看到这么多临时文件

    版本:5.7.29 一、问题提出 一般情况下我们会使用lsof命令来查看MySQL当前使用的临时文件的使用,这是因...

  • Git忽略文件

    有很多文件不必使用git管理。例如Eclipse或其他IDE生成的项目文件,编译生成的各种目标或临时文件等。 使用...

网友评论

    本文标题:如何使用临时文件

    本文链接:https://www.haomeiwen.com/subject/mvdxrxtx.html