美文网首页
数据高速读取,使用pandas HDF5

数据高速读取,使用pandas HDF5

作者: Mil_Pasos | 来源:发表于2020-05-10 22:23 被阅读0次

Pandas有一个内置的解决方案,它使用 HDF5,这是一种专门用于存储表格数据阵列的高性能存储格式。

创建储存对象,并存为 save_data

data_store = pd.HDFStore('save_data.h5')

将 DataFrame 放进对象中,并设置 key 为 save_data

data_store['save_data'] = df
data_store.close()

现在,你可以关闭计算机并休息一下。等你回来的时候,你处理的数据将在你需要时为你所用,而无需再次加工。

获取数据储存对象

data_store = pd.HDFStore('save_data.h5')

通过key获取数据

data = data_store['save_data']
data_store.close()

数据存储可以容纳多个表,每个表的名称作为键。

相关文章

  • 数据高速读取,使用pandas HDF5

    Pandas有一个内置的解决方案,它使用 HDF5,这是一种专门用于存储表格数据阵列的高性能存储格式。 创建储存对...

  • 数据挖掘-pandas库的使用

    读取 pandas是python中的数据处理库,可以读取数据库,csv文件,txt文件,excel文件,hdf5文...

  • 数据分析-pandas从数据库读取数据

    数据分析-pandas从数据库读取数据 使用pandas读取数据到DataFrame,对于只是数据分析来说,重点是...

  • pandas常用函数总结

    pandas常用函数 导入并读取数据 常用的pandas数据读取函数 注意:csv与tsv格式文件都是使用pd.r...

  • 25 Pandas读取微软的excel文件

    pandas支持读取表格型数据(excel 2003或更高)文件,使用ExcelFile class或pandas...

  • 文件读取方法

    按行读取txt,csv等文件,数据最后一个字段是分类类别 使用Scipy读取数据 使用pandas读取csv (1...

  • 使用Python进行数据标准化

    读取数据 首先,加载pandas和numpy库,读取数据。 import pandas as pd i...

  • 使用Python进行数据标准化

    读取数据 首先,加载pandas和numpy库,读取数据。 import pandas as pd i...

  • pandas常用操作

    pandas读取数据: pandas查看数据: pandas删除行、列: pandas排序: pandas合并列表...

  • NLP学习 2

    Task2 数据读取与数据分析[¶] 本章主要内容为数据读取和数据分析,具体使用Pandas库完成数据读取操作,并...

网友评论

      本文标题:数据高速读取,使用pandas HDF5

      本文链接:https://www.haomeiwen.com/subject/iotenhtx.html