美文网首页
4G 内存怎么读取一个 5G 的数据?

4G 内存怎么读取一个 5G 的数据?

作者: 阳光小镇少爷 | 来源:发表于2023-05-11 14:25 被阅读0次

    方法一:
    可以通过生成器,分多次读取,每次读取数量相对少的数据(比如 500MB) 进行处理,处理结束后在读取后面的 500MB 的数据。
    方法二:
    可以通过 linux 命令 split 切割成小文件,然后再对数据进行处理,此方法效率比较高。可以按照行数切割,可以按照文件大小切割。

    相关文章

      网友评论

          本文标题:4G 内存怎么读取一个 5G 的数据?

          本文链接:https://www.haomeiwen.com/subject/vfyssdtx.html