Spark 原生支持将压缩的 gzip 文件直接读取到数据帧中。我们必须相应地指定压缩选项才能使其工作。
但是，有一个问题。Spark 仅使用单个内核来读取整个 gzip 文件，因此没有分发或并行化。如果 gzip 文件较大，可能会出现内存不足错误。
让我们用一个例子来检查一下。我们将阅读 sales.csv.gz 文件
# Read zipped file directly from Spark
df_zipped = spark \
.read \
.format("csv") \
.option("compression", "gzip") \
.option("header", True) \
.load("dataset/tmp/sales.csv.gz")
df_zipped.printSchema()
Spark 原生支持将压缩的 gzip 文件直接读取到数据帧中。我们必须相应地指定压缩选项才能使其工作。 但是，有...
gzip gzip 只能压缩文件，不能压缩目录，压缩完成后源文件自动被删除 gzip ［选项］ 压缩文件名 选项...
1. gzip gzip命令创建的文件后缀名为.gz 1.1 压缩文件 使用gzip压缩文件，源文件会直接压缩，所...
使用gzip命令可以将一个文件完成压缩 gzip services##压缩Services文件，压缩文件的...
压缩gzip -v文件 ；解gzip -d文件 ；查看zcat文件； 压缩bzip2 [-zk] 文件名 z是压缩...
一，解压的语法：gzip -d 压缩包名 对文件进行压缩命令,语法：gzip 文件名称 gzip只能压缩单个...
gzip/gunzip指令-----针对 .gz 文件-----不会保留原来的文件gzip压缩文件（不能压缩目...
gzip/gunzip指令 gzip用于压缩文件，gunzip用于解压。gzip指令压缩完文件之后，原文件不予以保...
压缩与解压缩命令 gzip 使用gzip程序压缩/解压缩文件，文件扩展名以 .gz 结尾 zcat 查看以gzip...
开启gzip压缩可以极大的压缩文件大小，有效的优化网页性能。关于如何开启gzip网上太多教程这里记录一个开启gzi...
本文标题：PySpark 教程之 01 读取压缩的 gzip 文件（教程
本文链接：https://www.haomeiwen.com/subject/nhcgzrtx.html
网友评论