美文网首页
Spark write parquet不写入任何文件,只有成功

Spark write parquet不写入任何文件,只有成功

作者: 羋学僧 | 来源:发表于2020-10-15 20:15 被阅读0次

Spark write parquet不写入任何文件,只有成功

应用程序包括
在集群spark bigda02机器上执行

userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result1015")

userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result1513")

userDF.select($"name",$"favorite_color").write.format("csv").save("/home/bigdata/data/result0927")

userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result15")

userDF.select($"name",$"favorite_color").write.format("csv").save("/home/bigdata/data/result1122")

在bigda02机器上,只将创建目录,除了一个空的_SUCCESS文件外,没有其他内容

在我的例子中,当我试图将一个文件保存到我的本地文件系统,而不是从Spark集群访问的文件系统时,就会发生这种情况。
该文件是由Spark worker节点而不是Spark客户机写入的,因此它应该被输出到工作节点和客户机都可以访问的文件系统
在bigda04机器上找到


相关文章

  • Spark write parquet不写入任何文件,只有成功

    Spark write parquet不写入任何文件,只有成功 应用程序包括在集群spark bigda02机器上...

  • spark sql 和 hive 关于 parquet sche

    数据加载方式 Spark中操作Parquet文件有两种方式1、直接加载文件spark.read.parquet("...

  • spark题03

    1.Spark使用parquet文件存储格式能带来哪些好处? 使用 parquet 主要是对 Spark SQL ...

  • Java操作parquet

    这段时间因为项目,对parquet做了一系列研究,从写入跟踪到合并及spark使用等等场景。选择parquet来对...

  • parquet flile split 造成的困惑

    困惑 1、spark sql 读取parquet 文件,stage生成任务4个task,只有一个task处理数据,...

  • Java 文件操作

    Java 实例 - 文件写入 以下实例演示了使用 write() 方法向文件写入内容: 编译后的结果为: 创建成功...

  • SPARK命令行读取parquet数据

    1,进入spark shell ./spark-shell 2,执行以下操作读取parquet文件 val sql...

  • 写文件

    写文件-write 方法 要写入文件,请使用 write 方法,该方法将字符串写入文件。 例如: file = o...

  • Spark开发--Spark SQL--数据源(十六)

    一、数据源   Spark SQL的默认数据源格式为parquet格式。数据源为Parquet文件时,SparkS...

  • 文件的读写

    <1>写数据(write) 使用write()可以完成向文件写入数据 demo: 新建一个文件file_write...

网友评论

      本文标题:Spark write parquet不写入任何文件,只有成功

      本文链接:https://www.haomeiwen.com/subject/jbwopktx.html