美文网首页
Spark write parquet不写入任何文件,只有成功

Spark write parquet不写入任何文件,只有成功

作者: 羋学僧 | 来源:发表于2020-10-15 20:15 被阅读0次

    Spark write parquet不写入任何文件,只有成功

    应用程序包括
    在集群spark bigda02机器上执行

    userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result1015")
    
    userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result1513")
    
    userDF.select($"name",$"favorite_color").write.format("csv").save("/home/bigdata/data/result0927")
    
    userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result15")
    
    userDF.select($"name",$"favorite_color").write.format("csv").save("/home/bigdata/data/result1122")
    
    

    在bigda02机器上,只将创建目录,除了一个空的_SUCCESS文件外,没有其他内容

    在我的例子中,当我试图将一个文件保存到我的本地文件系统,而不是从Spark集群访问的文件系统时,就会发生这种情况。
    该文件是由Spark worker节点而不是Spark客户机写入的,因此它应该被输出到工作节点和客户机都可以访问的文件系统
    在bigda04机器上找到


    相关文章

      网友评论

          本文标题:Spark write parquet不写入任何文件,只有成功

          本文链接:https://www.haomeiwen.com/subject/jbwopktx.html