美文网首页
最简洁最详细的Spark自动删除输出文件夹的代码实现!!!

最简洁最详细的Spark自动删除输出文件夹的代码实现!!!

作者: bin丶 | 来源:发表于2019-11-30 10:59 被阅读0次
    /* 1.spark中需要的输出路径是String,Path只是为了创建出来获取FileSystem
       2.new Path() 括号里面可以传字符串或者 args(index)
    */
    val output = new Path(args(1))
    // 3. 虽然没有进行是否存在的判断,但是文件不存在时也没有什么影响(亲测)
    output.getFileSystem(sc.hadoopConfiguration).delete(output,true)
    

    相关文章

      网友评论

          本文标题:最简洁最详细的Spark自动删除输出文件夹的代码实现!!!

          本文链接:https://www.haomeiwen.com/subject/yvfowctx.html