/* 1.spark中需要的输出路径是String,Path只是为了创建出来获取FileSystem
2.new Path() 括号里面可以传字符串或者 args(index)
*/
val output = new Path(args(1))
// 3. 虽然没有进行是否存在的判断,但是文件不存在时也没有什么影响(亲测)
output.getFileSystem(sc.hadoopConfiguration).delete(output,true)
/* 1.spark中需要的输出路径是String,Path只是为了创建出来获取FileSystem
2.new Path() 括号里面可以传字符串或者 args(index)
*/
val output = new Path(args(1))
// 3. 虽然没有进行是否存在的判断,但是文件不存在时也没有什么影响(亲测)
output.getFileSystem(sc.hadoopConfiguration).delete(output,true)
本文标题:最简洁最详细的Spark自动删除输出文件夹的代码实现!!!
本文链接:https://www.haomeiwen.com/subject/yvfowctx.html
网友评论