针对spark-sql操作hive生成分区表，结果文件目录包含_success空文件，可以设置参数：
mapreduce.fileoutputcommitter.marksuccessfuljobs
因此可以在程序中设置：
sc.hadoopConfiguration.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false")
针对spark-sql操作hive生成分区表，结果文件目录包含_success空文件，可以设置参数：
mapreduce.fileoutputcommitter.marksuccessfuljobs
因此可以在程序中设置：
sc.hadoopConfiguration.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false")
本文标题：2018-11-28
本文链接：https://www.haomeiwen.com/subject/yetaqqtx.html
网友评论