HDFS 若有子目录，Spark 是不能递归读取子目录，需要在 spark-submit 中配置以下参数：
-- conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true\
-- conf spark.hive.mapred.supports.subdirectories=true```
HDFS 若有子目录，Spark 是不能递归读取子目录，需要在 spark-submit 中配置以下参数：
-- conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true\
-- conf spark.hive.mapred.supports.subdirectories=true```本文标题：【大数据】Spark 递归读取 HDFS
本文链接：https://www.haomeiwen.com/subject/ykrvwltx.html
网友评论