方案

方案一：直接使用文件的全路径：

sc.textFile("hdfs://nn1home:8020/input/war-and-peace.txt")

方案二：对spark session进行配置

val spark = SparkSession.build()
  .master("local")
  .appName("demo for read file")
  .config("spark.hadoop.fs.defaultFS", "hdfs://nn1home:8020")
  .getOrCreate()

spark.read.textFile("hdfs://nn1home:8020/input/war-and-peace.txt")

前提

获取hadoop defaultFS配置：

从HDFS的配置文件core-site.xml中获取。根据实际情况，可能需要在本地的hosts文件中添加对应的主机地址映射。

参考

• Cannot Read a file from HDFS using Spark
• How to read files from HDFS using Spark?