1、windows上spark shell读取本地文件时，需要在文件地址前加“file:///”
2、文本文件的后缀要有。
3、由于不知道默认读取位置，因此建议使用绝对路径。
如读取本地文件HelloSpark.txt：
scala> val lines = sc.textFile("file:///C:/spark-2.4.3-bin-hadoop2.7/data/testfile/HelloSpark.txt")
scala> val lines = sc.textFile("file:///C:/spark-2.4.3-bin-hadoop2.7/data/testfile/HelloSpark.txt")
lines: org.apache.spark.rdd.RDD[String] = file:///C:/spark-2.4.3-bin-hadoop2.7/data/testfile/HelloSpark.txt MapPartitionsRDD[15] at textFile at <console>:24
scala> lines.first()
res6: String = testfile
scala> lines.count()
res7: Long = 3
网友评论