1.4 Spark Architecture 程序执行

import org.apache.spark.{SparkContext, SparkConf}

object SparkMeApp {
  def main(args: Array[String]) {
    // 指定Master服务器的地址
    val masterURL = "spark://localhost:8080"  (1)
    // 读入本次任务需要的各种配置
    val conf = new SparkConf()  (2)
      .setAppName("SparkMe Application")
      .setMaster(masterURL)
    // 初始化SparkContext, 我们已经知道这是Driver里的项目经理
    val sc = new SparkContext(conf) (3)
    // 这里把文件读入, 生成了一个RDD
    val fileName = util.Try(args(0)).getOrElse("build.sbt")
    val lines = sc.textFile(fileName).cache() (4)
    // 数了一下这个RDD有多少行, 把结果汇总到Driver然后打印
    val c = lines.count() (5)
    println(s"There are $c lines in $fileName")
  }
}

这段代码用本地模式统计了一下sbt的构造文件有多少行