Spark经典案例之求平均值

1、需求分析
对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。
要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。
2、原始数据
1）math：
张三,88
李四,99
王五,66
赵六,77
2）china：
张三,78
李四,89
王五,96
赵六,67
3）english：
张三,80
李四,82
王五,84
赵六,86
样本输出：
张三,82
李四,90
王五,82
赵六,76

package ClassicCase

import org.apache.spark.{SparkConf, SparkContext}

/**
  * 业务场景：求平局值
  * Created by YJ on 2017/2/8.
  */


object case4 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("reduce")
    val sc = new SparkContext(conf)
    sc.setLogLevel("ERROR")
    val four = sc.textFile("hdfs://192.168.109.130:8020//user/flume/ClassicCase/case4/*", 3)

    val a = four.filter(_.trim.length > 0) //数据过滤
      .map(line => //数据整理
      (line.trim().split(",")(0), line.trim.split(",")(1).toInt)
    )
      .groupByKey() //按key分组 (张三,CompactBuffer(78, 80, 88))
      .map(x => {
      var num = 0.0
      var sum = 0
      for (i <- x._2) {
        //遍历该值
        sum = sum + i
        num = num + 1
      }
      val avg = sum / num
      val fm = f"$avg%1.2f"   //1.2->取后面两位小数,格式化数据
      println("fm:"+fm)
      (x._1, fm)
    }
    ).collect.foreach(x => println(x._1+"\t"+x._2))

    //资源学习
    var floatVar = 12.456
    var intVar = 2000
    var stringVar = "资源学习!"
    var fs = printf(
      "浮点型变量为 " + "%1.2f, " +
        "整型变量为  " + "%d,"+
        "字符串为 " + " %s", floatVar, intVar, stringVar)
    println(fs)


  }

}

object FileAverage {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("filedistinct").setMaster("local")
    val sc = new SparkContext(sparkConf)

    val rdd = sc.textFile("demo3/*")

    rdd.map(x => (x.split(",")(0), x.split(",")(1))).groupByKey().map(x =>{
      var sum = 0.0
      var count = 0.0

      for (source <- x._2){
        sum += source.toInt;
        count +=1;
      }
      val str = x._1 + f" ${sum/count}%1.2f"
      println(str)
    }).collect()
  }
}

输出结果
fm:90.00
fm:82.00
fm:82.00
fm:76.67
李四 90.00
王五 82.00
张三 82.00
赵六 76.67
浮点型变量为 12.46, 整型变量为 2000,字符串为 资源学习!()