美文网首页
spark模版

spark模版

作者: Frank_8942 | 来源:发表于2018-12-26 13:33 被阅读12次
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object SparkModel {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local[2]").setAppName("test")
    val spark = SparkSession.builder().config(conf).getOrCreate()
    val sc = spark.sparkContext
    //设置日志打印级别
    sc.setLogLevel("WARN")

    //计算逻辑
    compute(spark)


    spark.stop()
  }

  def compute(spark:SparkSession):Unit ={
    import spark.implicits._

  }
}

相关文章

  • spark模版

  • 10.1KOA ejs 模版引擎

    ejs 模版引擎 安装模版引擎中间件 安装模版引擎 定义模版 使用模版引擎 具体 ejs 模版引擎使用 http:...

  • 10.2KOA handlebars 模版引擎

    handlebars 模版引擎 安装模版引擎中间件 安装模版引擎 定义模版文件 使用模版引擎 具体 handleb...

  • 三十二:Django之模版使用

    一:创建模版文件夹 二:配置模版目录 三:使用模版文件 四:给模版文件传递数据 模版变量使用:{{ 模版变量名 }...

  • day06-模版使用

    1)创建模版文件夹2)配置模版目录 3)使用模版文件 给模版文件传递数据模版变量的使用{{ 模版变量名 }}ind...

  • 大数据面试必备知识点总结:Spark,Hadoop,kafka,

    spark spark core spark sql spark streaming spark编程模式 spar...

  • 模版

    模版 模版函数 使用模版函数不需要指定类型,直接传参就可以了。 模版类 使用模版类需要指定类型。

  • spark安装与部署

    spark安装与部署 spark概述 spark平台结构spark统一栈 spark官网 spark的安装,配置,...

  • Spark 入门

    Spark Spark 背景 什么是 Spark 官网:http://spark.apache.org Spark...

  • Spark Core 解析:RDD

    引言 Spark Core是Spark的核心部分,是Spark SQL,Spark Streaming,Spark...

网友评论

      本文标题:spark模版

      本文链接:https://www.haomeiwen.com/subject/wdkhlqtx.html