美文网首页
Spark函数学习笔记

Spark函数学习笔记

作者: sf705 | 来源:发表于2017-05-23 17:15 被阅读155次

spark函数形式:

def functionName( 参数1 : 类型,参数2 : 类型 , ...) : 返回类型 = {
函数体
return 值;
}

例如:

scala> def add(a:Int,b:Int) : Int = {
     | var sum = a+b
     | return sum
     | }
add: (a: Int, b: Int)Int

main函数格式

def main(args: Array[String]) { 
  函数体
}

匿名函数

scala> wc.flatMap(x => x.split(" ")).map((x:String) => (x,1))
//(x:String) => (x,1) 这就是一个匿名函数,如果去掉括号出现错误
//等价于下面的函数
def result (x : String) => (x,1) 
//还有一种写法
scala> Array(1, 2, 3).map((x:Int)=>3*x)
res12: Array[Int] = Array(3, 6, 9)
//将上式圆括号换成大括号,去掉一个点,也可以
scala> Array(1, 2, 3)map{(x:Int)=>3*x}
res13: Array[Int] = Array(3, 6, 9)

柯里函数

柯里转换函数接受多个参数成一条链的函数,每次取一个参数。

scala> def strcat(s1 : String)(s2 : String) = s1 + s2
strcat: (s1: String)(s2: String)String
//等同于下面一种方式
scala> def strlink(str1 : String) = (str2 : String) => str1 + str2
strlink: (str1: String)String => String

scala> strcat("hello")(" world")//调用
res14: String = hello world

闭包

闭包是一个函数,我还以为是其他的呢,名字很高大上。闭包函数返回值依赖于该函数外部的一个或多个变量。因为闭包函数内部访问了外部的变量(对外部变量做运算等),所以对外部变量有依赖。
除此之外,该函数也不是def 开头的,很是怪异

var factor = 3  //外部变量
val multiplier = (i:Int) => i * factor  //multiplier函数中引入了外部变量,factor不是参数

scala> multiplier(2)
res0: Int = 6

参考文献

http://blog.csdn.net/escaflone/article/details/43865247
http://www.yiibai.com/scala/
http://www.runoob.com/scala/

相关文章

  • spark

    *Spark Spark 函数Spark (Python版) 零基础学习笔记(一)—— 快速入门 1.map与fl...

  • Spark函数学习笔记

    spark函数形式: 例如: main函数格式 匿名函数 柯里函数 柯里转换函数接受多个参数成一条链的函数,每次取...

  • spark 学习笔记

    Spark学习笔记 Data Source->Kafka->Spark Streaming->Parquet->S...

  • 2020-03-17

    spark学习笔记centos安装Oracle VirtualBox: Centos安装Vagrant

  • spark核心编程

    Spark 学习笔记 Spark 架构及组件 client:客户端进程,负责提交job到master Driver...

  • Spark Core 学习笔记

    Spark Core 学习笔记 1、Spark 简介 ​ Spark 是一种用于大规模数据处理的统一计算引擎...

  • spark xgboost损失函数和评价函数的修改

    spark xgboost自定义损失函数和评价函数 一、spark xgboost自定义损失函数 xgboost定...

  • Spark Architecture

    OReilly.Learning.Spark 学习笔记 Spark里所有操作都是对RDD来的。分为两种 1. Tr...

  • Kotlin学习笔记:类和接口

    Kotlin学习笔记:概述Kotlin学习笔记:基本语法和函数Kotlin学习笔记:类和接口Kotlin学习笔记:...

  • Kotlin学习笔记:概述

    Kotlin学习笔记:概述Kotlin学习笔记:基本语法和函数Kotlin学习笔记:类和接口Kotlin学习笔记:...

网友评论

      本文标题:Spark函数学习笔记

      本文链接:https://www.haomeiwen.com/subject/woaxxxtx.html