Spark Streaming

Spark Streaming 执行过程

Spark 内部实现遵循以下步骤：

• 主要部件的初始化过程
• 网络侧接收到的数据如何存储到内存
• 如何根据存储下来的数据生成相应的spark job

下面我们以wordcount为例说明。

1. streamingContext初始化过程

val ssc= new StreamingContext("local[2]","Networkwordcount",Seconds(1))

Streamingcontext的参数：

• sparkcontext，任务最重通过sparkcontext借口提交到spark cluster运行
• checkpoint 检查点
• duration 根据多久时长常见一个batch

利用初始化的ssc生成dstream。

val lines=ssc.sockettextStream("localhost",9999)

sockettextstream返回值是dstream

socketinputdstream的实现中，最主要就是定义getreceiver函数，在getreceiver函数中制作了一件事情，即产生一个新的socketreceiver。

创建完socketreceiver之后，接下来的工作就是对dstream进行一系列的操作转换。对Streaming的实际应用开发也集中在这样的一个阶段。

val words=lines.flatmap(_.split(" "))
import org.apache.spark.streaming.streamingContext._
val pairs=words.map(word=>(word,1))
val wordcounts=pairs.reduceByKey(_+_)
wordcounts.print()

在上述的转换过程中，print属于输出操作。

共有如下输出操作

• print
• foreachrdd
• saveasobjectfiles
• saveastextfiles
• saveashadoopfiles

上述设计的输出操作其实最后都会调用到foreachdstaream，foreachdstream不同于dstream的地方在于冲在了generatejob方法。

最后就是提交。

ssc.start()
ssc.awaitTermination()

2. 数据接收

ssc.start触及的运行逻辑。调用jobscheduler.start，由job scheduler一次启动一下三大功能模块。

• 监控
• 数据接收
• 定期生成spark job的jobgenerator

3. 数据处理

如何将输出和输入绑定一起，依赖于dstreamgraph，dstreamgraph记录输入的stream和输出的stream。

窗口操作

滑动窗口：

在任何基于窗口的操作都需要制定两个参数，一个是窗口总的长度，另一个是滑动窗口的间隔。需要注意的是这两个参数的值必须是批量处理时间间隔的倍数。

比如想知道过去30s某个单词出现的次数，每10s更新一次结果，可以使用如下代码：

val windowedwordcounts=pairs.reduceBykeyandWindow(a:int,b:int)=>(a+b),seconds(30),seconds(10))

容错性分析