对于foreachRDD的正确理解,请参考对DStream.foreachRDD的理解在spark streami...[作者空间]
前文揭开Spark Streaming神秘面纱③ - 动态生成 job我们分析了 JobScheduler 是如何...[作者空间]
JobScheduler有两个重要成员,一是上文介绍的 ReceiverTracker,负责分发 receiver...[作者空间]
Spark Streaming 在数据接收与导入方面需要满足有以下三个特点: 兼容众多输入源,包括HDFS, Fl...[作者空间]
在 Spark Streaming 中,DStreamGraph 是一个非常重要的组件,主要用来: 通过成员 in...[作者空间]
一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或...[作者空间]
这篇文章由一次平安夜的微信分享整理而来。在Stuq 做的分享,原文内容。 业务场景 这次分享会比较实战些。具体业务...[作者空间]