一、Spark 运行架构 Spark 运行架构如下图：各个RDD之间存在着依赖关系，这些依赖关系形成有向无环图DA...[作者空间]
本期内容：一、Spark Streaming 数据清理总览二、****Spark Streaming ****数据...[作者空间]
在前几期文章里讲了带Receiver的Spark Streaming 应用的相关源码解读，但是现在开发Spark ...[作者空间]
首先简单解释一下什么是state(状态)管理？我们以wordcount为例。每个batchInterval会计算当...[作者空间]
前言 最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长具体代码可参考本人GitHub...[作者空间]
前言 最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长QQ:86608625 微信...[作者空间]
一、Spark Streaming 数据安全性的考虑： Spark Streaming不断的接收数据，并且不断的产...[作者空间]
上篇文章详细解析了Receiver不断接收数据的过程，在Receiver接收数据的过程中会将数据的元信息发送给Re...[作者空间]
原创文章，转载请注明作者信息和文章链接 在上一篇中介绍了Receiver的整体架构和设计原理，本篇内容主要介绍Re...[作者空间]
原创文章，转载请注明:转载自听风居士博客(http://www.jianshu.com/users/4435a13...[作者空间]
Spark 1.6+推出了以RPCEnv、RPCEndpoint、RPCEndpointRef为核心的新型架构下的...[作者空间]
spark从1.6.0开始内存管理发生了变化，原来的内存管理由StaticMemoryManager实现，现在被称...[作者空间]
based on spark-1.5.1 standalone mode 在Spark Application W...[作者空间]
