Note：本文要求读者对UnifiedMemoryManager的原理有基本的了解。希望读者能与作者一起探讨。 本...[作者空间]
背景 Spark支持多种数据源，但是Spark对HBase 的读写都没有相对优雅的api，但spark和HBase...[作者空间]
我以近十天的编译Spark的痛苦经历，来分享一下如何在国内快速的完成Spark编译。 其实，唯一的任务就是将Spa...[作者空间]
前言 SparkStreaming 7*24 小时不间断的运行，有时需要管理一些状态，比如wordCount，每个...[作者空间]
前言 Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streamin...[作者空间]
本篇文章基于Spark1.6.1源码解读Catalyst下的SqlParser spark sql中可以分三种sq...[作者空间]
Spark DataSource API 的提出使得各个数据源按规范实现适配，那么就可以高效的利用Spark 的计...[作者空间]
在Spark Streaming的应用程序中，有时候需要将计算结果保存到数据库中，为了高效这里使用批量插入，结合c...[作者空间]
目录### Spark Streaming 透彻理解之一 通过案例对SparkStreaming透彻理解之 spa...[作者空间]
Spark Streaming程序的运行，不断的产生job，不断的生成RDD、不断的接收数据存储数据，不断的保存元...[作者空间]
在Spark Streaming中，job不断的产生，有时候会产生一些空RDD，而基于这些空RDD生成的job大多...[作者空间]
Spark Streaming程序的停止可以是强制停止、异常停止或其他方式停止。首先我们看StreamingCon...[作者空间]
Spark Streaming在企业级使用中，一般会使用no receiver的方式读取数据，对应kafka中的D...[作者空间]
前面的课程中主要是使用ReceiverInputDStream，是针对Receiver方式开展的剖析。 ...[作者空间]
Spark Streaming中的数据是源源不断流进来的，有时候我们需要计算一些周期性的统计，就不得不维护一下数据...[作者空间]
上篇文章详细解析了Receiver不断接收数据的过程，在Receiver接收数据的过程中会将数据的元信息发送给Re...[作者空间]
Spark Streaming中Driver的容错主要是ReceiverTracker、Dstream.graph...[作者空间]
要篇内容介绍Executor的容错，容错方式有WAL、消息重放、其他 首先介绍WAL的方法，就是保存数据前，先把数...[作者空间]
本篇内容从ReceiverTracker消息通讯的角度来研究ReceiverTracker的源码 在第10篇中介绍...[作者空间]
