当使用sparkstreaming处理流式数据的时候，它的数据源搭档大部分都是Kafka，尤其是在互联网公司颇为常...[作者空间]
1、为什么引入Backpressure 默认情况下，Spark Streaming通过Receiver以生产者生产...[作者空间]
因为首次启动JOB的时候，由于冷启动会造成内存使用太大，为了防止这种情况出现，限制首次处理的数据量 for exa...[作者空间]
问题： 当应用由于各种其它因素需要暂停消费时，下一次再次启动后就会有大量积压消息需要进行处理，此时为了保证应用能够...[作者空间]
前面的文章已经介绍了在spark streaming集成kafka时，如何处理其偏移量的问题，由于spark st...[作者空间]
上篇文章，讨论了在spark streaming中管理消费kafka的偏移量的方式，本篇就接着聊聊上次说升级失败的...[作者空间]
本篇我们先从理论的角度聊聊在Spark Streaming集成Kafka时的offset状态如何管理。 spark...[作者空间]
前面文章介绍了不少有关Spark Streaming的offset的管理以及如何优雅的关闭Spark Stream...[作者空间]
我们都知道SparkStreaming程序是一个长服务，一旦运转起来不会轻易停掉，那么如果我们想要停掉正在运行的程...[作者空间]
大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,...[作者空间]
