Spark Streaming性能优化: 如何获得和持续使用足够

Yarn的使用:

运行在yarn上和其他计算框架共享资源,会有不稳定情况, hadoop 2.6推出lable-based-scheduling机制. 给不同的计算的node打上标签, 定义不同的队列的时候标记上不同的标签,不同的队列可以有相同的标签, 这样可以让指定的机器运行spark.

参考如下地址:https://www.mapr.com/blog/label-based-scheduling-hadoop-clusters