shuffle写阶段 DAGScheduler.submitMissingTasks ShuffleMapTask...[作者空间]
CoarseGrainedExecutorBackend.receive收到LaunchTask消息 使用exec...[作者空间]
TaskSchedulerImpl.submitTasks 调度器初始化 FIFOSchedulableBuild...[作者空间]
DAGScheduler.handleJobSubmitted submitMissingTasks Shuffl...[作者空间]
eventProcessLoop POST JobSubmitted 事件 eventThread 消费事件进行处...[作者空间]
NarrowDependency MapPartitionsRDD var prev: RDD[T] OneToO...[作者空间]
driver的网络通信 -SparkContext.SparkEnvprivate[spark] def env:...[作者空间]
org.apache.spark.deploy.SparkSubmit-main -YarnClusterAppl...[作者空间]
调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量磁盘IO、序列化、网络数...[作者空间]
关于处理倾斜的demo程序-githup 解决方案四：两阶段聚合（局部聚合+全局聚合） 方案适用场景：对RDD执行...[作者空间]
Executor内存使用 因此Executor的内存主要分为三块： 第一块是让task执行我们自己编写的代码时使用...[作者空间]
