1.1、 分配更多资源 1.1.1、分配哪些资源？ Executor的数量 每个Executor所能分配的CPU数...[作者空间]

目录 美团离线计算平台架构都有哪些框架？ 为什么要使用Spark架构? spark推广过程中需要注意哪些方面？ 前...[作者空间]

任务首先在Driver端启动：每一个算子都对应一个新的RDD（没有优化，new了很多对象很耗内存）：hadoopR...[作者空间]

Spark定制班第1课：通过案例对Spark Streaming透彻理解三板斧之一：解密Spark Streami...[作者空间]

spark性能优化：数据倾斜调优 - LW_ICE - 博客频道 - CSDN.NEThttp://blog.cs...[作者空间]

Spark大型项目实战：电商用户行为分析大数据平台（高端大数据项目实战课程）_北风网http://www.ibei...[作者空间]

上次在做内部培训的时候，我讲了这么一句： 一个Job里的Stage都是串行的，前一个Stage完成后下一个Stag...[作者空间]

一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务...[作者空间]

在机器学习和数据挖掘的应用中，scikit-learn是一个功能强大的python包。在数据量不是过大的情况下，可...[作者空间]

一. 数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行...[作者空间]

１．优化数据结构 ２．修改并行度 ３．对数据做采样，对数据倾斜的key增加随机的前缀． ４．局部聚合＋全局聚合 ５...[作者空间]

问题导读: 1、美团离线计算平台架构都有那些框架？ 2、为什么要使用spark架构？ 3、spark推广过程中需要...[作者空间]

将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供...[作者空间]

based on spark-1.5.1 standalone mode 在Spark Application W...[作者空间]