美文网首页
开发调优

开发调优

作者: sakura_bin | 来源:发表于2019-08-03 14:32 被阅读0次
    1. 对于同一份数据,只应该创建一个RDD,不能创建多个RDD来代表同一份数据
    2. 应该尽量复用一个RDD,这样可 以尽可能地减少RDD的数量,从而尽可能减少算子执行的次数。
    3. 对多次使用的RDD进行持久化
      使用cache()方法 或 persist()方法
    4. 能避免则尽可能避免使用reduceByKey、join、distinct、repartition等会进行 shuffle的算子,尽量使用map类的非shuffle算子
    5. 尽量使用可以map-side预聚合的算子。
    6. 使用高性能算子,如:
      使用reduceByKey/aggregateByKey替代groupByKey
      使用mapPartitions替代普通map
      使用foreachPartitions替代foreach
      使用filter之后进行coalesce操作
      使用repartitionAndSortWithinPartitions替代repartition与sort类操作

    相关文章

      网友评论

          本文标题:开发调优

          本文链接:https://www.haomeiwen.com/subject/pbyjdctx.html