美文网首页
14-SparkCore01

14-SparkCore01

作者: CrUelAnGElPG | 来源:发表于2018-08-30 05:37 被阅读0次

x.y.z

1.6.1

2.3.1

2.2.2

RDD

transformation: lazy

map filter union flatMap  mapPartition

action: eager  ==> Spark Job

collect

take

11: 域名

20:流量

1分钟:200G压缩后的

24*60*200G  : 10s

99.99%

99.9%

99%

相关文章

  • 14-SparkCore01

    x.y.z 1.6.1 2.3.1 2.2.2 RDD transformation: lazy map filt...

网友评论

      本文标题:14-SparkCore01

      本文链接:https://www.haomeiwen.com/subject/sxglwftx.html