美文网首页
Spark map 和 flatMap 区别

Spark map 和 flatMap 区别

作者: 博弈史密斯 | 来源:发表于2018-06-08 14:20 被阅读0次

    map: 对RDD每个元素转换
    flatMap: 对RDD每个元素转换, 然后再扁平化(即将所有对象合并为一个对象)

    Example:

    data 有两行数据:
    a,b,c
    1,2,3

    scala>data.map(line1 => line1.split(",")).collect()
    res11: Array[Array[String]] = Array(Array(a, b, c), Array(1, 2, 3))
    scala>data.flatMap(line1 => line1.split(",")).collect()
    res13: Array[String] = Array(a, b, c, 1, 2, 3)
    

    相关文章

      网友评论

          本文标题:Spark map 和 flatMap 区别

          本文链接:https://www.haomeiwen.com/subject/ifhasftx.html