美文网首页
filter(func)

filter(func)

作者: yayooo | 来源:发表于2019-07-30 20:16 被阅读0次

作用:过滤。返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成。

package com.atguigu

import org.apache.spark.rdd.RDD
import org.apache.spark.{HashPartitioner, Partitioner, SparkConf, SparkContext}

object Trans {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Spark01_Partition")
    //构建spark上下文对象
    val sc = new SparkContext(conf)

    val numRDD: RDD[Int] = sc.makeRDD(List(1,4,3,2))
   //val rdd1: RDD[Int] = numRDD.filter(x => (x%2==0))
   val rdd1: RDD[Int] = numRDD.filter(_%2==0)
    rdd1.collect().foreach(println)

    sc.stop()
  }
}

4
2

package com.atguigu

import org.apache.spark.rdd.RDD
import org.apache.spark.{HashPartitioner, Partitioner, SparkConf, SparkContext}

object Trans {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Spark01_Partition")
    //构建spark上下文对象
    val sc = new SparkContext(conf)

    val numRDD: RDD[String] = sc.makeRDD(List("xiaomi","xiaohong","dazhi"))
   val rdd1: RDD[String] = numRDD.filter(_.contains("xiao"))
    rdd1.collect().foreach(println)

    sc.stop()
  }
}

xiaomi
xiaohong

相关文章

  • filter(func)

    作用:过滤。返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成。 42 xiaom...

  • Python函数式编程-1·Filter

    一、函数式编程Filter: filter(func, seq): 调用一个布尔函数 func 来迭代遍历每个序列...

  • 011 Spark RDD

    一、转换和动作 1.1 Transformation 常见的5种转换为filter(func)、map(func)...

  • python系统内建函数

    系统内建函数名称 描述Filter(func,seq) ...

  • 2018-05-11 python的filter()函数

    格式:filter( func, seq )相当于一个筛选器,func返回布尔值,seq则是func要传都参数,筛...

  • Spark 例子

    Spark 例子 最常用的转换操作有两个: map 和 filter ,map(func)是将func应用到所有元...

  • pybedtools文档--筛选

    1、BedTool.filter(func,*args,**kwargs)[source] 根据用户定义的功能进行...

  • web前端入门到实战:CSS Blur() 将高斯模糊应用于输出

    一、Css Blur() blur() CSS 方法将高斯模糊应用于输出图片. 结果为

  • 过滤器

    filter过滤器(作用) 数据渲染/输出之前,先处理一下 参数 app.controller('名字',func...

  • Vue-04

    过滤器:对显示在页面上的数据进行筛选 全局过滤器 和Vue同级 Vue.filter(“过滤器名称”,func...

网友评论

      本文标题:filter(func)

      本文链接:https://www.haomeiwen.com/subject/drygrctx.html