美文网首页
148、Spark核心编程进阶之takeSampled以及公司年

148、Spark核心编程进阶之takeSampled以及公司年

作者: ZFH__ZJ | 来源:发表于2019-01-22 09:52 被阅读0次

    takeSample算子,与sample不同之处,两点

    1. action操作,sample是transformation操作
    2. 不能指定抽取比例,只能是抽取几个
    public class TakeSampled {
        public static void main(String[] args) {
            SparkConf conf = new SparkConf()
                    .setAppName("TakeSampled")
                    .setMaster("local");
            JavaSparkContext sc = new JavaSparkContext(conf);
    
            List<String> staffList = Arrays.asList("张三", "李四", "王二", "麻子",
                    "赵六", "王五", "李大个", "王大妞", "小明", "小倩");
            JavaRDD<String> staffRDD = sc.parallelize(staffList);
    
            List<String> luckyStaffList = staffRDD.takeSample(false, 3);
    
            for(String luckyStaff : luckyStaffList) {
                System.out.println(luckyStaff);
            }
            sc.close();
        }
    }
    

    相关文章

      网友评论

          本文标题:148、Spark核心编程进阶之takeSampled以及公司年

          本文链接:https://www.haomeiwen.com/subject/nsxcjqtx.html