美文网首页
Apache Beam入门学习一

Apache Beam入门学习一

作者: 游龙惊凤 | 来源:发表于2018-07-16 09:52 被阅读0次

    一、Beam编程基本概念

    PCollection:数据集,可能是有界数据集(数据量有限)和无界数据集(数据量无限)

    PTransform:对数据集进行计算处理,对输入的PCollection进行指定的计算逻辑处理产生输出PCollection

    Pipeline:将PTransform和PCollection串起来的一个DAG(directed acyclic graph)

    PipelineRunner:Pipeline执行环境

    相关文章

      网友评论

          本文标题:Apache Beam入门学习一

          本文链接:https://www.haomeiwen.com/subject/yvuvpftx.html