一、Beam编程基本概念
PCollection:数据集,可能是有界数据集(数据量有限)和无界数据集(数据量无限)
PTransform:对数据集进行计算处理,对输入的PCollection进行指定的计算逻辑处理产生输出PCollection
Pipeline:将PTransform和PCollection串起来的一个DAG(directed acyclic graph)
PipelineRunner:Pipeline执行环境
PCollection:数据集,可能是有界数据集(数据量有限)和无界数据集(数据量无限)
PTransform:对数据集进行计算处理,对输入的PCollection进行指定的计算逻辑处理产生输出PCollection
Pipeline:将PTransform和PCollection串起来的一个DAG(directed acyclic graph)
PipelineRunner:Pipeline执行环境
本文标题:Apache Beam入门学习一
本文链接:https://www.haomeiwen.com/subject/yvuvpftx.html
网友评论