数据集分类
数据以一条条形式出现，然后经过存储、转化形成一种数据集的状态，根据数据的产生方式，我们把形成的数据集分为两种
- 有界数据集-数据的产生有始有终、界限分明
- 无界数据集-数据的产生永不停歇、源源不断
有界数据集
- 存在时间边界，比如周三当天产生的bug数
- 有界数据集的处理对应批处理-batch processing
- 批处理过程：从RDMS或者文件取出数据->分布式系统进行数据处理->在存储到RDMS活着文件
- 批处理系统
- hadoop
- spark
无界数据集
- 源源不断产生，比如百度网页的访问量，服务器的日志
- 无界数据集的处理对应流处理-stream processing
- 复杂度
- 时间先后
- 容错
- 流处理系统
- storm
- spark streaming
- flink
无界、有界数据集转化
- 有界无界是相对的
- 无界数据集可以划分成有界数据集，如按每天划分
- 有界数据集可以以无界数据集形式处理，比如一天数据按每条发送到流处理系统
spark、flink对比
- spark 无界、有界数据集-以批的形式统一处理
- flink 无界、有界数据集-以流的形式统一处理
- 两者的处理思路不同而已
image.png
网友评论