美文网首页
26-SparkStreaming02

26-SparkStreaming02

作者: CrUelAnGElPG | 来源:发表于2018-09-10 02:09 被阅读0次

用户行为日志

信令数据

cell

mapWithState

DStream 整合RDD == transform

数据一:日志信息    DStream

domain,traffic

ruozedata.com

ruozedata.com

baidu.com

数据二:已有的文件  黑名单  RDD

domain

baidu.com

==> 

(ruozedata.com, ruozedata.com,8888)

www.ruozedata.com,8888

www.ruozedata.com,6666

www.baidu.com,7777

www.yy.com 

test.yy.com 

create table wc(

word varchar(20),

c int(10)

zidong,zidong,i,love,you,ymy,say

bonecp

word count time

ruoze 10    201809092130

ruoze 9    201809092131

upsert

相关文章

  • 26-SparkStreaming02

    用户行为日志 信令数据 cell mapWithState DStream 整合RDD == transform ...

网友评论

      本文标题:26-SparkStreaming02

      本文链接:https://www.haomeiwen.com/subject/mgjjgftx.html