美文网首页
春节了,寒假作业:实现自己的State Store Provid

春节了,寒假作业:实现自己的State Store Provid

作者: smilegator | 来源:发表于2019-02-03 00:53 被阅读0次

2019-02-01 夜深了,,,各回各家,留个寒假作业。。。Spark structured streaming 有一个内嵌的HDFSBackedStateStoreProvider,这个是基于memory实现的。这个方法比较耗内存,state多了就可能会OOM。。。实际上,Spark给大家提供了接口,随时可以自己实现各式各样的,,,完全不难!俄罗斯的小伙伴,就动手自己实现了一个。。。http://code.chermenin.ru/spark-states/ 春节了,酒足饭饱之后,大家完全可以搞一个,简历上也可以多一条!

顺便,鼓励大家一起来维护「腾讯·广点通」团队的荣誉出品 中文版的structured streaming源码解析 !!!好好写,估计可以出书了!

相关文章

网友评论

      本文标题:春节了,寒假作业:实现自己的State Store Provid

      本文链接:https://www.haomeiwen.com/subject/nafcsqtx.html