2019-02-01 夜深了，，，各回各家，留个寒假作业。。。Spark structured streaming 有一个内嵌的HDFSBackedStateStoreProvider，这个是基于memory实现的。这个方法比较耗内存，state多了就可能会OOM。。。实际上，Spark给大家提供了接口，随时可以自己实现各式各样的，，，完全不难！俄罗斯的小伙伴，就动手自己实现了一个。。。http://code.chermenin.ru/spark-states/ 春节了，酒足饭饱之后，大家完全可以搞一个，简历上也可以多一条！
顺便，鼓励大家一起来维护「腾讯·广点通」团队的荣誉出品 中文版的structured streaming源码解析 ！！！好好写，估计可以出书了！
网友评论