美文网首页
Apache pulsar Beijing Meetup 8-1

Apache pulsar Beijing Meetup 8-1

作者: 泓礼 | 来源:发表于2019-08-18 09:56 被阅读0次

    1. 社区的发展

    离不开核心开发者的推动,愿意普及的意识,资本的加入等

    2. 带着脑子

    一位仁兄提的问题,Flink为啥没有提到shuffle,而这是spark、mr等系统必提的内容。

    真正熟悉Flink的阿里技术人答曰:Flink是流式的,没有所谓的shuffle。

    Flink走的是类似storm将数据直接推送的模式(网络模式和shuffle的数据传输是类似的),所以不存在类似mr,将数据落盘,然后进行shuffle的东西,但阿里做批流一体时,添加了shuffle manager来提高吞吐。

    只是听,不结合知识背景,不进行思考,我想是难以提出好问题的,这个问题也加深了我对各系统的理解。

    3. 理解其他领域

    EMQ 2012年开始做物联网,对接各种联网设备,面临多种多样的协议,复杂的联网环境等多种问题,虽然最近5g带动万物互联的理念很火,但离大范围开启物联网应用还有一定距离。

    想进入物联网领域,就需要调研好形势。

    相关文章

      网友评论

          本文标题:Apache pulsar Beijing Meetup 8-1

          本文链接:https://www.haomeiwen.com/subject/hvxrsctx.html