美文网首页
大数据发展最快的项目

大数据发展最快的项目

作者: clive0x | 来源:发表于2019-02-21 00:20 被阅读0次

    最近几年大数据好多项目都hold住了,如TEZ,Sqoop,甚至Hive,都往深度学习走,但有个项目例外,Kafka,加了安全,加了流式计算Kafka Streaming,加了流处理Kafka Kstream,甚至其研发公司做了Confluent,类似Gobbin,ETL计算框架。总之还是活跃研发。

    但是Kafka也有其缺点,消费者与Partition挂钩,当Partition数少时,即使更多的机器,也是不能加大读取并发量。另外存储和计算在一块,很难做好扩展。多租户也是个老大难问题。

    才是乎出现了Pulsar,存储使用Bookeeper,和计算分离,支持多租户,大有取代Kafka之意。

    相关文章

      网友评论

          本文标题:大数据发展最快的项目

          本文链接:https://www.haomeiwen.com/subject/yullyqtx.html