最近几年大数据好多项目都hold住了,如TEZ,Sqoop,甚至Hive,都往深度学习走,但有个项目例外,Kafka,加了安全,加了流式计算Kafka Streaming,加了流处理Kafka Kstream,甚至其研发公司做了Confluent,类似Gobbin,ETL计算框架。总之还是活跃研发。
但是Kafka也有其缺点,消费者与Partition挂钩,当Partition数少时,即使更多的机器,也是不能加大读取并发量。另外存储和计算在一块,很难做好扩展。多租户也是个老大难问题。
才是乎出现了Pulsar,存储使用Bookeeper,和计算分离,支持多租户,大有取代Kafka之意。
网友评论