美文网首页kafka大数据开发
为什么要用kafka?kafka适用什么样的场景?

为什么要用kafka?kafka适用什么样的场景?

作者: 葡萄喃喃呓语 | 来源:发表于2016-10-26 22:16 被阅读8451次

    Apache Kafka 集群环境搭建 - - ITeye技术网站
    http://bigcat2013.iteye.com/blog/2175880?utm_source=tuicool&utm_medium=referral
    接下来是老生常谈的问题:为什么要用kafka?kafka适用什么样的场景?我先和大家分享一下自己再项目中的使用总结,有其他想法的同学欢迎补充:
    使用kafka的理由:
    1.分布式,高吞吐量,速度快(kafka是直接通过磁盘存储,线性读写,速度快:避免了数据在JVM内存和系统内存之间的复制,减少耗性能的对象创建和垃圾回收)
    2.同时支持实时和离线两种解决方案(相信很多项目都有类似的需求,这也是Linkedin的官方架构,我们是一部分数据通过storm做实时计算处理,一部分到hadoop做离线分析)。
    3.open source (open source 谁不喜欢呢)
    4.源码由scala编写,可以运行在JVM上(笔者对scala很有好感,函数式语言一直都挺帅的,spark也是由scala写的,看来以后有空得刷刷scala)
    使用场景:
    笔者主要是用来做日志分析系统,其实Linkedin也是这么用的,可能是因为kafka对可靠性要求不是特别高,除了日志,网站的一些浏览数据应该也适用。(只要原始数据不需要直接存DB的都可以)

    相关文章

      网友评论

        本文标题:为什么要用kafka?kafka适用什么样的场景?

        本文链接:https://www.haomeiwen.com/subject/bxdjuttx.html