美文网首页
日志与Kafka

日志与Kafka

作者: Lee_d441 | 来源:发表于2018-11-11 21:00 被阅读0次

    日志

    日志是一种存储抽象,只能追加按照时间完全有序的记录序列,是一种有持久性保证和强有序的语义消息系统。日志是分布式一致性的底层实现基石。

    1)日志将分布式的物理时钟和时间解耦,依托于顺序来重放历史数据,将物理时钟变为顺序这种逻辑时钟。

    2)日志将不同的系统解耦,将同步计算调用改为异步,同时解决了分布式的时间顺序问题,也就是重放同步调用的数据,使异步调用获得的结果和同步完全相同。

    3)日志与表的二象性:表记录的是静态结果,日志记录的是变更。日志不仅包含表的最终内容,还能用于重建表的任何一个版本。SVN、bin log

    4)日志与流:流数据处理最大的问题在于没有实时的输入流,人们总是依托于批量的数据收集(如人口普查),最后汇总。日志的出现使得消费者可以获取实时的数据流。

    根据官网介绍,kafka是流处理平台,也就是说kafka是基于log实现的,因此包含了log的各种优势。

    参考资料

    LinkedIn关于log的解释

    中文版

    相关文章

      网友评论

          本文标题:日志与Kafka

          本文链接:https://www.haomeiwen.com/subject/zxsffqtx.html