美文网首页大数据解决方案大数据开发
[Netflix]打造万亿级别的数据流水线

[Netflix]打造万亿级别的数据流水线

作者: 葡萄喃喃呓语 | 来源:发表于2017-02-09 11:35 被阅读22次

//
打造万亿级别的数据流水线
http://www.infoq.com/cn/presentations/create-a-trillion-level-data-pipeline
概要
Netflix 是一个数据驱动型公司,许多产品决定是基于数据分析得到的洞察。几百个微服务系统每天产生万亿条消息和 PB 级数据,数据流水线负责从生产者到消费平台(如 Hadoop/ElasticSearch/Kafka)传输如此大规模的数据。此演讲将分享我们是如何做到的。 我们首先看看 Netflix 数据流水线过去几年的演化之路,然后深入探讨新的 Keystone 数据流水线的架构和一些设计抉择,分享 Keystone 在实战中遇到的问题和得到的教训,最后浅谈对 Keystone 未来的一些想法。

相关文章

网友评论

    本文标题:[Netflix]打造万亿级别的数据流水线

    本文链接:https://www.haomeiwen.com/subject/hfsiittx.html