美文网首页
Spark+AI Summit 2019: Netflix 进入

Spark+AI Summit 2019: Netflix 进入

作者: smilegator | 来源:发表于2019-06-24 09:21 被阅读0次

流媒体老大Netflix在今年Spark+AI Summit分享了他们用Spark替代了Hive和Pig的经验和教训!Netflix是Amazon web service的最大客户!原本data pipeline是Pig + Hive。如今,spark的job每日上万个,高达了总数的92%,cluster runtime也有85%,S3 read接近90%,S3 write接近80%。。。彻底告别了Hadoop,走入Spark新时代!!!

这个slides Migrating to Apache Spark at Netflix 分享了他们migration期间的各种经验和教训!大家疯狂点击!

下图展示了Google Trends的三个国内比较流行大数据平台的最新走势!

相关文章

网友评论

      本文标题:Spark+AI Summit 2019: Netflix 进入

      本文链接:https://www.haomeiwen.com/subject/pjagqctx.html