美文网首页大数据解决方案大数据开发
##[唯品会]Apache Kylin在唯品会大数据的应用

##[唯品会]Apache Kylin在唯品会大数据的应用

作者: 葡萄喃喃呓语 | 来源:发表于2017-09-27 16:31 被阅读63次

    Apache Kylin在唯品会大数据的应用搜狐科技搜狐网
    http://www.sohu.com/a/123794954_470008

    在2015年 唯品会的数据分析碰到了以下两个瓶颈:第一是数据准备的流程长,第二是缺少合适数据提取和分析工具。

    总结下来,在唯品会这样规模的公司里,数据分析有两个痛点
    1.需要一个可以自由组合的维度和指标的平台,业务人员可以根据自己的视角自给自足的完成数据提取和分析;
    2.这个平台,不仅数据要够丰富,即使大数据量响应速度也要快。
    针对这两个痛点,本着“让大数据成为唯品会的增长引擎”这个目标,我们大数据部门的提供了一套完整的解决方案:自助多维分析平台。我们通过有较高可扩展性的维度建模准备数据,在此之上搭建一套数据查询引擎,并配上操作简单的数据可视化前端,为业务人员搭了数据分析的台子。随着大家数据分析技能的提升,人人都是数据分析师的这个理念就逐渐在公司内部扩展开来了。

    image.png

    唯品会如何使用Kylin
    数据和前端是皮和肉,需要通过好的数据引擎才能支撑起来。在数据引擎角度,我们通过一段时间的积累和演进,从基于Presto的ROLAP模型进化到了基于Kylin和Presto的双计算引擎。往超大数据集也要快速ad-hoc响应的方向走近了一步。


    相关文章

      网友评论

      • 数据产品:kylin对维度的数量是有限制的,如果维度比较多的时候,怎么处理?是拆主题吗,如果拆主题的话,后续的维护成本就会相应的增加,请问老板有什么好的方法吗?

      本文标题:##[唯品会]Apache Kylin在唯品会大数据的应用

      本文链接:https://www.haomeiwen.com/subject/tebuextx.html