美文网首页
kylin 核心概念

kylin 核心概念

作者: 邵红晓 | 来源:发表于2019-10-18 18:15 被阅读0次
    • 核心思想:Apache Kylin的核心思想是根据用户的数据模型和查询样式对数据进行预计算,并在查询时直接利用预计算结果返回查询结果。

    • 支持hive和spark引擎

    • Apache Kylin 的主要工作就是为源数据构建 N 个维度的 Cube,实现聚合的预计算。理论上而言,构建 N 个维度的 Cube 会生成 2N 个 Cuboid, 如图 1 所示,构建一个 4 个维度(A,B,C, D)的 Cube,需要生成 16 个Cuboid。

    • Hadoop: 2.7+, 3.1+ (since v2.5)
      Hive: 0.13 - 1.2.1+
      HBase: 1.1+, 2.0 (since v2.5)
      Spark (可选) 2.3.0+
      Kafka (可选) 1.0.0+ (since v2.5)
      JDK: 1.8+ (since v2.5)
      OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

    • 其采用分层构建计算,思想是排列组合方式
      group by (A,B,C,D)组合方式 共16种可能方式 16个cube,整体称为数据多维立方体 ,数据存储hbase种

      image.png
    • kylin 的优化就是减少cube的生成

    相关文章

      网友评论

          本文标题:kylin 核心概念

          本文链接:https://www.haomeiwen.com/subject/girwmctx.html