美文网首页
kylin-learn_kylin中kylin_sales_cu

kylin-learn_kylin中kylin_sales_cu

作者: 李小李的路 | 来源:发表于2020-02-19 17:23 被阅读0次
    • 基于kylin-3.0

    背景

    • kylin中对外提供查询服务的cube是建立在选择对应的model基础上;
    • 这一步很有技术含量;


      cube sql
    • SQL 视图 (Hive 查询读取数据以生成 cube),这里是生成cube的平表(falt table)的sql;
    • 源码:(module:server-base)org.apache.kylin.rest.controller.CubeController#getSql(java.lang.String)

    cube创建步骤

    第一步

    • 选择使用的数据模型。并为此cube创建一个唯一的名称(必须)和描述(可选);


      cube name
    • 给cube起名字的时候一定要想好,买定离手,不可修改;

    • 还可以输入一个邮件通知列表,以在构建完成或出错的时候收到通知,如果不想接收在某些状态的通知,可以从Notification Events中移除。注意:ERROR状态下会无条件的发送邮件通知;

      info信息

    第二步

    • 添加cube维度
    • 点击ADD DIMENSIONS,kylin会自动生成所有的维度,用户只需要勾选想要的列即可,同时需要为每个维度输入名字,可以设定是普通维度或是衍生(Derived)维度;衍生维度详见:
    • 自动生成规则如下:


      cube dim

    第三步

    • 创建度量值
    • apache kylin支持的度量有SUM\MIN\MAX\COUNT\COUNT_DISTINCT\TOP_N\EXTENDED_COLUMN\PERCENTILE等。默认 apache kylin会创建一个count(1)度量;
    • 通过 Bulk Add Measures按钮可以批量添加度量。目前对于批量添加度量,apache kylin只支持sum 、min、max、raw 、percentile等简单函数。只需要选择度量类型,然后再选择需要计算的列。
      Bulk Add Measures
    • 如果是需要添加复杂的度量值,可以点击Measure来添加新的度量值 ;
      Measures

    第四步

    • cube的数据刷新设置;
    • 可以设置自动合并的阈值、自动合并触发时保留的阈值、数据保留的最小时间、以及第一个Segment的起点时间(如果cube有分割时间列)
    • Auto Merge Thresholds (kylin-3.0有了变化)


      Auto Merge Thresholds
    • Volatile Range


      Volatile Range
    • Retention Threshold


      Retention Threshold

    第五步

    • 设置维度聚合组和Rowkey属性等;
    • 具体包含属性如下:
      • Aggregation Groups
      • Rowkeys
      • Mandatory Cuboids
      • Cube Engine
      • Advanced Dictionaries
      • Advanced Snapshot Table
      • Advanced ColumnFamily

    第六步

    • 重写配置文件
    • 为cube配置,和hadoop配置一样,apache kylin使用了很多配置参数,用户可以根据具体的环境、场景等配置不同的参数灵活调优。
    • apache kylin全局参数的参数值可以在conf/kylin.properties文件中配置;如果需要覆盖全局设置的话,需要在此页面指定。
    • 其中 kylin_hive_conf.xmlkylin_job_conf.xmlkylin_job_conf_cube_merge.xmlkylin_job_conf_inmem.xmlkylin.properties中的参数都可以在cube级别的重写;
    • 比较常用的是:构建任务时指定不同的yarn队列等配置参数;

    完成

    • 进行完上述操作后,cube的配置已经完成;然后就可以进行build操作了。

    相关文章

      网友评论

          本文标题:kylin-learn_kylin中kylin_sales_cu

          本文链接:https://www.haomeiwen.com/subject/aevafhtx.html