美文网首页
Kylin 读写分离部署

Kylin 读写分离部署

作者: 青玉_f18c | 来源:发表于2018-11-26 14:46 被阅读0次

    官方文档翻译
    http://kylin.apache.org/blog/2016/06/10/standalone-hbase-cluster/

    介绍
    Apache Kylin 主要使用HBase存储 cube 数据。所以HBase集群的性能直接影响到kylin的查询性能 。通常场景是,HBase 和 MR/Hive 部署在同一个HDFS集群上,这使得HBase可用资源很有限,MR任务也会影响HBase的性能。这些问题可以通过独立的HBase集群解决,Apache Kylin目前支持这种部署模式。

    架构图

    image.png

    环境要求
    为了启用独立的HBase支持,首先要检查以下环境

    • 部署主集群和hbase集群,确保两者正常工作
    • 确保Kylin服务器可以使用hdfs shell访问这两个集群,并提供完全限定的路径
    • 确保Kylin服务器可以向主集群提交MR作业,可以使用hive shell访问数据仓库,确保hadoop和hive的配置指向主集群
    • 确保kylin服务器可以使用hbase shell访问hbase集群,确保hbase节点配置到hbase集群
    • 确保主集群上的job可以直接访问hbase集群

    配置
    编辑conf/kylin.properties,设置 kylin.hbase.cluster.fs 为HBase集群HDFS的url,例如:kylin.hbase.cluster.fs=hdfs://hbase-cluster-nn01.example.com:8020

    启用NameNode HA:
    HDFS Namenode HA显著提高了集群的可用性,所以要在HBase集群启用它。
    编辑kylin.properties ,设置kylin.hbase.cluster.fs 的值为HBase集群的NN-HA路径
    由于构建多维数据集的MR作业同时访问主集群和hbase集群,因此在任务运行期间可能会抛出异常。原因是任务需要使用与NN-HA相关的配置访问HBase集群,这些配置通常不在主集群中部署。
    这些异常可以通过configs更新来解决。具体来说,合并两个集群的NN-HA相关配置,包括dfs.nameservices、dfs.ha.namenode .、dfs.client.failover.proxy.provider。和其他相关。这些配置也要更新到kylin服务器 和 Resource Manager的hdfs-site.xml中,以及 kylin job conf.xml.
    然而,生产环境更新配置可能比较困难,这是另一种更新方式

    • 用 patch HBASE-14347更新kylin服务器中的HBase client,设置hbase-site.xml
      , hbase.use.dynamic.jar=false
    • 用 patch KYLIN-1910更新kylin服务器,设置kylin.properties ,kylin.hbase.cluster.hdfs.config.file=hbase.hdfs.xml ,hbase.hdfs.xml是指Hbase集群的 hdfs-site.xml ,把它放到kylin.properties同级目录中。
    • 用 patch YARN-3021 更新kylin服务器和resource manager的Hadoop

    故障排查:

    • UnknownHostException occurs during Cube Building
      它通常与HBase HA nameservice配置一起发生,请参考上面的章节启用NN HA
    • ‘Error when open connection hbase’ during Kylin Server startup
      HBase在连接设置期间,尝试在hdfs上创建mkdir tmp dirs,但由于缺少与n -HA相关的配置而失败,请参阅Enable NN HA
    • Failed to submit cube building job
      在生成多维数据集构建作业期间将解析HBase集群路径,但由于缺少与n -HA相关的配置而失败,请参阅Enable NN HA
    • Cube Building Step ‘Convert Cuboid Data to HFile’ failed
      通常出现在Kerberos身份验证。资源管理器在作业提交时尝试更新所有令牌,HBase集群令牌的更新将失败,缺少与n -HA相关的配置,请参考Enable NN HA
    • HFile BulkLoading Stucks for long time
      检查regionserver日志,应该有很多错误日志,如WrongFS 异常。确认kylin.properites/kylin.hbase.cluster.fs 的namenode地址 和 HBase Naster的 hbase-site.xml/root.dir相同

    ** 以上是根据官网文档翻译得到,下面是别人写的,感觉挺好 **

    使用Kylin构建企业大数据分析平台的4种部署方式

    相关文章

      网友评论

          本文标题:Kylin 读写分离部署

          本文链接:https://www.haomeiwen.com/subject/kzbvqqtx.html