美文网首页玩转大数据Java
Kyuubi命令行工具的使用

Kyuubi命令行工具的使用

作者: AlienPaul | 来源:发表于2024-09-09 11:12 被阅读0次

    前言

    Kyuubi提供了两个命令行工具:kyuubi-admin和kyuubi-ctl。这两个工具的功能和用法非常相似,能够获取到Kyuubi server和engine的状态。下面分别介绍这两个工具的常见使用场景。

    环境信息

    • Kyuubi 1.9.2

    前置要求

    kyuubi-admin和kyuubi-ctl工具依赖于Kyuubi Rest API。使用前需要确保开启了Rest接口。相关配置位于kyuubi-defaults.conf中:

    # 如果配置值有REST,说明开启Web UI和Rest接口
    kyuubi.frontend.protocols               THRIFT_BINARY,REST
    # Kyuubi提供Web UI和Rest接口的端口号
    kyuubi.frontend.rest.bind.port          10099
    

    kyuubi-admin

    使用帮助

    使用--help参数可以打印出帮助信息。

    bin/kyuubi-admin --help
    

    帮助信息如下:

    kyuubi 1.9.2
    Usage: kyuubi-admin [list|delete|refresh] [options]
    
      -b, --verbose            Print additional debug output.
      --hostUrl <value>        Host url for rest api.
      --authSchema <value>     Auth schema for rest api, valid values are basic, spnego.
      --username <value>       Username for basic authentication.
      --password <value>       Password for basic authentication.
      --spnegoHost <value>     Spnego host for spnego authentication.
      --hs2ProxyUser <value>   The value of hive.server2.proxy.user config.
      --conf <value>           Kyuubi config property pair, formatted key=value.
    
    Command: list [engine|server]
            List information about resources.
    Command: list engine [options]
            List all the engine nodes for a user
      -et, --engine-type <value>
                               The engine type this engine belong to.
      -es, --engine-subdomain <value>
                               The engine subdomain this engine belong to.
      -esl, --engine-share-level <value>
                               The engine share level this engine belong to.
    Command: list server
            List all the server nodes
    
    Command: delete [engine]
            Delete resources.
    Command: delete engine [options]
            Delete the specified engine node for user.
      -et, --engine-type <value>
                               The engine type this engine belong to.
      -es, --engine-subdomain <value>
                               The engine subdomain this engine belong to.
      -esl, --engine-share-level <value>
                               The engine share level this engine belong to.
    
    Command: refresh [config] <args>...
            Refresh the resource.
    Command: refresh config [<configType>]
            Refresh the config with specified type.
      <configType>             The valid config type can be one of the following: hadoopConf, userDefaultsConf, kubernetesConf, unlimitedUsers, denyUsers, denyIps.
    
      -h, --help               Show help message and exit.
    

    列出所有的Kyuubi Server

    命令示例如下:

    bin/kyuubi-admin list server --hostUrl http://10.100.10.100:10099
    

    其中--hostUrl需要指定Kyuubi集群中任一Kyuubi server连接URL。
    示例结果如下。可以查询到Kyuubi集群中所有的Kyuubi server和运行状态。

                             Server Node List (total 3)
    ╔═══════════╤═════════════════════╤═══════════════════════════════╤═════════╗
    ║ Namespace │ Instance            │ Attributes                    │ Status  ║
    ╠═══════════╪═════════════════════╪═══════════════════════════════╪═════════╣
    ║ /kyuubi   │ 10.100.10.100:10009 │ serverUri=10.100.10.100:10009 │ Running ║
    ║           │                     │ version=1.9.2                 │         ║
    ║           │                     │ sequence=0000000026           │         ║
    ╟───────────┼─────────────────────┼───────────────────────────────┼─────────╢
    ║ /kyuubi   │ 10.100.10.101:10009 │ serverUri=10.100.10.101:10009 │ Running ║
    ║           │                     │ version=1.9.2                 │         ║
    ║           │                     │ sequence=0000000027           │         ║
    ╟───────────┼─────────────────────┼───────────────────────────────┼─────────╢
    ║ /kyuubi   │ 10.100.10.102:10009 │ serverUri=10.100.10.102:10009 │ Running ║
    ║           │                     │ version=1.9.2                 │         ║
    ║           │                     │ sequence=0000000028           │         ║
    ╚═══════════╧═════════════════════╧═══════════════════════════════╧═════════╝
    3 row(s)
    

    列出所有的Engine

    首先连接Kyuubi,确保Kyuubi创建出了一个Engine。例如使用Kyuubi连接Spark Engine:

    ./beeline -u 'jdbc:hive2://host1:2181,host2:2181,host3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi;#kyuubi.engine.type=SPARK_SQL;' -n hdfs
    

    接下来使用如下命令,列出所有的Engine。需要注意的是,上面连接Kyuubi使用的用户是hdfs,这里列出Engine的时候必须要指定用户(--username参数),否则无法查询到engine。

    ./kyuubi-admin list engine --hostUrl http://10.100.10.100:10099 --username hdfs
    

    示例结果如下:

                                                    Engine Node List (total 1)
    ╔═══════════════════════════════════════════╤══════════════════════════╤═════════════════════════════════════════════════╗
    ║ Namespace                                 │ Instance                 │ Attributes                                      ║
    ╠═══════════════════════════════════════════╪══════════════════════════╪═════════════════════════════════════════════════╣
    ║ /kyuubi_1.9.2_USER_SPARK_SQL/hdfs/default │ xxxxxx.bigdata.com:44418 │ refId=7626ca39-acbc-48eb-8366-76029adb0217      ║
    ║ ╔════════════╤════════════╤═══════════╗   │                          │ kyuubi.engine.url=xxxxxx.bigdata.com:33679      ║
    ║ ║ EngineType │ ShareLevel │ Subdomain ║   │                          │ spark.driver.memory=                            ║
    ║ ╠════════════╪════════════╪═══════════╣   │                          │ kyuubi.engine.id=application_1725009047638_0021 ║
    ║ ║ SPARK_SQL  │ USER       │ default   ║   │                          │ version=1.9.2                                   ║
    ║ ╚════════════╧════════════╧═══════════╝   │                          │ sequence=0000000002                             ║
    ║                                           │                          │ serverUri=xxxxxx.bigdata.com:44418              ║
    ║                                           │                          │ spark.executor.memory=                          ║
    ╚═══════════════════════════════════════════╧══════════════════════════╧═════════════════════════════════════════════════╝
    1 row(s)
    
    

    kyuubi-ctl

    列出所有server

    执行如下命令。和kyuubi-admin不同的是kyuubi-ctl不需要指定hostUrl参数。

    ./kyuubi-ctl list server
    

    示例结果:

                Zookeeper service nodes
    ╔═══════════╤═══════════════╤═══════╤═════════╗
    ║ Namespace │ Host          │ Port  │ Version ║
    ╠═══════════╪═══════════════╪═══════╪═════════╣
    ║ /kyuubi   │ 10.100.10.100 │ 10009 │ 1.9.2   ║
    ╟───────────┼───────────────┼───────┼─────────╢
    ║ /kyuubi   │ 10.100.10.101 │ 10009 │ 1.9.2   ║
    ╟───────────┼───────────────┼───────┼─────────╢
    ║ /kyuubi   │ 10.100.10.102 │ 10009 │ 1.9.2   ║
    ╚═══════════╧═══════════════╧═══════╧═════════╝
    3 row(s)
    

    列出其中一个server

    需要指定server所在的主机IP/hostname和Kyuubi Rest接口端口号。命令如下:

    ./kyuubi-ctl get server --host 10.100.10.100 --port 10009
    

    示例结果:

                Zookeeper service nodes
    ╔═══════════╤═══════════════╤═══════╤═════════╗
    ║ Namespace │ Host          │ Port  │ Version ║
    ╠═══════════╪═══════════════╪═══════╪═════════╣
    ║ /kyuubi   │ 10.100.10.100 │ 10009 │ 1.9.2   ║
    ╚═══════════╧═══════════════╧═══════╧═════════╝
    1 row(s)
    

    列出指定用户的engine

    需要使用--user参数指定用户,命令如下所示:

    ./kyuubi-ctl list engine --user hdfs
    

    示例结果:

                                  Zookeeper service nodes
    ╔═══════════════════════════════════════════╤════════════════════╤═══════╤═════════╗
    ║ Namespace                                 │ Host               │ Port  │ Version ║
    ╠═══════════════════════════════════════════╪════════════════════╪═══════╪═════════╣
    ║ /kyuubi_1.9.2_USER_SPARK_SQL/hdfs/default │ xxxxxx.bigdata.com │ 44418 │ 1.9.2   ║
    ╚═══════════════════════════════════════════╧════════════════════╧═══════╧═════════╝
    1 row(s)
    

    获取特定的engine信息

    需要执行engine运行所在的主机的IP/hostname,engine开放的端口和用户名。

    ./kyuubi-ctl get engine --host xxxxxx.bigdata.com --port 44418 --user hdfs
    

    示例结果:

                                  Zookeeper service nodes
    ╔═══════════════════════════════════════════╤════════════════════╤═══════╤═════════╗
    ║ Namespace                                 │ Host               │ Port  │ Version ║
    ╠═══════════════════════════════════════════╪════════════════════╪═══════╪═════════╣
    ║ /kyuubi_1.9.2_USER_SPARK_SQL/hdfs/default │ worker.bigdata.com │ 44418 │ 1.9.2   ║
    ╚═══════════════════════════════════════════╧════════════════════╧═══════╧═════════╝
    1 row(s)
    

    前面list engine命令的执行结果包含get engine的结果。get engine需要的参数更多,没有list engine使用方便。

    删除特定的engine

    命令参数和get engine相同。示例如下:

    ./kyuubi-ctl delete engine --host xxxxxx.bigdata.com --port 44418 --user hdfs
    

    相关文章

      网友评论

        本文标题:Kyuubi命令行工具的使用

        本文链接:https://www.haomeiwen.com/subject/xuzeljtx.html