Kyuubi命令行工具的使用

前言

Kyuubi提供了两个命令行工具:kyuubi-admin和kyuubi-ctl。这两个工具的功能和用法非常相似,能够获取到Kyuubi server和engine的状态。下面分别介绍这两个工具的常见使用场景。

环境信息

  • Kyuubi 1.9.2

前置要求

kyuubi-admin和kyuubi-ctl工具依赖于Kyuubi Rest API。使用前需要确保开启了Rest接口。相关配置位于kyuubi-defaults.conf中:

# 如果配置值有REST,说明开启Web UI和Rest接口
kyuubi.frontend.protocols               THRIFT_BINARY,REST
# Kyuubi提供Web UI和Rest接口的端口号
kyuubi.frontend.rest.bind.port          10099

kyuubi-admin

使用帮助

使用--help参数可以打印出帮助信息。

bin/kyuubi-admin --help

帮助信息如下:

kyuubi 1.9.2
Usage: kyuubi-admin [list|delete|refresh] [options]

  -b, --verbose            Print additional debug output.
  --hostUrl <value>        Host url for rest api.
  --authSchema <value>     Auth schema for rest api, valid values are basic, spnego.
  --username <value>       Username for basic authentication.
  --password <value>       Password for basic authentication.
  --spnegoHost <value>     Spnego host for spnego authentication.
  --hs2ProxyUser <value>   The value of hive.server2.proxy.user config.
  --conf <value>           Kyuubi config property pair, formatted key=value.

Command: list [engine|server]
        List information about resources.
Command: list engine [options]
        List all the engine nodes for a user
  -et, --engine-type <value>
                           The engine type this engine belong to.
  -es, --engine-subdomain <value>
                           The engine subdomain this engine belong to.
  -esl, --engine-share-level <value>
                           The engine share level this engine belong to.
Command: list server
        List all the server nodes

Command: delete [engine]
        Delete resources.
Command: delete engine [options]
        Delete the specified engine node for user.
  -et, --engine-type <value>
                           The engine type this engine belong to.
  -es, --engine-subdomain <value>
                           The engine subdomain this engine belong to.
  -esl, --engine-share-level <value>
                           The engine share level this engine belong to.

Command: refresh [config] <args>...
        Refresh the resource.
Command: refresh config [<configType>]
        Refresh the config with specified type.
  <configType>             The valid config type can be one of the following: hadoopConf, userDefaultsConf, kubernetesConf, unlimitedUsers, denyUsers, denyIps.

  -h, --help               Show help message and exit.

列出所有的Kyuubi Server

命令示例如下:

bin/kyuubi-admin list server --hostUrl http://10.100.10.100:10099

其中--hostUrl需要指定Kyuubi集群中任一Kyuubi server连接URL。
示例结果如下。可以查询到Kyuubi集群中所有的Kyuubi server和运行状态。

                         Server Node List (total 3)
╔═══════════╤═════════════════════╤═══════════════════════════════╤═════════╗
║ Namespace │ Instance            │ Attributes                    │ Status  ║
╠═══════════╪═════════════════════╪═══════════════════════════════╪═════════╣
║ /kyuubi   │ 10.100.10.100:10009 │ serverUri=10.100.10.100:10009 │ Running ║
║           │                     │ version=1.9.2                 │         ║
║           │                     │ sequence=0000000026           │         ║
╟───────────┼─────────────────────┼───────────────────────────────┼─────────╢
║ /kyuubi   │ 10.100.10.101:10009 │ serverUri=10.100.10.101:10009 │ Running ║
║           │                     │ version=1.9.2                 │         ║
║           │                     │ sequence=0000000027           │         ║
╟───────────┼─────────────────────┼───────────────────────────────┼─────────╢
║ /kyuubi   │ 10.100.10.102:10009 │ serverUri=10.100.10.102:10009 │ Running ║
║           │                     │ version=1.9.2                 │         ║
║           │                     │ sequence=0000000028           │         ║
╚═══════════╧═════════════════════╧═══════════════════════════════╧═════════╝
3 row(s)

列出所有的Engine

首先连接Kyuubi,确保Kyuubi创建出了一个Engine。例如使用Kyuubi连接Spark Engine:

./beeline -u 'jdbc:hive2://host1:2181,host2:2181,host3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi;#kyuubi.engine.type=SPARK_SQL;' -n hdfs

接下来使用如下命令,列出所有的Engine。需要注意的是,上面连接Kyuubi使用的用户是hdfs,这里列出Engine的时候必须要指定用户(--username参数),否则无法查询到engine。

./kyuubi-admin list engine --hostUrl http://10.100.10.100:10099 --username hdfs

示例结果如下:

                                                Engine Node List (total 1)
╔═══════════════════════════════════════════╤══════════════════════════╤═════════════════════════════════════════════════╗
║ Namespace                                 │ Instance                 │ Attributes                                      ║
╠═══════════════════════════════════════════╪══════════════════════════╪═════════════════════════════════════════════════╣
║ /kyuubi_1.9.2_USER_SPARK_SQL/hdfs/default │ xxxxxx.bigdata.com:44418 │ refId=7626ca39-acbc-48eb-8366-76029adb0217      ║
║ ╔════════════╤════════════╤═══════════╗   │                          │ kyuubi.engine.url=xxxxxx.bigdata.com:33679      ║
║ ║ EngineType │ ShareLevel │ Subdomain ║   │                          │ spark.driver.memory=                            ║
║ ╠════════════╪════════════╪═══════════╣   │                          │ kyuubi.engine.id=application_1725009047638_0021 ║
║ ║ SPARK_SQL  │ USER       │ default   ║   │                          │ version=1.9.2                                   ║
║ ╚════════════╧════════════╧═══════════╝   │                          │ sequence=0000000002                             ║
║                                           │                          │ serverUri=xxxxxx.bigdata.com:44418              ║
║                                           │                          │ spark.executor.memory=                          ║
╚═══════════════════════════════════════════╧══════════════════════════╧═════════════════════════════════════════════════╝
1 row(s)

kyuubi-ctl

列出所有server

执行如下命令。和kyuubi-admin不同的是kyuubi-ctl不需要指定hostUrl参数。

./kyuubi-ctl list server

示例结果:

            Zookeeper service nodes
╔═══════════╤═══════════════╤═══════╤═════════╗
║ Namespace │ Host          │ Port  │ Version ║
╠═══════════╪═══════════════╪═══════╪═════════╣
║ /kyuubi   │ 10.100.10.100 │ 10009 │ 1.9.2   ║
╟───────────┼───────────────┼───────┼─────────╢
║ /kyuubi   │ 10.100.10.101 │ 10009 │ 1.9.2   ║
╟───────────┼───────────────┼───────┼─────────╢
║ /kyuubi   │ 10.100.10.102 │ 10009 │ 1.9.2   ║
╚═══════════╧═══════════════╧═══════╧═════════╝
3 row(s)

列出其中一个server

需要指定server所在的主机IP/hostname和Kyuubi Rest接口端口号。命令如下:

./kyuubi-ctl get server --host 10.100.10.100 --port 10009

示例结果:

            Zookeeper service nodes
╔═══════════╤═══════════════╤═══════╤═════════╗
║ Namespace │ Host          │ Port  │ Version ║
╠═══════════╪═══════════════╪═══════╪═════════╣
║ /kyuubi   │ 10.100.10.100 │ 10009 │ 1.9.2   ║
╚═══════════╧═══════════════╧═══════╧═════════╝
1 row(s)

列出指定用户的engine

需要使用--user参数指定用户,命令如下所示:

./kyuubi-ctl list engine --user hdfs

示例结果:

                              Zookeeper service nodes
╔═══════════════════════════════════════════╤════════════════════╤═══════╤═════════╗
║ Namespace                                 │ Host               │ Port  │ Version ║
╠═══════════════════════════════════════════╪════════════════════╪═══════╪═════════╣
║ /kyuubi_1.9.2_USER_SPARK_SQL/hdfs/default │ xxxxxx.bigdata.com │ 44418 │ 1.9.2   ║
╚═══════════════════════════════════════════╧════════════════════╧═══════╧═════════╝
1 row(s)

获取特定的engine信息

需要执行engine运行所在的主机的IP/hostname,engine开放的端口和用户名。

./kyuubi-ctl get engine --host xxxxxx.bigdata.com --port 44418 --user hdfs

示例结果:

                              Zookeeper service nodes
╔═══════════════════════════════════════════╤════════════════════╤═══════╤═════════╗
║ Namespace                                 │ Host               │ Port  │ Version ║
╠═══════════════════════════════════════════╪════════════════════╪═══════╪═════════╣
║ /kyuubi_1.9.2_USER_SPARK_SQL/hdfs/default │ worker.bigdata.com │ 44418 │ 1.9.2   ║
╚═══════════════════════════════════════════╧════════════════════╧═══════╧═════════╝
1 row(s)

前面list engine命令的执行结果包含get engine的结果。get engine需要的参数更多,没有list engine使用方便。

删除特定的engine

命令参数和get engine相同。示例如下:

./kyuubi-ctl delete engine --host xxxxxx.bigdata.com --port 44418 --user hdfs
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容