Apache Phoenix(八)新特性之统计分析器

  UPDATA STATISTICS命令更新统计数据在一张表中。这个命令为每个列簇上每个区域收集一组键,这些键之间的字节差距是相等的。这些收集的键被叫做控制指标(guideposts),它们充当提示/指南来改善并发查询在指定的区域内。
  统计是收集的当主要压缩和区域分裂时自动完成的,因此手动运行此命令是没有必要的。

并行计算

  Phoenix将查询分解处多个扫描并且并行允许,以减少延迟。Phoenix的并行化是由与统计相关的配置参数驱动的。控制指标之间的每一块数据都将在单独的扫描中并行允许,以提高查询性能。数据块的大小取决于GUIDE_POSTS_WIDTH表属性(在Phoenix 4.9及之后)或者在服务器设置phoenix.stats.guidepost.width参数如果表属性没有设置的话。随着块大小减少,你希望增加phoenix.query.queueSize,在这种情况下,更多的工作可以进行排队。注意,至少要对每个表区域执行单独扫描。Phoenix的统计提供一种获得区域内并行化的方法。除了控制指标宽度说明,客户端的phoenix.query.threadPoolSize和phoenix.query,queueSize参数和服务器端的hbase.regionserver.handler.count参数对并行化数量有影响。

例子

  要更新一个给定表my_table的统计信息,需要执行如下命令:

UPDATE STATISTICS my_table

  上面的语法将收集表my_table和所有与表my_table关联的索引表、视图和视图索引表的统计信息。与上面的语法等价的是。

UPDATE STATISTICS my_table ALL

  仅收集表索引信息统计

UPDATE STATISTICS my_table INDEX

  只收集表上统计的数据

UPDATE STATISTICS my_table COLUMNS

  修改控制指标的宽度为10MB,执行如下命令:

ALTER TABLE my_table SET GUIDE_POSTS_WIDTH = 10000000

  如果需要移除控制指标,设置属性为null:

ALTER TABLE my_table SET GUIDE_POSTS_WIDTH = null

已知问题

  • 记录重复(SQL统计展示对比HBase的row_count统计)再Phoenix版本4.12之前。
      对于包含多个区域的表,由于区域大小小于控制指标宽度,因此没有为最后的区域生成导柱,这种情况可能会发生。在这种情况下,对这些区域的并行扫描将从最新的指南开始,而不是从该区域的startkey开始。修正4.12作为PHOENIX-4007的一部分。

配置

控制统计收集的配置参数包括:

  • phoenix.stats.guidepost.width
      默认值为 104857600 (100 MB);一个服务器端的参数,指定控制指标之间的字节数。设置更小的值的增加并行化,但是也增加了合并块的数量。
  • phoenix.stats.updateFrequency
      默认值为900000 (15 mins);一个服务器端参数,它确定从统计表中刷新统计数据并随后由客户机使用的频率(以毫秒为单位)。
  • phoenix.stats.minUpdateFrequency
      默认值是phoenix.stats.updateFrequency的一半,即7.5mins;一个客户端参数,它确定在通过另一个UPDATE STATISTICS 调用手动收集统计信息之前必须经过的以毫秒为单位的最短时间。
  • phoenix.stats.useCurrentTime
      默认值为true;一个优化服务器端参数,如果该参数为真,则当后台任务(如压缩或分割)发生时,服务器端上的当前时间将用作统计表中行的时间戳。如果为假,则遍历正在收集统计信息的表时找到的最大时间戳将用作时间戳。除非你的客户端在读取和写入数据时控制时间戳,否则不应使用此参数。
  • phoenix.use.stats.parallelization
      默认值为true;此配置在启动Phoenix 4.12时可用。它控制是否应该使用数据的统计信息来驱动查询并行化。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容