HBase学习笔记(一)

最近在学习HBase先关的知识,顺便做一下笔记,以加深知识的了解和掌握。

Hbase常用工具

文件检测修复工具

hbase hbck -help

常用选项:

-details 显示所有region检查的完整报告

-summary 输出表和状态的总结信息

-metaonly 只检查-ROOT-和.META.表

-fixAssignments 用于修复Region分配错误

-fixMeta 用于修复.META.表的问题(前提是HDFS上的region信息是正确的)

-fixHdfsHoles 修复RegionHoles问题

-fixHdfsOrphans 修复Orphan Region(HDFS上没有.regioninfo的Region)

-fixHdfsOverlaps 修复Region区间重叠的问题

-fixVersionFile 修复缺失hbase.version文件问题

快速修复元数据选项

-repair 相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps

-repairHoles 相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans

检测Hbase集群是否有文件损坏

hbase hbck

hbase hbck -details

快速修复元数据损坏

使用快速修复元数据选项是解决不一致问题风险最低的一种方法

hbase hbck -repair

hbase hbck -repairHoles

修复Region叠加的问题(风险系数高)

hbase hbck -fixHdfsOrphans

#合并region的时候,一次最大合并3个

hbase hbck -fixHdfsOverlaps -maxMerge 3

hbase hbck -fixHdfsOverlaps -sidelineBigOverlaps

#一组中最多允许4个region不参与

hbase hbck -fixHdfsOverlaps -maxOverlapsToSideline 4

修复.META.表没有正确分配

hbase hbck -fixMetaOnly -fixAssignments

修复版本(hbase.version)丢失的问题

hbase hbck -fixMetaOnly -fixVersionFile

修复-ROOT-和.META.表损坏

当-ROOT-和.META.表损坏的时候,HBase将启动失败,这种情况下要使用OFFlineMetaRepair工具创建新的-ROOT-和.META.表。该工具的工作原理是找到HBase在HDFS的主目录,加载Region的元数据文件信息,然后重新创建新的-ROOT-和.META.表,命令如下:

hbase org.apache.hadoop.hbase.util.OffileMetaRepair



hfile文件查看

hbase hfile -v -p -f hiflepath/hiflename

WAL日志查看

hbase hlog -j hlogpath/hlogfilename



数据迁移工具

CopyTable  用于在同集群内部或者集群之间复制表的部分或者全部数据的工具

export 可以将表的内容导出成HDFS的序列化文件

import 可以加载导出数据回HBase

WALPlayer 日志回放工具,可以重放WAL文件到HBase



Region和RegionServer的管理

major_compact一般会对IO有比较大的影响,因此一般禁用线上系统的自动大合并(配置文件中hbase.hregion.majorcompaction设为0),而采用脚步触发的方式来进行合并

major_compact可以对表、region、列族等进行合并,常用的是对表和对表的单个region进行大合并,命令如下:

对表进行大合并

major_compact 'tablename'

对表的单个region进行大合并

major_compact 'regionname' #tablename



下线regionServer节点

balance_switch false

cd  /data/hbaseadmin/hbaseenv/hbase/bin;  ./hbase-daemon.sh stop regionserver

RegionServer会关闭该server上所有的region,然后关闭自身的进程,在停止过程中,RegionServer会向ZK报告说自己已经过期。master会发现RegionServer已经死掉,会把它当作崩溃的节点来处理,然后会将Region分配到其他的节点上。

下线节点后再开始负载均衡

balance_switch true

优雅地下线RegionServer节点

当RegionServer下线的时候,Region按顺序被关闭,如果一个RegionServer上有很多Region,从第一个Region下线,到最后一个Region关闭,并且Master认为其死掉了,该Region才可以上线,整个过程要花很长的时间。HBase 0.90.2中加入了一个graceful_stop的功能,该功能可以让节点逐渐降低其负载,直到最后关闭。

优雅下线1台RegionSever的命令为:

graceful_stop RegionServer_HOSTNAME

graceful_stop做的工作是逐个地讲Region从RegionServer中移除,先移除一个Region,然后将这个Region安置到一个新的地方,再移除下一个,直到Region被全部移除。最后关闭RegionServer。

滚动重启

for i in `cat conf/regionservers | sort`;do graceful_stop.sh --restart --reload --debug $i;done &  > /tmp/log.txt &

滚动重启,并解决本地化问题

1、运行hbck确保一致性

    hbase hbck

2、重启master

   cd /data/hbaseadmin/hbaseenv/hbase/bin && ./hbase-daemon.sh stop master

     ./hbase-daemon.sh start master

3、关闭负载均衡器

    echo  "balance_switch false" | hbase shell

4、滚动重启RegionServer

    for i in `cat conf/regionservers | sort`;do graceful_stop.sh --restart --reload --debug $i;done &  > /tmp/log.txt &

5、再次重启Master

    cd /data/hbaseadmin/hbaseenv/hbase/bin && ./hbase-daemon.sh stop master

     ./hbase-daemon.sh start master

6、开启负载均衡器

    echo  "balance_switch true" | hbase shell

7、运行hbck确保数据一致

    hbase hbck

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,905评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,140评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,791评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,483评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,476评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,516评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,905评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,560评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,778评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,338评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,925评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2 342

推荐阅读更多精彩内容