hbase数据存储

自0.96版本之后,hbase 源码结构上做了很大的优化,目录结构也发生了变化,做了精简和优化,这里以1.2.0-cdh5.7.2为例介绍,目录如下:
1,在hdfs的路径

[root@namenode1 ~]# hadoop fs -ls /hbase
Found 9 items
drwxr-xr-x   - hbase hbase          0 2017-01-07 16:02 /hbase/.tmp --当对表做创建或者删除操作的时候,会将表move 到该 .tmp 目录下,然后再去做处理操作。
drwxr-xr-x   - hbase hbase          0 2017-01-15 18:59 /hbase/MasterProcWALs
drwxr-xr-x   - hbase hbase          0 2017-01-06 20:34 /hbase/WALs
drwxr-xr-x   - hbase hbase          0 2017-01-10 10:47 /hbase/archive --HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理.
drwxr-xr-x   - hbase hbase          0 2016-08-17 13:50 /hbase/corrupt --存储HBase做损坏的日志文件,一般都是为空的
drwxr-xr-x   - hbase hbase          0 2016-12-26 15:33 /hbase/data --这个才是 hbase 的核心目录,0.98版本里支持 namespace 的概念模型,系统会预置两个 namespace 即:hbase和default
-rw-r--r--   3 hbase hbase         42 2016-08-05 17:24 /hbase/hbase.id -- 它是一个文件,存储集群唯一的 cluster id 号,是一个 uuid
-rw-r--r--   3 hbase hbase          7 2016-08-05 17:24 /hbase/hbase.version --同样也是一个文件,存储集群的版本号,貌似是加密的,看不到,只能通过web-ui 才能正确显示出来
drwxr-xr-x   - hbase hbase          0 2017-01-15 18:38 /hbase/oldWALs --这里对应0.94的.oldlogs 目录

** /hbase/data/hbase**
这个namespace 下面存储了 HBase 的 namespace、meta 和acl 三个表,这里的 meta 表跟0.94版本的.META.是一样的,自0.96之后就已经将 ROOT 表去掉了,直接从Zookeeper 中找到meta 表的位置,然后通过 meta 表定位到 region。 namespace 中存储了 HBase 中的所有 namespace 信息,包括预置的hbase 和 default。acl 则是表的用户权限控制。
如果自定义一些 namespace 的话,就会再/hbase/data 目录下新建一个 namespace 文件夹,该 namespace 下的表都将 flush 到该目录下。

//表空间的查看
[root@namenode1 ~]# hadoop fs -ls /hbase/data
Found 4 items
drwxr-xr-x   - hbase hbase          0 2016-11-16 10:00 /hbase/data/bdcbasApp
drwxr-xr-x   - hbase hbase          0 2017-01-07 16:02 /hbase/data/default
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns
drwxr-xr-x   - hbase hbase          0 2016-08-05 17:24 /hbase/data/hbase

2,每张表都维护 tabledesc和regioninfo

[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM
Found 3 items
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tabledesc  --这里存储tabledesc的信息
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tmp
drwxr-xr-x   - hbase hbase          0 2017-01-09 16:44 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79     --这里存储的有regioninfo的信息
[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM/.tabledesc
Found 1 items
-rw-r--r--   3 hbase hbase        292 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tabledesc/.tableinfo.0000000001
[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM/
Found 3 items
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tabledesc
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tmp
drwxr-xr-x   - hbase hbase          0 2017-01-09 16:44 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79
[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM/.tmp
[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79
Found 4 items
-rw-r--r--   3 hbase hbase         47 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79/.regioninfo
drwxr-xr-x   - hbase hbase          0 2017-01-09 16:44 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79/.tmp
drwxr-xr-x   - hbase hbase          0 2017-01-09 16:44 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79/info   --列族
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79/recovered.edits

hbase在zk的目录结构

[zk: localhost:2181(CONNECTED) 1] ls /hbase
[replication, meta-region-server, rs, splitWAL, backup-masters, table-lock, flush-table-proc, region-in-transition, online-snapshot, master, running, recovering-regions, draining, namespace, hbaseid, table]

hbase(main):001:0> zk_dump
HBase is rooted at /hbase
Active master address: datanode1,60000,1483706056881
Backup master addresses:
Region server holding hbase:meta: datanode3,60020,1483706055770
Region servers:
 datanode2,60020,1483706054731
 datanode0,60020,1483706054027
 datanode4,60020,1483706055881
 datanode3,60020,1483706055770
 datanode7,60020,1483706055693
 datanode5,60020,1483706054452
/hbase/replication: 
/hbase/replication/peers: 
/hbase/replication/rs: 
/hbase/replication/rs/datanode5,60020,1483706054452: 
/hbase/replication/rs/datanode7,60020,1483706055693: 
/hbase/replication/rs/datanode3,60020,1483706055770: 
/hbase/replication/rs/datanode4,60020,1483706055881: 
/hbase/replication/rs/datanode0,60020,1483706054027: 
/hbase/replication/rs/datanode2,60020,1483706054731: 
Quorum Server Statistics:
 localhost:2181
  Zookeeper version: 3.4.5-cdh5.7.2--1, built on 07/22/2016 19:18 GMT
  Clients:
   /172.16.171.9:48487[1](queued=0,recved=5107,sent=5107)
   /172.16.171.17:36252[1](queued=0,recved=50936,sent=50936)
   /172.16.171.20:47011[1](queued=0,recved=19631,sent=19631)
   /172.16.171.19:62253[1](queued=0,recved=7455,sent=7455)
   /127.0.0.1:18625[1](queued=0,recved=22,sent=22)
   /172.16.171.11:34643[1](queued=0,recved=7456,sent=7456)
   /127.0.0.1:18621[1](queued=0,recved=3,sent=3)
   /172.16.171.21:38192[1](queued=0,recved=7467,sent=7467)
   /172.16.171.17:36254[1](queued=0,recved=50936,sent=50936)
   /172.16.171.5:60302[1](queued=0,recved=7456,sent=7456)
   /172.16.171.9:48540[1](queued=0,recved=25518,sent=25518)
   /172.16.171.9:32467[1](queued=0,recved=7455,sent=7455)
   /172.16.171.8:61522[1](queued=0,recved=10566,sent=10586)
   /172.16.171.19:16777[1](queued=0,recved=25518,sent=25518)
   /127.0.0.1:18626[0](queued=0,recved=1,sent=0)
   /172.16.171.8:45515[1](queued=0,recved=7455,sent=7455)
   /172.16.171.12:18371[1](queued=0,recved=381742,sent=381742)
  
  Latency min/avg/max: 0/3/51663
  Received: 1431771
  Sent: 1461307
  Connections: 17
  Outstanding: 0
  Zxid: 0x2600046a80
  Mode: follower
  Node count: 5349
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容