HBase架构.png
- HBase的底层数据存储依赖于HDFS文件系统。HBase依赖于zookeeper进行通信及管理。(前置组件Hadoop、Zookeeper)
- Matser与RegionServer都被Zookeeper管理。因此连接集群的时候连接Zookeeper就可以。
RegionServer: 服务器节点
HLog: 预写入日志,记录着对于该RegionServer的操作,对数据的操作先写入此文件中
Region: 表
Store: 对应着表中的列簇
Mem Store: 内存中存储的数据
Hfile: 磁盘中存储的数据(HDFS)
① StoreFile
保存实际数据的物理文件，StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。
② MemStore
写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。
③ WAL
由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。
HBase的写流程
HBase写流程.png
1. 客户端先访问zookeeper,获取hbase的hbase:meta表位于哪个Region Server上。
2. 客户端继续访问对应的Region Server中对应的Region。并将该Table的Region 信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。
3. 与目标Region Server进行通讯。将数据顺序写入(追加)到该Region Server的WAL中
4. 将数据写入Mem Store,数据会在Mem Store中进行排序。
5. 向客户端发送ack
6. 等达到Mem Store的刷写时机后,将数据刷写到HFile中。
① Mem store占用内存大小超过阈值
hbase.hregion.memstore.flush.size = 128MB -- 会进行一次刷写磁盘。
如果写入速度过快,hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier(4) = 512MB,
除了触发MenStore的flush操作外，还会阻塞所有写入该Store的写操作。
② WAL数量超过阈值
WAL是预写日志组件,当WAL的数量到达阈值时,会触发刷写到磁盘的操作。
③ 定时刷写参数
hbase.regionserver.optionalcacheflushinterval = 3600000 (ms),定期自动刷写,默认是1小时。当设置为0时,该参数失效。
④ 数据更新超过一定阈值
hbase.regionserver.flush.per.changes = 30000000 ,当内存中的数据条数达到阈值时,会触发刷写。
⑤ 手动触发刷写
可以通过API手动触发刷写操作。
当写入速度大于刷写速度的时候,memstore会逐渐变大。当memstore的大小达到了hbase.hregion.memstore.flush.size（默认值128M）* hbase.hregion.memstore.block.multiplier（默认值4）时，会阻止继续往该memstore写数据。
HBase的读流程
HBase的读流程
- 客户端先访问zookeeper,获取hbase的hbase:meta表位于哪个Region Server上。
- 客户端继续访问对应的Region Server中对应的Region。并将该Table的Region 信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。
- 与目标Region Server进行通讯。分别在Block Cache（读缓存）,MemStore和Store File（HFile）中查询目标数据,并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）。
- 将从文件中查询到的数据块（Block,HFile数据存储单元,默认大小为64KB）缓存到Block Cache。将合并后的最终结果返回给客户端。
