Hbase客户端API(1)

Hbase的主要客户端接口通过org.apache.hadoop.hbase.client包中的HTable类来实现,用户可以通过它实现对Hbase进行数据的增查改删(CRUD)操作。
需要注意的是HTable实例的创建是有代价的,实例化时会进行一些检查和其他操作,这些操作都是比较耗时的。因此,建议给每个线程创建一个HTable实例,并在客户端应用的生存周期内复用这个实例。

put方法

put方法实现向Hbase存入数据,可以分为两类:一类作用于单行;另一类作用于多行

单行put

void put(Put put) throws IOException

该方法以单个Put或存储在列表中的一组Put对象作为入参,Put对象有如下几个构造函数:

Put(byte[] row)
Put(byte[] row, RowLock rowLock)
Put(byte[] row, long ts)
Put(byte[] row, long ts, RowLock rowLock)

创建Put实例用户需要提供一个行键,Hbase中每行数据都有唯一的行键,就像关系型数据库的主键

创建完Put实例后,调用下面的几个方法向实例中添加数据:

Put add(byte[] family, byte[] qualifier, byte[] value)
Put add(byte[] family, byte[] qualifier, long ts, byte[] value)
Put add(KeyValue kv)

每次调用add方法可以向实例中添加一列数据,如果不指定时间戳ts参数,会使用构造Put实例时指定的时间戳,如果也没指定,将会由region server指定

获取Put实例内部添加的数据通过get方法:

List<KeyValue> get(byte[] family, byte[] qualifier)
Map<byte[], List<KeyValue>> getFamilyMap()

如果想不通过遍历整个集合而确定数据是否存在,可以使用:

boolean has(byte[] family, byte[] qualifier)
boolean has(byte[] family, byte[] qualifier, long ts)
boolean has(byte[] family, byte[] qualifier, byte[] value)
boolean has(byte[] family, byte[] qualifier, long ts, byte[] value)

如果找到匹配的列返回true

Put类还提供了一些其他常用方法:

方法 用途
getRow() 返回创建Put实例时指定的行键
getRowLock() 返回当前Put实例的RowLock实例
getTimeStamp() 返回Put实例的时间戳,未被设定时返回Long.MAX_VALUE
heapSize() 计算当前Put实例的堆大小,既包括数据也包含数据结构所占空间
isEmpty() 检查FamilyMap是否含有任何KeyValue实例
numFamilies() FamilyMap的大小,即所有KeyValue实例中列族的个数
size() 本次Put会添加的KeyValue(单元格)实例的数量

调用实例

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;

public class PutExample {
    public static void main(String[] args) throws IOException {
        Configuration conf = HBaseConfiguration.create();
        HTable table = new HTable(conf, "testtable");
        
        Put put = new Put(Bytes.toBytes("row1"));
        put.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1"),
                Bytes.toBytes("val1"));
        put.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual2")
                Bytes.toBytes("val2"));
        
        table.put(put);
    }
}

数据版本化

Hbase的一个特殊功能是可以为一个单元格(一个特定列的值)存储多个版本的数据,每个版本的数据都有一个时间戳,并且按照降序存储。
举个例子:

> create "test", "cf1"
> put "test", "row1", "cf1", "val1"
> put "test", "row1", "cf1", "val2"
> scan "test"
> scan "test",{ VERSIONS => 3}

上面这些shell命令创建了一个test表和cf1列族,紧接着使用两个put命令向同一个行键和列键中存入数据,但是值不同;然后用scan命令查看数据。正常情况下,你可能认为val2会覆盖val1,但Hbase中不是的,默认情况Hbase会保留3个版本的数据。scan操作和get操作只返回最新版本的数据,调用时加入最大版本参数就会得到多版本大数据

写缓冲区

在Hbase中,每个put操作都会被转换成一次 RPC 操作,从而将客户端的数据提交给服务器并接受服务器的处理结果。如果某个应用程序需要每秒提交上千行数据到Hbase中,这样使用一行已提交的方式就太过于不合理了

Hbase的api提供了一个客户端的写缓冲区,它负责收集客户端提交的put操作,在合适的时机通过一次RPC调用将所有put送往服务器,通过下面的方法可以控制和查看缓冲区的使用状态:

void setAutoFlush(boolean autoFlush)
boolean isAutoFlush()

Hbase客户端默认情况下是禁用客户端缓冲区的,可以显示地将 autoFlush 设置成 false 来激活缓冲区:

table.setAutoFlush(false)

同时可以通过调用 isAutoFlush() 方法来查看缓冲区是否启用,返回false表示已启用缓冲区

显示激活缓冲区后,客户端单行put操作不会直接产生RPC调用,此时提交的put实例被保存在客户端进程的内存中,如果想强制把数据刷新到Hbase服务器,可以调用api方法:

void flushCommits() throws IOException

该方法会将所有的修改提交给远程Hbase服务器,被缓冲的put实例可以跨多行

通常用户不需要自己手动的强制刷缓冲区,Hbase客户端api会跟踪缓冲区中数据大小,一旦超出配置的大小限制,会自动隐式调用写命令,可以通过下面的方法查看和设置缓冲区大小(单位是字节,默认是2097152字节,即2M):

long getWriteBufferSize()
void setWriteBufferSize(long writeBufferSize) throws IOException

此外还可以通过修改Hbase的配置文件 hbase-site.xml 来设置缓冲区大小,这样可以避免给每个HTable实例都设置一次大小:

<property>
    <name>hbase.client.write.buffer</name>
    <value>20971520</value>
</property>

写缓冲区实例

HTable table = new HTable(conf, "testtable");
System.out.println("Auto flush:" + table.isAutoFlush());

table.setAutoFlush(false);

Put put1 = new Put(Bytes.toBytes("row1));
put1.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1"),
         Bytes.toBytes("val1"));
table.put(put1);
         
Put pu2 = new Put(Bytes.toBytes("row2"));
put2.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1"),
         Bytes.toBytes("val2"));
table.put(put2);

Put pu3 = new Put(Bytes.toBytes("row3"));
put3.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1"),
         Bytes.toBytes("val3"));
table.put(put3);

Get get = new Get(Bytes.toBytes("row1"));
Result res1 = table.get(get);
System.out.println("Result:" + res1);

table.flushCommits();

Result res2 = table.get(get);
System.out.println("Result:" + res2);

可以通过 getWriteBuffer() 方法获取提交到缓冲区的put实例列表,不过直接操作这个列表是比较危险的,因为这将绕过堆大小的检查,并且有可能这个缓冲区正在刷写内容到服务器

批量Put

Hbase客户端api提供批量提交put实例的方法,调用方法如下:

void put(List<Put> puts) throws IOException

由于批量操作可能会涉及多行,有可能部分修改会失败,那么Hbase服务器将放弃当前修改的处理,继续处理下一个,最后通过一个IOException反馈给客户端。服务器处理失败的put实例会被保存在客户端的写缓冲区中,再下一次刷写缓冲区的时候会重试

值得一提的是,客户端会做一些基本的检查工作,例如put实例内容是否为空,是否制定了列等。如果检查不通过,客户端会抛出异常,同时刷写数据的时候这些put实例不会被处理

使用批量put时,需要注意的是:客户端无法控制服务器端执行put的顺序,即用户无法保证数据的写入顺序

批量put实例

List<Put> puts = new ArrayList<Put>();

Put put1 = new Put(Bytes.toBytes("row1"));
put1.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1"),
         Bytes.toBytes("val1"));
puts.add(put1);

Put put2 = new Put(Bytes.toBytes("row2"));
put1.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1"),
         Bytes.toBytes("val2"));
puts.add(put2);

table.put(puts);

原子性操作

Hbase客户端api提供了一种特殊的put调用,它能够保证操作的原子性:(检查写 check and put):

boolean checkAndPut(byte[] row, byte[] family, byte[] qualifier,
                    byte[] value, Put put) throws IOException

该方法自带检查功能,检查通过才执行put操作,否则放弃本次修改,可以保证服务端put操作的原子性。

此原子性操作api限制了检查和修改的数据必须属于同一行,因此只提供了同一行数据的原子性保证;检查和修改分别针对不同行时会抛出异常

原子操作实例

Put put1 = new Put(Bytes.toBytes("row1"));
put1.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1"),
         Bytes.toBytes("val1"));

// 值不存在的情况下执行
boolean res1 = table.checkAndPut(Bytes.toBytes("row1"),
                                 Bytes.toBytes("colfam1"),
                                 Bytes.toBytes("qual1"),
                                 null, put1);
                                 
Put put2 = new Put(Bytes.toBytes("row1"));
put1.add(Bytes.toBytes("colfam1"), Bytes.toBytes("qual2"),
         Bytes.toBytes("val2"));
         
// 当上一次提交的值存在,则执行
boolean res2 = table.checkAndPut(Bytes.toBytes("row1"),
                                 Bytes.toBytes("colfam1"),
                                 Bytes.toBytes("qual1"),
                                 Bytes.toBytes("val1"),
                                 put2);

原子性操作使Hbase提供了不同客户端并发修改数据的功能

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,590评论 18 139
  • 该文档是用Hbase默认配置文件生成的,文件源是Hbase-default.xml hbase.rootdir 这...
    我是嘻哈大哥阅读 4,739评论 0 7
  • 摘自:http://debugo.com/hbase-params/ 通用和master配置hbase.rootd...
    wangliang938阅读 2,675评论 1 5
  • Hbase架构与原理 HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang所撰写的Goo...
    全能程序猿阅读 86,278评论 2 37
  • 自己按照教程手敲了一遍redux简单教程,最后终于通过了,纪念一下。 Notice 需要用到loadsh的deep...
    louhangfei阅读 509评论 0 0