hadoop笔记8--HBase的eclipse环境开发

上一篇记录了HBase的shell中的基本操作,这一篇看看用java来实现那些相应的操作。

首先进入hadoop目录和Hbase目录,将伪分布式hadoop环境和Hbase启动:

# 进入hadoop目录
sbin/start-all.sh

# 进入hbase目录
bin/start-hbase.sh
启动hadoop和hbase

然后在eclipse中建立一个mapreduce工程,这时候相应的工程中已经包含了开发hadoop程序用到的一些jar包。

包含了hadoop需要的包

不过这些jar包并没有包含hbase要用到的,因此我们需要自己导入。导入的方法是右击项目工程,选择 Properties->Java Build Path->Libraries->Add External JARs, 选择添加所需的 jar 包:

我们需要的jar包在hbase的安装(解压缩)目录下的lib目录中,比如我的就是在/usr/local/hbase-1.1.7/lib,进入后就能看到:

由于目前不清楚各种包里面包含了些什么,为了防止报错,我把这个目录中的所有jar包都给导入到了工程中。

接着还要指定HBase配置文件的位置,因为Zookeeper的集群的信息在HBase的配置文件中(虽然我用的是HBase自带的一个Zookeeper实例)。

如何指定呢?可以将HBase的配置文件复制一份到工程里。先在工程目录下创建一个名为conf的目录,再将HBase的配置文件 hbase-site.xml 复制到该目录下。接着,还是右击项目工程,选择 Properties->Java Build Path->Libraries->Add Class Folder, 将刚刚增加的conf目录选上:

然后就可以进行代码的编写了。

首先来创建一个表:

public class HelloHBase {
    private static Configuration conf = HBaseConfiguration.create();

    //create a table
    public static void createTable(String tableName,String[] familys) throws Exception{
        @SuppressWarnings("deprecation")
        HBaseAdmin admin = new HBaseAdmin(conf);
        
        if(admin.tableExists(tableName)){
            System.out.println("table"+tableName+"already exists!");
        }else{
            @SuppressWarnings("deprecation")
            HTableDescriptor tableDesc = new HTableDescriptor(tableName);
            for(int i=0;i<familys.length;i++){
                tableDesc.addFamily(new HColumnDescriptor(familys[i]));
            }
            admin.createTable(tableDesc);
            System.out.println("create table "+tableName+" success!");
        }
        
    }

    public static void main(String[] args){
        try{
            String tablename = "testTableName";
            String[] familys = {"family1","family2"};
            HelloHBase.createTable(tablename, familys);
        }catch(Exception e){
            e.printStackTrace();
        }
    }
}

写好后,运行看看:

运行结果

打印结果说明我们创建成功了,但如何查看呢?这时候需要进入终端,进入 HBase Shell查看结果:

可以看到,刚才创建的testTableName显示了出来,说明执行成功了。

接下来就继续测试表更新的接口,表更新有Put(插入或更新)Delete(删除)Append(添加)Increment(增长)等。

插入数据:

//插入数据,其中rowKey为行,family为列族,qualifier为列名,value为数据
public static void addData(String tableName,String rowKey,String family,String qualifier,String value) throws Exception{
        HTable table = new HTable(conf,tableName);
        Put put = new Put(Bytes.toBytes(rowKey));
        put.add(Bytes.toBytes(family),Bytes.toBytes(qualifier),Bytes.toBytes(value));
        table.put(put);
        System.out.println("insert recored success!");
    }

删除一行数据:

public static void deleteRow(String tableName,String rowKey) throws IOException{
        HTable table = new HTable(conf,tableName);
        Delete deleteRow = new Delete(rowKey.getBytes(rowKey));
        table.delete(deleteRow);
        System.out.println("delete row "+rowKey+" success!");
    }

删除一行中某列的数据:

public static void deleteColumn(String tableName,String rowKey,String familyName,String columnName) throws IOException{
        HTable table = new HTable(conf,tableName);
        Delete deleteColumn = new Delete(Bytes.toBytes(rowKey));
        deleteColumn.deleteColumn(Bytes.toBytes(familyName), Bytes.toBytes(columnName));
        table.delete(deleteColumn);
        System.out.println("delete "+rowKey+":"+familyName+":"+columnName+" success!");
    }

添加数据(Append):

public static void appendData(String tableName,String rowKey,String family,String qualifier,String value) throws IOException{
        HTable table = new HTable(conf,tableName);
        Append append = new Append(Bytes.toBytes(rowKey));
        append.add(Bytes.toBytes(family),Bytes.toBytes(qualifier),Bytes.toBytes(value));
        table.append(append);
        System.out.println("append data success!");
    }

增长数据(Increment):

public static void incrementData(String tableName,String rowKey,String family,String qualifier,long amount) throws IOException{
        HTable table = new HTable(conf,tableName);
        Increment increment = new Increment(Bytes.toBytes(rowKey));
        increment.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier), amount);
        table.increment(increment);
        System.out.println("increment data success!");
    }

接下来看看数据的读取。

读取一行数据:

public static void getOneRow(String tableName,String rowKey) throws IOException{
        HTable table = new HTable(conf,tableName);
        //
        Get get = new Get(rowKey.getBytes());
        Result result = table.get(get);
        //
        for(KeyValue kv:result.raw()){
            System.out.print("row: "+new String(kv.getRow())+" ");
            System.out.print("family: "+new String(kv.getFamily())+" ");
            System.out.print("qualifier: "+new String(kv.getQualifier())+" ");
            System.out.print("timestamp: "+kv.getTimestamp()+" ");
            System.out.println("value: "+new String(kv.getValue()));
        }
    }

扫描一个区段的数据:

public static void scanRows(String tableName,String startRow,String stopRow) throws IOException{
        HTable table = new HTable(conf,tableName);
        //
        Scan s = new Scan(startRow.getBytes(),stopRow.getBytes());
        ResultScanner ss = table.getScanner(s);
        for(Result r:ss){
            for(KeyValue kv:r.raw()){
                System.out.print("row: "+new String(kv.getRow())+" ");
                System.out.print("family: "+new String(kv.getFamily())+" ");
                System.out.print("qualifier: "+new String(kv.getQualifier())+" ");
                System.out.print("timestamp: "+kv.getTimestamp()+" ");
                System.out.println("value: "+new String(kv.getValue()));
            }
        }
    }

还可以使用Filter来过滤一些数据:

public static void scanByFilter(String tableName,String family,String qualifier,String value) throws IOException{
        HTable table = new HTable(conf,tableName);
        Scan scan = new Scan();
        scan.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier));
        Filter filter = new SingleColumnValueFilter(Bytes.toBytes(family), Bytes.toBytes(qualifier), CompareOp.EQUAL, Bytes.toBytes(value));
        scan.setFilter(filter);
        
        ResultScanner result = table.getScanner(scan);
        
        //
        for(Result r:result){
            for(KeyValue kv:r.raw()){
                System.out.print("row: "+new String(kv.getRow())+" ");
                System.out.print("family: "+new String(kv.getFamily())+" ");
                System.out.print("qualifier: "+new String(kv.getQualifier())+" ");
                System.out.print("timestamp: "+kv.getTimestamp()+" ");
                System.out.println("value: "+new String(kv.getValue()));
            }
        }
    }

HBase基本用法就是这样,可以在eclipse中运行代码后进入hbase shell中查看对应的表。

代码基本上进行的是增删改查,这样也就更能看到HBase扮演的角色就相当于在HDFS文件系统下的数据库。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容