VI、 HBase-MR

一、官方HBase-MapReduce

查看HBase的MapReduce任务的所需的依赖
bin/hbase mapredcp
执行环境变量的导入
export HBASE_HOME=/opt/module/hbase-1.3.1
export HADOOP_CLASSPATH=${HBASE_HOME}/bin/hbase mapredcp

统计Student表中有多少行数据

yarn jar ../hbase-1.3.1/lib/hbase-server-1.3.1.jar rowcounter zhangsan

image.png

使用MapReduce将本地数据导入到HBase

image.png

在HDFS中上传abc.tsv文件
[root@bigdata111 input]# hdfs dfs -mkdir /hbase_input
[root@bigdata111 input]# hdfs dfs -put abc.tsv /hbase_input/

yarn jar ../hbase-1.3.1/lib/hbase-server-1.3.1.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,cf:name,cf:age test hdfs://bigdata111:9000/hbase_input

image.png

二、自己编写实现Hbase2Hbase

Mapper

package top.gujm.hbase_h2h;

import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.util.List;

/**
 * 只需要cf:age列
 */
public class Mapper extends TableMapper<ImmutableBytesWritable, Put> {
    Logger logger = LoggerFactory.getLogger(Mapper.class);
    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
        List<Cell> columnCells = value.getColumnCells(Bytes.toBytes("cf"), Bytes.toBytes("age"));
        logger.info(Bytes.toString(key.get())+"的cf:age列个数："+columnCells.size());
        if(columnCells.size() > 0){
            Put put = new Put(key.get());
            put.add(columnCells.get(0));
            context.write(key, put);
        }
    }
}

Reducer

package top.gujm.hbase_h2h;

import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.NullWritable;

import java.io.IOException;

public class Reducer extends TableReducer<ImmutableBytesWritable, Put, NullWritable> {
    @Override
    protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws IOException, InterruptedException {
        for (Put put : values){
            context.write(NullWritable.get(), put);
        }
    }
}

Driver

package top.gujm.hbase_h2h;

import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class Driver extends Configured implements Tool {
    public int run(String[] strings) throws Exception {
        Job job = Job.getInstance(getConf(), Driver.class.getSimpleName());
        job.setJarByClass(Driver.class);
        TableMapReduceUtil.initTableMapperJob(
                "test",
                new Scan(),
                Mapper.class,
                ImmutableBytesWritable.class,
                Put.class,
                job
        );
        TableMapReduceUtil.initTableReducerJob("test2", Reducer.class, job);
        job.setNumReduceTasks(1);
        boolean flag = job.waitForCompletion(true);
        return flag ? 0 : 1;
    }

    public static void main(String[] args) throws Exception {
        ToolRunner.run(HBaseConfiguration.create(), new Driver(), args);

    }
}

打包并上传到linux，然后执行下面命令运行

yarn jar FlumeCustom-1.0-SNAPSHOT.jar top.gujm.hbase_h2h.Driver

结果

image.png

三、自己编写实现hdfs2hbase

Mapper

package top.gujm.hbase_hdfs2hbase;

import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;

import java.io.IOException;

public class Mapper extends org.apache.hadoop.mapreduce.Mapper<LongWritable, Text, ImmutableBytesWritable, Put> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //第一列rowkey，第二列name，第三列age
        String[] fields = value.toString().split("\t");
        byte[] rowkey = Bytes.toBytes(fields[0]);
        Put put = new Put(rowkey);
        byte[] family = Bytes.toBytes("cf");
        byte[] columnName = Bytes.toBytes("name");
        byte[] columnAge = Bytes.toBytes("age");
        put.addColumn(family, columnName, Bytes.toBytes(fields[1]));
        put.addColumn(family, columnAge, Bytes.toBytes(fields[2]));
        context.write(new ImmutableBytesWritable(rowkey), put);
    }
}

Reducer

package top.gujm.hbase_hdfs2hbase;

import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.NullWritable;

import java.io.IOException;

public class Reducer extends TableReducer<ImmutableBytesWritable, Put, NullWritable> {
    @Override
    protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws IOException, InterruptedException {
        for (Put put : values){
            context.write(NullWritable.get(), put);
        }
    }
}

Driver

package top.gujm.hbase_hdfs2hbase;

import com.sun.org.apache.xerces.internal.dom.PSVIAttrNSImpl;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class Driver extends Configured implements Tool {

    public int run(String[] strings) throws Exception {

        Job job = Job.getInstance(getConf());
        job.setJarByClass(Driver.class);

        job.setMapperClass(Mapper.class);
        job.setMapOutputKeyClass(ImmutableBytesWritable.class);
        job.setMapOutputValueClass(Put.class);

        TableMapReduceUtil.initTableReducerJob("test", Reducer.class, job);

        FileInputFormat.setInputPaths(job, "/hbase_input/abc.tsv");

        job.setNumReduceTasks(1);
        boolean f = job.waitForCompletion(true);
        return f ? 0 : 1;
    }

    public static void main(String[] args) throws Exception {
        ToolRunner.run(new Configuration(), new Driver(), args);
    }
}

打包上传运行

yarn jar FlumeCustom-1.0-SNAPSHOT.jar top.gujm.hbase_hdfs2hbase.Driver

结果

image.png

四、自己编写实现hdfs2hbase

Mapper

package top.gujm.hbase_hbase2hdfs;


import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import java.io.IOException;

public class Mapper extends TableMapper<ImmutableBytesWritable, Result> {
    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
        context.write(key, value);
    }
}

Reducer

package top.gujm.hbase_hbase2hdfs;


import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.Text;

import java.io.IOException;

public class Reducer extends org.apache.hadoop.mapreduce.Reducer<ImmutableBytesWritable, Result, Text, Text> {
    @Override
    protected void reduce(ImmutableBytesWritable key, Iterable<Result> values, Context context) throws IOException, InterruptedException {
        StringBuffer sb = new StringBuffer();
        int i = 0;
        for (Result result : values){
            Cell[] cells = result.rawCells();
            for (Cell cell : cells) {
                sb.append(i == 0 ? "" : ",");
                sb.append(
                        Bytes.toString(CellUtil.cloneFamily(cell)) + ":" +
                                Bytes.toString(CellUtil.cloneQualifier(cell)) + "=" +
                                Bytes.toString(CellUtil.cloneValue(cell))
                );
            }
            context.write(new Text(Bytes.toString(key.get())), new Text(sb.toString()));
        }
    }
}

Driver

package top.gujm.hbase_hbase2hdfs;


import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class Driver extends Configured implements Tool {
    public int run(String[] strings) throws Exception {

        Job job = Job.getInstance(getConf());
        job.setJarByClass(Driver.class);

        TableMapReduceUtil.initTableMapperJob(
                "test",
                new Scan(),
                Mapper.class,
                ImmutableBytesWritable.class,
                Result.class,
                job
        );

        job.setReducerClass(Reducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        job.setNumReduceTasks(1);

        FileOutputFormat.setOutputPath(job, new Path("/out"));

        job.waitForCompletion(true);

        return 0;
    }

    public static void main(String[] args) throws Exception {
        ToolRunner.run(HBaseConfiguration.create(), new Driver(), args);
    }
}

测试数据

[图片上传失败...(image-c1be27-1569657812536)]

结果

image.png

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,921评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,635评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,393评论 0赞 338
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,836评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,833评论 5赞 368
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,685评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,043评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,694评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 42,671评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,670评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,779评论 1赞 332
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,424评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,027评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,984评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,214评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,108评论 2赞 351
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,517评论 2赞 343

VI、 HBase-MR

一、 官方HBase-MapReduce

统计Student表中有多少行数据

使用MapReduce将本地数据导入到HBase

二、 自己编写实现Hbase2Hbase

Mapper

Reducer

Driver

打包并上传到linux，然后执行下面命令运行

结果

三、 自己编写实现hdfs2hbase

Mapper

Reducer

Driver

打包上传运行

结果

四、 自己编写实现hdfs2hbase

Mapper

Reducer

Driver

测试数据

结果

推荐阅读更多精彩内容

一、官方HBase-MapReduce

二、自己编写实现Hbase2Hbase

三、自己编写实现hdfs2hbase

四、自己编写实现hdfs2hbase