DBWritable

在通过Mapper读取数据时可以选择使用DBInputFormat或DBOutputFormat从Mysql或Oracle中读取或写入数据,这里使用mysql举例。

首先从DBInputFormat中读取数据或者通过DBOutputFormat写数据都需要实现DBWritable接口的序列化类。

该接口定义了两个方法，分别是write和readFields，与定义MR序列化类的方法类似，但是传入的参数不同，可以看到read方法需要传入的参数是一个ResultSet类型的参数，可以猜到是当使用DBInputFormat方法读取到数据时，通过该resultset把值传入Bean对象的不同属性中。

write方法则相反，是当使用DBOutputFormat往数据库中写入值时，通过将属性的值设置给PreparedStatement的各个位置，实现Bean对象中各个属性和SQL插入语句中各字段的对应。

这里我分别定义两个类，用于读取和插入不同的数据库。

这是从数据库中读取数据的bean对象，根据让面的内容，该对象只需要从数据库中读取数据，所以仅需要实现readFields方法即可。

仅重写Write方法。

需要注意的是这两个类只能分别从DBInputFormat中读和往DBOutputFormat中写，如果需要一个类即能从数据库读又能写入数据库，则需要同时实现write和readFields两个方法。

另外这两个类没有实现Writable，所以无法作为Mapper和Reducer中的传递泛型,如果需要实现Mapper和Reducer中传递的需求，还需要实现Writable接口，如果需要当key的话，还需要实现writeableComparable接口。

最后需要注意的是，这类尤其是第DBInput，因为需要从数据库中读，所以肯定是通过反射生成的，和传统kv对象一样一定要给个无参构造，而DBOutput因为在这里我是通过new的方法创建，最后将其传递给DBOutputFormat，中间也没有将它在Mapper和Reducer中传递，所以不会存在序列化的过程，不会被通过反射生成对象，所以这里也不需要再实现无参构造。

一些数据和Mapper及Reducer

表1：ct_call

表2：ct_call2

我这里的处理仅仅是将表一的第二三个字段合并成一个长字段，传递给表2

Mapper

Reducer

中间的传递过程使用Text，最后在Reducer中将后两个字段还原成String并合并，并通过构造方法的方式传递给对象，最后写入。

需要注意的只有一点，在DBInputFormat读取到数据后，DBInputFormat是作为Value传递给Mapper的，而当Reducer将数据传递给DBOutputFormat时，DBOutput对象是作为Key传递的，而value可以设置为NullWritable无意义。

Driver

使用的方法很简单，除了设置InputFormat和OutputFormat的种类和传统MR类似的设置以外。

还需要进行三个操作。

1.添加数据库的驱动类，和数据库的URL，以及数据库的用户名密码四个参数到configuration中。

添加的方式有两种，一种是直接通过configuration设置，另一种是注释中使用的DBConfiguration的静态方法，使用该方法只需要记住参数顺序为：configuration对象，驱动类全限定命，url，username，password，而不需要记住较长的四个configuration属性名。

2.设置DBInputFormat的输入，即从数据库中读取数据的SQL语句和读取到的后数据传递的对象。

前面三个参数都很好理解，最后一个参数用于返回插入数据的条数。
该方法有两个重载方法。

这里不作详述，两种方法都是用于对读取数据的限定，只是参数略有区别。英文注释下各个参数的作用都比较直白。

3.设置DBOutput的输出

第二个参数是数据库名，后面的参数是DBOutput传入数据库中对应数据库的各个字段。

这个顺序一定要和write中的各个字段顺序对应，否则可能会导致传入顺序错误，或因为字段类型不匹配报错。

结果

比较坑的一点是之前在网上没有找到关于这两个类比较详细的使用说明，只有那种简单的使用案例，照着敲了一遍，但是当时那篇博客使用的包实在太老了，Driver中的代码顺序和现在的有很大差异，加上太晚了头昏，导致出了一个小Bug。那个Bug又报的很隐晦，只是空指针，我一个个方法往里面Debug，发现是和DB有关的configuration属性为空，但是我明明配置了？最后发现在通过getInsatance生成job对象时，必须就先把和DB有关的配置写入configuration，我真的服了我自己这么点代码写出个这么小个Bug还能弄这么久，归根结底还是对job的运行流程太不熟悉了。打算在进一步学习MR各个关键组件的过程中先要把Job的运行流程研究一遍。