sqoop是一款在hadoop和关系数据库服务器之间传送数据的工具。
导入：mysql，oracle导入数据到hadoop的hdfs、hive、hbase等数据存储系统。
导出：从hadoop的文件系统导出数据到关系数据库。
sqoop
工作机制：将导入导出命令翻译成mapreduce程序来实现。对inputformat和outputformat的定制。
- 安装
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop
cd conf
mv sqoop-env-template.sh sqoop-env.sh
export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.6.4(which hadoop)
export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop-2.6.4
export HIVE_HOME=/home/hadoop/apps/hive
加入mysql的jdbc驱动包
cp /home/hadoop/apps/hive/lib/mysql-connector-java-5.1.34_1.jar ./lib/（当前目录下的lib）
bin/sqoop help
- 从mysql数据库服务器中表导入hdfs
$bin/sqoop import \
--connect jdbc:mysql://mini1:3306/test \
--username root \
--password root \
--table emp \
--m 1 （用几个mapreduce跑）
默认导到
$ $HADOOP_HOME/bin/hadoop fs -cat /user/hadoop/emp/part-m-00000
要导到指定位置加参数：
--target-dir <new or exist directory in HDFS>
检查导入：
$HADOOP_HOME/bin/hadoop fs -cat /queryresult/part-m-*
远程登录mysql：mysql -h mini1 -uroot -proot
注意hosts的配置，必须每台机器都配上，因为maptask(yarnchild)在不同的机器上，如果没配好不能解析主机名。
- 导入关系表到hive
bin/sqoop import --connect jdbc:mysql://hdp-node-01:3306/test --username root --password root --table emp --hive-import --m 1
- 导入表数据子集
bin/sqoop import \
--connect jdbc:mysql://hdp-node-01:3306/test \
--username root \
--password root \
--where "city ='sec-bad'" \
--target-dir /wherequery \
--table emp_add --m 1
按需导入：
bin/sqoop import \
--connect jdbc:mysql://hdp-node-01:3306/test \
--username root \
--password root \
--target-dir /wherequery2 \
--query 'select id,name,deg from emp WHERE id>1207 and $CONDITIONS' \
--split-by id \
--fields-terminated-by '\t' \
--m 1
检查：
$HADOOP_HOME/bin/hadoop fs -cat /wherequery/part-m-*
- 增量导入
bin/sqoop import \
--connect jdbc:mysql://hdp-node-01:3306/test \
--username root \
--password root \
--table emp --m 1 \
--incremental append \
--check-column id \
--last-value 1208
- 导出
1.建表
mysql> USE db;
mysql> CREATE TABLE employee (
id INT NOT NULL PRIMARY KEY,
name VARCHAR(20),
deg VARCHAR(20),
salary INT,
dept VARCHAR(10));
2.导出命令
bin/sqoop export \
--connect jdbc:mysql://hdp-node-01:3306/test \
--username root \
--password root \
--table employee \
--export-dir /user/hadoop/emp/
验证：
mysql>select * from employee;
在实际应用中把这些命令写入shell脚本，通过azkaban这些作业调度工具来调度。
