前言
image.png
个人目前理解：
sqoop作用就是可以在mysql与hive之间相互抽取、导入。
扩大理解就是 关系型数据库（Mysql、Oracle）等 与 Hadoop(HDFS、Hive、Hbase）之间的桥梁工具。
那么为什么要用hadoop呢？
原因是：
- 1、有价值数据通常存储在关系型数据库当中，但是需要进行聚合、计算等操作等加工才能被使用。
- 2、实际业务场景在关系型数据库是不做这些计算操作，因为会影响业务数据存储或其他抽取需求。
- 3、所以部分数据就通过sqoop抽取到hive中做运算，通过MapReduce程序进行再次加工（MapReduce涉及到sqoop的运算原理）
操作实例
操作流程如下：
hive中创建adventure_ods_hjf→从mysql抽取dim_date_df表到hive当中
1、hive创建adventure_ods_hjf表
进入hive当中，输入以下命令
create database adventure_ods_hjf;
2、查看sqoop的使用方式
在linux的命令行当中（不用进入hive)
sqoop help
image.png
对应翻译：
Available commands: (可用命令)
codegen Generate code to interact with database records
(协同) (生成代码以与数据库记录进行交互)
create-hive-table Import a table definition into Hive
(创建hive表) (将表定义导入到Hive中)
eval Evaluate a SQL statement and display the results
(计算) (计算一个SQL语句并显示结果)
export Export an HDFS directory to a database table
(导出) (将HDFS目录导出到数据库表)
help List available commands
(帮助) (罗列可用命令)
import Import a table from a database to HDFS
(导入) (从数据库中导入表到HDFS)
import-all-tables Import tables from a database to HDFS
(导入全部表) (从数据库中导入多表到HDFS)
import-mainframe Import datasets from a mainframe server to HDFS
(导入主机) (从大型机服务器导入数据集到HDFS)
job Work with saved jobs
(任务) (处理已存储任务)
list-databases List available databases on a server
(罗列数据库) (罗列服务器可用的数据库)
list-tables List available tables in a database
(罗列表) (罗列数据库中可用的表)
merge Merge results of incremental imports
(合并) (增量导入的合并结果)
metastore Run a standalone Sqoop metastore
(元存储) (运行独立的Sqoop元存储)
version Display version information
(版本) (展现版本信息)
参考命令链接：
https://www.cnblogs.com/alexzhang92/p/10927884.html
尝试查看版本
image.png
尝试导入mysql的以下数据dim_date_df
image.png
sqoop import \
-connect jdbc:mysql://106.15.121.xxx:3306/datafrog05_adventure \
-username frogdata05 -password xxxxdata'!'123 \
-table dim_date_df \
-hive-import \
-hive-table adventure_ods_hjf.dim_date_df \
-m 1
实际应该一行进行
sqoop import -connect jdbc:mysql://106.15.121.xxx:3306/datafrog05_adventure -username frogdata05 -password xxxdata'!'123 -table dim_date_df -hive-import -hive-table adventure_ods_hjf.dim_date_df -m 1
稍微解释一下：
sqoop import是调用sqoop的导入
-connect jdbc:mysql…… 连接mysql，需要ip/端口号/数据库
-username、-password是mysql的账号密码，需要注意，如果是特殊字符如 !，需要用'!'处理
-table table_name table_name专指mysql的表名
-hive-import 导入hive
-hive-table xxx.xxx导入到hive中 数据库.数据表（不用建表操作）
-m 1 迁移使用1个进程
检查一下是否导入成功
hive
show databases;
use adventure_ods_hjf;
show tables;
select * from dim_date_df;
image.png
导入成功！
