Hive从入门到精通3:Hive环境搭建之远程MySQL模式

Hive共有三种安装模式:1.单用户模式(本地模式、嵌入模式);2.本地MySQL模式;3.远程MySQL模式。三者的区别是:1.单用户模式是本地模式的一种,它的元信息存储在hive自带的Derby数据库中,同一时刻只能为一个用户提供服务,功能是用于测试hive程序;2.本地MySQL模式的元信息存储在本地MySQL中,同一时刻可以为多个用户提供服务,功能是用于开发测试hive程序;3.远程MySQL模式的元信息存储在远程MySQL中,同一时刻可以为多个用户提供服务,功能是用于实际生产环境。本节首先来介绍一下Hive的远程MySQL模式的搭建过程。

本节用到的安装介质:

mysql-connector-java-5.1.46.tar.gz 提取码:mdl7
apache-hive-3.1.0-bin.tar.gz 提取码:993d

1. Linux环境准备

5台主机,关闭防火墙、设置IP地址、hostname、hosts、配置两两之间的秘钥认证。

MySQL服务器:

bigdata 192.168.126.110

Hadoop集群:

master 192.168.126.111
slave1 192.168.126.112
slave2 192.168.126.113
slave3 192.168.126.114

Hive:

master 192.168.126.111

注:Hive只是Hadoop之上的一个应用程序,只需要安装在master节点上即可,不需要分发给slave1和slave2。

2.安装MySQL

在bigdata节点上安装MySQL。

安装mysql客户端:

[root@bigdata ~]# yum -y install mysql

安装mysql服务器端:

[root@bigdata ~]# yum -y install mysql-server

注:这里如果提示“没有可用软件包 mysql-server。”,可以参考以下文章解决:《MySQL常见问题汇总

启动mysql服务器:

[root@bigdata ~]# service mysqld start
Redirecting to /bin/systemctl start mysqld.service

根据提示也可以使用命令:

systemctl start mysqld.service

设置mysql管理员密码:

[root@bigdata ~]# mysqladmin -uroot password 123456
Warning: Using a password on the command line interface can be insecure.

测试登录是否成功:

[root@bigdata ~]# mysql -uroot -p123456
Warning: Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.6.39 MySQL Community Server (GPL)

Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its affiliates.
Other names may be trademarks of their respective owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

授权root用户:

mysql> grant all privileges on . to root@'%' identified by '123456' with grant option;
Query OK, 0 rows affected (0.06 sec)
mysql> grant all privileges on . to root@'bigdata' identified by '123456' with grant option;
Query OK, 0 rows affected (0.06 sec)
mysql> grant all privileges on . to root@'localhost' identified by '123456' with grant option;
Query OK, 0 rows affected (0.06 sec)
mysql> flush privileges;

3.上传Hive安装包

上传hive安装包到master节点:

[root@master tools]# pwd
/root/tools
[root@master tools]# ls
apache-hive-3.1.0-bin.tar.gz

4.解压Hive安装包

将hive安装包解压到安装目录/root/trainings/:

[root@master tools]# tar -zxvf apache-hive-3.1.0-bin.tar.gz -C /root/trainings/

5. 修改Hive配置文件

[root@master conf]# pwd
/root/trainings/apache-hive-3.1.0-bin/conf
[root@master conf]# echo $HADOOP_HOME
/root/trainings/hadoop-2.7.3

编辑hive-env.sh配置文件:分别设置HADOOP_HOME和HIVE_CONF_DIR两个值

[root@master conf]# cp hive-env.sh.template hive-env.sh
[root@master conf]# vim hive-env.sh
HADOOP_HOME=/root/trainings/hadoop-2.7.3
export HIVE_CONF_DIR=/root/trainings/apache-hive-3.1.0-bin/conf
export HIVE_AUX_JARS=/root/trainings/apache-hive-3.1.0-bin/lib

创建以下目录备用

创建HDFS上的目录:

[root@master ~]# hdfs dfs -mkdir -p /hive/warehouse

创建本地的目录:

[root@master ~]# cd /root/trainings/apache-hive-3.1.0-bin/
[root@master apache-hive-3.1.0-bin]# mkdir logs
[root@master apache-hive-3.1.0-bin]# mkdir tmpdir

编辑hive-site.xml配置文件:

[root@master conf]# cp hive-default.xml.template hive-site.xml
[root@master conf]# vim hive-site.xml

修改如下配置(加粗斜体文字就是上面建的目录):

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/root/trainings/apache-hive-3.1.0-bin/logs</value>
<description>Location of Hive run time structured log file</description>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://bigdata:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>Username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>

新增两个配置:

<property>
<name>system:java.io.tmpdir</name>
<value>/root/trainings/apache-hive-3.1.0-bin/tmpdir</value>
<description>template directory</description>
</property>
<property>
<name>system:user.name</name>
<value>root</value>
<description>user name</description>
</property>

6. 加载MySQL连接器

[root@master tools]# ls
mysql-connector-java-5.1.46.tar.gz

解压MySQL连接工具:

[root@master tools]# tar -zxvf mysql-connector-java-5.1.46.tar.gz

复制mysql-connector-java-5.1.46-bin.jar到hive的lib目录下:

[root@master tools]# cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar
/root/trainings/apache-hive-3.1.0-bin/lib/

7.设置环境变量

将HIVE_HOME加入到环境变量PATH中:

[root@master ~]# vim /root/.bash_profile

追加下面内容:

HIVE_HOME=/root/trainings/apache-hive-3.1.0-bin/
export HIVE_HOME
PATH=$HIVE_HOME/bin:$PATH
export PATH

使环境变量生效:

[root@master ~]# source /root/.bash_profile

8.初始化元数据库

这一步是可选的:因为第一次启动hive会根据配置自动初始化元数据库,如果启动hive出现问题没有成功初始化元数据库,可执行下面语句手动初始化元数据库。

[root@master ~]# schematool -dbType mysql -initSchema

9.启动Hive

确保Hadoop已启动:

[root@master ~]# jps
1492 NameNode
2836 Jps
1766 ResourceManager
[root@slave1 ~]# jps
1379 NodeManager
1588 Jps
1318 DataNode
[root@slave2 ~]# jps
1585 Jps
1314 DataNode
1375 NodeManager

确保Master可以远程访问MySQL:

[root@master ~]# mysql -h bigdata -P3306 -uroot -p123456
Warning: Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 69
Server version: 5.6.40 MySQL Community Server (GPL)

Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> quit;
Bye

启动Hive:

[root@master ~]# hive
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/trainings/hbase-2.0.1/lib/slf4j-log4j12->1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/trainings/apache-hive-3.1.0-bin/lib/log4j-slf4j-impl->2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/trainings/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12->1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/trainings/apache-hive-3.1.0-bin/lib/log4j-slf4j-impl->2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/trainings/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12->1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = f45812f8-d2a2-4453-8560-091c946f8ce7

Logging initialized using configuration in jar:file:/root/trainings/apache-hive-3.1.0-bin/lib/hive-common->3.1.0.jar!/hive-log4j2.properties Async: true
Hive Session ID = f7f27432-9f79-4f1c-932f-2c075e3f3291
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a >different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive></pre>

注:如果启动过程中出错,请参考下面文章解决:

www.linux-man.com/archives/464

由于是多用户模式,可以有多个用户同时登录。

至此,Hive的远程MySQL模式开发环境已经搭建完成,祝你玩的愉快!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,530评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,403评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,120评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,770评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,758评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,649评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,021评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,675评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,931评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,751评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,410评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,004评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,969评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,042评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,493评论 2 343

推荐阅读更多精彩内容