前阵子,完成hadoop的学习,其中某些学习笔记还在整理之中,稍后会发出,基本都是看视频,看书学习的,属于基本操作,大神可绕道.......今天是对hive安装 笔记,具体内容如下:
1.概念
hive是基于hadoop的数据仓库 工具,可以将结构化的数据文件映射成一张数据表。并且提供类sql查询功能。当然hivesql的底层也是通过mapreduce来实现的。
2.hive的组成
hive包含,用户接口、元数据、数据仓库、解析器等组件构成,其中用户接口包含shell客户端,jdbc,odbc,web接口等。元数据是指定义在hive中表结构信息,一般存在关系型数据库中,如mysql中保存。解析器是将hivesql解析成mapreduce过程。数据仓库就是由hdfs组成的数据存储容器。结构如下图:3.hive的安装模式
hive的安装,metastore存储位置不同。可以分为本地安装、远程安装、内嵌安装。其中:
内嵌安装是指将derby存储元数据。
远程安装是明确指定metastore安装机器位置,可以指定多个。需要指定参数
hive.metastore.uris,hive.metastore.local必须设置为false。
本地安装是将metastore和hive客户端安装在同一个机器上。同时hive.metastore.local设置为true.
4.hive的安装(由于条件限制,进行本地安装模式。使用mysql存储元数据)
'''
## mysql安装
1.使用yum安装mysql
yum install mysql
yum install mysql-server
yum install mysql-devel(可选)
2.修改配置信息 vim /etc/my.cnf
[mysql]
default-character-set=utf8
[mysqld]
character-set-server=utf8
lower_case_table_names=1
3.启动mysql service mysqld restart/start/stop
4.配置超级用户及密码: mysqladmin -u root password 132654
5.使用root登录,并创建mysql用户.
mysql -u root -p 132654
create user 'hive' identified by 'hive';
6.授权。
grant all privileges on . to 'hive'@'all' with grant option
flush privileges;
7.重新启动服务,并使用hive用户创建数据库
create database hive;
alter database hive character set latin1;
## hive的安装
1.下载软件:http://archive.cloudera.com/cdh5/cdh/5/hive-0.13.1-
cdh5.3.6.tar.gz
2.修改hive-site文件(hive-0.13.1-cdh5.3.6/conf)
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop:9083</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&
</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
</configuration>
3.配置环境变量(vi ~/.bash_profile)
export HIVE_HOME=/usr/soft/hive-0.13.1-cdh5.3.6/
export PATH=$PATH:$HIVE_HOME/bin
让环境变量生效:source ~/.bash_profile
4.移动mysql驱动jar到hive的lib文件夹下。
5.启动metastore服务(启动hdfs+yarn服务)
hive --service metastore &
6.进入hive客户端
hive --service metastore–hiveconf hive.root.logger=DUBUG,console
'''
7.测试。
在mysql中查看元数据信息。
安装完毕!!