mysql 安装以及 hive搭建单机

一.安装mysql并且实现外部连接

1.下载mysql客户端

网址 :  https://dev.mysql.com/downloads/mysql/5.6.html#downloads

下载好压缩包之后，上传到虚拟机上 

1.解压： tar -zxvf  mysql-5.6.44-linux-glibc2.12-x86_64.tar.gz

2.重命名 :  mv mysql-5.6.44-linux-glibc2.12-x86_64 mysql

3.创建mysql组和用户:

        groupadd mysql

        useradd -r -g mysql mysql

4.添加配置文件my.cnf,并修改相关配置

cp support-files/my-default.cnf /etc/my.cnf

vi /etc/my.cnf

basedir = /usr/local/mysql   -------------------------安装目录

datadir = /usr/local/mysql/data ---------------------安装目录下的data

port = 3306 ----------------------------------------------端口

log-err = /usr/local/mysql/data/error.log ----------日志

pid-file = /usr/local/mysql/data/mysql.pid --------- pid不要动


5. 修改权限

chown -R mysql /usr/local/mysql(mysql的安装路径)

chgrp -R mysql /usr/local/mysql(mysql的安装路径)

(mysql安装路径)/scripts/mysql_install_db --user=mysql

chown -R root /usr/local/mysql(mysql的安装路径)

chown -R mysql /usr/local/mysql/data

6.初始化数据库


在scripts下有一个 mysql_install_db文件

执行:

mysql_install_db --verbose --user=root --defaults-file=/etc/my.cnf --datadir=/usr/local/mysql/data --basedir=/usr/local/mysql --pid-file=/usr/local/mysql/data/mysql.pid --tmpdir=/tmp

datadir  --->对应/etc/my.cnf 中配置的datadir

basedir --->mysql的安装目录

pid-file  ---> (mysql安装目录)/data/mysql.pid (不需要有这个文件)

7.执行

bin/mysqld_safe --defaults-file=/etc/my.cnf --socket=/tmp/mysql.sock --user=root &

执行不完，不要强制停止，重新开启一个shell

8.设置开机自启动

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqldcp /usr/local/mysql/support-files/mysql.server /etc/rc.d/init.d/mysql

chmod 700 /etc/init.d/mysql

chkconfig --add mysqld

chkconfig --level 2345 mysqld on

chown mysql:mysql -R /usr/local/mysql/

重新启动linux： init 6

查看mysql状态 ： service mysqld status

参考文章： https://www.cnblogs.com/duanrantao/p/8988116.html

9.添加远程访问权限。

ln -s /usr/local/mysql/bin/mysql /usr/bin （mysql的安装路径）

进入mysql ： mysql -uroot -p

执行：GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'duan' with grant option;

执行：Flush privileges;

重启linux 。

10.设置mysql密码

修改mysql密码，进入mysql shell ：mysql -u root -p (没密码直接回车)

格式：set password for 用户名@localhost = password('新密码'); 

样例： set password for root@localhost = password('123'); //不要忘了引号

11.win连接虚拟机mysql（前提是虚拟机和win环境之间ping的通）

1 . 在安装mysql的虚拟机上执行 :  service iptables status(查看防火墙状态)

2 . 查看所有端口 netstat -ntlp

可以看到3306已经开放，如果未开放 执行 ：

vim /etc/sysconfig/iptables 

并再文件中添加一行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT

重启防火墙 ： service iptables restart

连接测试（成功）：

二 . 安装hive

1.下载hive安装包 : http://mirror.bit.edu.cn/apache/hive/hive-2.3.5/

下载完成后上传至linux自定义文件夹(以/opt 为例) apache-hive-2.3.5-bin.tar.gz

2 . 解压

tar -zxvf apache-hive-2.3.5-bin.tar.gz

3 . 修改hive相关配置

    hive-site.xml

有个很坑爹的地方就是这个文件在conf里没有，我这个包是在路径：

/opt/apache-hive-2.3.5-bin/hcatalog/etc/hcatalog/proto-hive-site.xml

把这个文件复制到conf里并改名  hive-site.xml 

添加配置

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive_metadata?&amp;createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>root</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

</property>

<property>

    <name>datanucleus.schema.autoCreateAll</name>

    <value>true</value>

</property>

<property>

    <name>hive.metastore.schema.verification</name>

    <value>false</value>

</property>

添加mysql驱动包在hive里

下载 : https://dev.mysql.com/downloads/connector/j/

下载后解压，把下图jar包上传至hive安装目录下的 lib 文件夹

上传后结果：

4.配置hive的环境变量（省略）

5.初始化hive

执行：schematool -dbType mysql -initSchema

6.环境变量配置成功的情况下，任意位置输入hive ，执行几个简单的语句试试吧。

三 . java API操作HIVE

pom.xml

  <dependency>

            <groupId>org.apache.hive</groupId>

            <artifactId>hive-jdbc</artifactId>

            <version>2.3.5</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-common</artifactId>

            <version>2.7.6</version>

        </dependency>

导包:

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.SQLException;

import java.sql.Statement;

代码:

private static StringdriverName ="org.apache.hive.jdbc.HiveDriver";

public static void main(String[] args)throws SQLException {

try {

Class.forName(driverName);

    }catch (ClassNotFoundException e) {

e.printStackTrace();

        System.exit(1);

    }

Connection con = DriverManager.getConnection("jdbc:hive2://192.168.242.252:10000/default","root","root");

    Statement stmt = con.createStatement();

    String tableName ="helloHive";

    stmt.execute("drop table if exists " + tableName);

    stmt.execute("create table " + tableName +" (key int,value string)");

    System.out.println("create table success !!!");

    con.close();

}

1.打开hive的10000端口

1. hive --service metastore&    如果运行不结束不要强行停止，新开一个shell

2. hive --service hiveserver2&   如果运行不结束不要强行停止，新开一个shell

3. netstat -ntulp |grep 10000   检查端口是否开启

2.运行代码

1报错：

java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://hdp3:10000/default: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not allowed to impersonate anonymous

需要提供HDFS的RESTful接口，可通过此接口进行HDFS文件操作。

在  hdfs-site.xml 中添加

<property>

<name>dfs.webhdfs.enabled</name> 

<value>true</value> 

</property>

在  core-site.xml 中

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

再次运行就没问题了。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 199,175评论 5赞 466
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 83,674评论 2赞 376
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 146,151评论 0赞 328
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 53,597评论 1赞 269
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 62,505评论 5赞 359
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 47,969评论 1赞 275
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,455评论 3赞 390
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,118评论 0赞 254
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,227评论 1赞 294
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,213评论 2赞 317
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,214评论 1赞 328
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,928评论 3赞 316
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,512评论 3赞 302
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,616评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,848评论 1赞 255
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,228评论 2赞 344
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 41,772评论 2赞 339