CDH6.3.1在谷歌云的搭建

这两个礼拜，我分别试出了CDH在谷歌云和本地的搭建方法，堪称血泪史啊，话不多说，直接整活。

1.为什么要用CDH

官方回答：

利用业界领先的现代数据管理平台CDH，可以最大程度地利用数据。CDH完全基于开放标准构建，具有一套创新的开源技术，可以以PB级经济高效地存储，处理，发现，建模，服务，保护和管理所有类型的数据。

1.版本划分清晰

2.版本更新速度快

3.支持Kerberos安全认证

4.文档清晰

5.支持多种安装方式（Cloudera Manager方式）

个人理由：

炫酷，炫酷，还是炫酷。。。。。

2.CDH搭建（这里本地和云就一起说了，不一样的地方我会指出来）

2.1服务器资源申请

云服务器（怎么薅谷歌羊毛见我上一篇文章）：

谷歌云服务器对CPU有限制，最多32个核，且Cloudera对3-10台服务器的角色划分建议是：one host for utility and gateway roles，因此划分如下：

cluster-master  16vcpu  64G内存  1500G硬盘存储

worker1  8vcpu  48G内存  1000G硬盘存储

worker2 8vcpu  48G内存  1000G硬盘存储

2.2 集群基础环境配置

每个机器全都先把root密码改了：

sudo -i

passwd

2.2.1 Host配置

将集群的Host的ip和域名配置到每台机器的/etc/hosts。

注意 hostname必须是一个FQDN（全限定域名），例如cluster-manager.cdh.com，否则后面转到页面时在启动Agent时有个验证会无法通过。

# master

sudo hostnamectl set-hostname cluster-manager.cdh.com

# worker1

sudo hostnamectl set-hostname worker1.cdh.com

# worker2

sudo hostnamectl set-hostname worker2.cdh.com

#配置 /etc/hosts (注意，此处经过我的测试，要配置内网IP)

ip1 cluster-manager.cdh.com（这几个ip的名字一定要写在最前面！否则后面会报错）

ip2 worker1.cdh.com

ip3 worker2.cdh.com

# 配置 /etc/sysconfig/network

# master

HOSTNAME=cluster-manager.cdh.com

# worker1

HOSTNAME=worker1.cdh.com

# worker2

HOSTNAME=worker2.cdh.com

注意，CDH是不用配置免密登陆的，但是要配置允许root和密码访问，否则后面会报错

vi /etc/ssh/sshd_config

修改：

PermitRootLogin yes

PasswordAuthentication yes

保存后退出并重启

reboot

2.2.2 关闭防火墙（全部节点）

https://www.cloudera.com/documentation/enterprise/6/6.3/topics/install_cdh_disable_iptables.html

systemctl disable firewalld

systemctl stop firewalld

2.2.3关闭 SELinux（全部节点）

https://www.cloudera.com/documentation/enterprise/6/6.3/topics/install_cdh_disable_selinux.html

vim /etc/selinux/config

SELINUX=disabled

# sed-i's/SELINUX=enforcing/SELINUX=disabled/g'/etc/selinux/config && setenforce0

2.2.3 NTP

注意，谷歌云不用配置NTP！！！！

谷歌云不用配置NTP！！！！

谷歌云不用配置NTP！！！！

Google 无法预测外部 NTP 服务（如 pool.ntp.org）如何处理闰秒。如果可能的话，建议您不要在 Compute Engine 虚拟机上使用外部 NTP 源。更糟糕的是，同时使用 Google NTP 服务和外部服务可能会导致系统时间发生不可预知的变化。仅使用一个外部 NTP 源比使用混合源要好，但外部 NTP 服务（如 pool.ntp.org）可能会使用步进来处理闰秒。因此，您的虚拟机可能会看到重复的时间戳。

最安全的方法是将 Compute Engine 虚拟机配置为使用单个 NTP 服务器（由 Google 提供的内部 NTP 服务器）。请勿混用外部 NTP 服务器和 Google NTP 服务器，因为这可能会导致意想不到的行为。-----谷歌云官方

2.2.4 MySQL(哪个节点都行，推荐主节点，因为我别的没试过。。。)

一、安装YUM Repo

1、由于CentOS 的yum源中没有mysql，需要到mysql的官网下载yum repo配置文件。

下载命令：

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

2、然后进行repo的安装：

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

执行完成后会在/etc/yum.repos.d/目录下生成两个repo文件mysql-community.repo mysql-community-source.repo

二、使用yum命令即可完成安装

注意：必须进入到 /etc/yum.repos.d/目录后再执行以下脚本

1、安装命令：

yum install mysql-server

2、启动msyql：

systemctl start mysqld #启动MySQL

3、获取安装时的临时密码（在第一次登录时就是用这个密码）：

grep 'temporary password' /var/log/mysqld.log

4、倘若没有获取临时密码，则

4.1、删除原来安装过的mysql残留的数据

rm -rf /var/lib/mysql

4.2.再启动mysql

systemctl start mysqld #启动MySQL

三、登录：

mysql -u root -p

然后输入密码（刚刚获取的临时密码）

四、登录成功后修改密码

1.首先需要设置密码的验证强度等级，设置 validate_password_policy 的全局参数为 LOW 即可，

输入设值语句 “ set global validate_password_policy=LOW; ” 

2.当前密码长度为 8 ，如果不介意的话就不用修改了，按照通用的来讲，设置为 6 位的密码，设置 validate_password_length 的全局参数为 6 即可，

输入设值语句 “ set global validate_password_length=6; ” 

3、现在可以为 mysql 设置简单密码了，只要满足六位的长度即可，

输入修改语句 “ ALTER USER 'root'@'localhost' IDENTIFIED BY '123456'; ” 可以看到修改成功，表示密码策略修改成功了！！

五.设置远程登陆

MySQL默认是没有开启远程控制的，必须添加远程访问的用户，即默认是只能自己访问，别的机器是访问不了的。

　   1. 连接服务器: mysql -u root -p

　　2. 进入mysql数据库：use mysql;

　　3. 修改user表中的Host:   update user set Host='%' where User='root';  

                说明： % 代表任意的客户端,可替换成具体IP地址。

　　4.  最后刷新一下：flush privileges;

六. 修改配置文件

vi /etc/my.cnf

[mysqld]

datadir=/var/lib/mysql

socket=/var/lib/mysql/mysql.sock

transaction-isolation = READ-COMMITTED

# Disabling symbolic-links is recommended to prevent assorted security risks;

# to do so, uncomment this line:

symbolic-links = 0

key_buffer_size = 32M

max_allowed_packet = 32M

thread_stack = 256K

thread_cache_size = 64

query_cache_limit = 8M

query_cache_size = 64M

query_cache_type = 1

max_connections = 550

#expire_logs_days = 10

#max_binlog_size = 100M

#log_bin should be on a disk with enough free space.

#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your

#system and chown the specified folder to the mysql user.

log_bin=/var/lib/mysql/mysql_binary_log

#In later versions of MySQL, if you enable the binary log and do not set

#a server_id, MySQL will not start. The server_id must be unique within

#the replicating group.

server_id=1

binlog_format = mixed

read_buffer_size = 2M

read_rnd_buffer_size = 16M

sort_buffer_size = 8M

join_buffer_size = 8M

# InnoDB settings

innodb_file_per_table = 1

innodb_flush_log_at_trx_commit  = 2

innodb_log_buffer_size = 64M

innodb_buffer_pool_size = 4G

innodb_thread_concurrency = 8

innodb_flush_method = O_DIRECT

innodb_log_file_size = 512M

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

重启MySQL

systemctl restart mysqld 

设置开机启动

systemctl enable mysqld

再次登陆mysql  mysql -u root -p

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

最后安装 MySQL 驱动

# 下载

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

# 解压

tar -zxf mysql-connector-java-5.1.46.tar.gz

# 放到指定目录

mkdir -p /usr/share/java/

cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

2.3 安装 Cloudera Manager 和 CDH

（因为谷歌云嘛，大家都懂得，所以我们使用在线安装）

1.安装 CDH 的 yum 源（全部节点）

https://www.cloudera.com/documentation/enterprise/6/6.3/topics/configure_cm_repo.html

curl -o /etc/yum.repos.d/cloudera-manager.repo https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/cloudera-manager.repo

rpm --import https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPM-GPG-KEY-cloudera

2.安装 JDK（全部节点）

https://www.cloudera.com/documentation/enterprise/6/6.3/topics/cdh_ig_jdk_installation.html

必须安装在 /usr/java/ 目录中，这里使用 CDH 源中带的 JDK

yum install oracle-j2sdk1.8

3.安装 Cloudera Manager Server（全部节点）

https://www.cloudera.com/documentation/enterprise/6/6.3/topics/install_cm_server.html

主节点（注意，如果是单节点的话，这里需要把agent也安装上）

yum install cloudera-manager-daemons cloudera-manager-server -y

从节点

yum install cloudera-manager-daemons cloudera-manager-agent -y

4.设置 Cloudera Manager 数据库（主节点）

官方文档推荐的是每个库都有独立的用户，这里为了方便统一用 root 用户。

当 MySQL 或 MariaDB 与 Cloudera Manager Server 位于同一节点时：/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root

当 MySQL 或 MariaDB 在其它节点上时：/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h db01.example.com --scm-host cm01.example.com scm root

5. 安装 CDH 和其他软件（主节点）

https://www.cloudera.com/documentation/enterprise/6/6.3/topics/install_software_cm_wizard.html

systemctl start cloudera-scm-server

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

# 看到如下日志就可以访问 WEB 端了：http://<server_host>:7180，用户名和密码默认都是 admin

INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

子节点启动

vi /etc/cloudera-scm-agent/config.ini，修改server_host=cluster-manager.cdh.com

systemctl start cloudera-scm-agent

查看cloudera-scm-agent状态：systemctl status cloudera-scm-agent

查看cloudera-scm-agent日志：tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

3. 集群搭建

炫酷的CDH终于看到页面啦！！！！

地址：http://master外部IP:7180

用户名密码均是admin

由于我已经配置完了，所以是这个样子

因为我们用的是谷歌云，所以不用担心下载之类的问题，就下一步下一步下一步

4.其他问题：

4.1 hdfs用户登录不上

当HDFS开启了权限认证，有时操作HDFS需要切换到hdfs用户对数据进行操作，但可能会提示如下问题：

[root@cdh1 ~]# su hdfs

This account is currently not available.

此时查看系统的用户信息，将hdfs 的/sbin/nologin改为/bin/bash，然后保存，再次登录hdfs即可。

[root@cdh1 ~]# cat /etc/passwd | grep hdfs

hdfs:x:954:961:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin

#将上面的信息改为如下

hdfs:x:954:961:Hadoop HDFS:/var/lib/hadoop-hdfs:/bin/bash

4.2 root用户对HDFS文件系统操作权限不够问题

# 1 在Linux执行如下命令增加 supergroup

groupadd supergroup

# 2 如将用户root增加到 supergroup 中

usermod -a -G supergroup root

# 3 同步系统的权限信息到HDFS文件系统

sudo -u hdfs hdfs dfsadmin -refreshUserToGroupsMappings

# 4 查看属于 supergroup 用户组的用户

grep 'supergroup:' /etc/group


最后


4.3 HDFS文件系统副本不足的块问题（此时我用的单机版，Datanode为1）



原因

原因是设置的副本备份数与DataNode的个数不匹配。

dfs. replication属性默认是3，也就是说副本数---块的备份数默认为3份

注意，hdfs的复制因为要和datanode保持一致

cm这里的配置要改一下

dfs.replication这个参数其实只在文件被写入dfs时起作用，虽然更改了配置文件，但是不会改变之前写入的文件的备份数。

所以我们还需要步骤2

在cm0中通过命令更改备份数：

su hdfs

hadoop fs -setrep -R 1 /

这里的-R 1的数字1就对应我们的DataNode个数。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 202,905评论 5赞 476
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,140评论 2赞 379
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 149,791评论 0赞 335
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,483评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,476评论 5赞 364
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,516评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,905评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,560评论 0赞 256
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,778评论 1赞 296
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2赞 319
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,338评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,925评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2赞 342

推荐阅读更多精彩内容