CDH离线安装

系统参数

系统centos:CentOS Linux release 7.5.1804 (Core)

JDK:jdk-8u162-linux-x64

Cloudera Manager:5.15.0

服务器5台,内存16g,磁盘50g,其中主节点磁盘不要小于50g,其他的可适当减少或增加配置

1、提前下载各个离线安装包文件

由于在线安装速度很慢,最好还是先把安装包先下载下载,为了方便安装以下安装包放在server01服务器上的/root/soft/目录下,在通过scp命令将cloudera-manager-agent、cloudera-manager-daemons、cloudera-manager.repo这三个文件拷贝到server02~05的/root/soft/目录下

jdk1.8(自行下载)

CM软件包(除了里面jdk的rpm包,其他的都下载下来)

cloudera-manager-installer.bin

cloudera-manager.repo

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

2、系统参数配置

所有节点修改hostname,第一台服务器命名为server01,依次命名

hostnamectl --static set-hostname server01

修改hosts:

vim /etc/hosts

根据自己的6台服务器IP地址,在最后面增加:

192.168.242.51 server01

192.168.242.52 server02

192.168.242.53 server03

192.168.242.54 server04

192.168.242.55 server05

所有节点关闭防火墙和selinux

systemctl stop firewalld.service #停止

systemctl disable firewalld.service #禁止firewall开机启动

firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)

vim /etc/selinux/config #找到SELINUX改为:SELINUX=disabled

所有节点ssh无密码登录

先在server01上执行:

ssh-keygen -t rsa #一路回车到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #将公钥拷贝到本机的authorized_keys上

再在其他节点分别执行以下命令:

ssh-keygen -t rsa #一路回车到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #注意此处不变,将公钥拷贝到server01的authorized_keys上

在server01上,将authorized_keys分发到其他节点服务器:

scp ~/.ssh/authorized_keys root@server02:~/.ssh/

scp ~/.ssh/authorized_keys root@server03:~/.ssh/

scp ~/.ssh/authorized_keys root@server04:~/.ssh/

scp ~/.ssh/authorized_keys root@server05:~/.ssh/

scp ~/.ssh/authorized_keys root@server06:~/.ssh/


JDK安装

rpm -qa |grep java #如果有就卸载。没有就不用执行下面

yum remove java* #删除自带的java

切换到jdk所在目录,执行安装命令

tar zxvf jdk-8u171-linux-x64.tar.gz


设置环境变量:

vim /etc/profile

在最后面增加:

JAVA_HOME=/usr/java/jdk1.8.0_171JRE_HOME=${JAVA_HOME}/jreCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libPATH=${JAVA_HOME}/bin:$PATH

退出保存,执行以下命令使环境变量生效,并验证JDK安装是否正确

source /etc/profile #使环境变量生效

java -version #查看JDK是否安装正确

 安装ntp时间同步软件

yum install ntp -y

vim /etc/ntp.conf

添加如下配置:

restrict 192.168.242.0 mask 255.255.255.0 nomodify notrap

server cn.pool.ntp.org

server 1.asia.pool.ntp.org

server 2.asia.pool.ntp.org

restrict 2.cn.pool.ntp.org nomodify notrap noquery

restrict 1.asia.pool.ntp.org nomodify notrap noquery

restrict 2.asia.pool.ntp.org nomodify notrap noquery

server 127.0.0.1

fudge 127.0.0.1 stratum 10

server01

时间同步

/usr/sbin/ntpdate cn.pool.ntp.org

在server02~06上,修改/etc/ntp.conf配置改为以下

server 192.168.242.51

restrict 192.168.242.51 nomodify notrap noquery

server 127.0.0.1

fudge 127.0.0.1 stratum 10

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst


server02~05

子节点需要定期同步主节点的时间,所以需要在各个子节点增加一个定时任务:

#每个从节点,从master节点同步时间

ntpdate server01

#做一个计划任务(从节点)

crontab -e

#表示每3小时同步一次时间

00 */3 * * * /usr/sbin/ntpdate server01 >> /root/ntpdate.log 2>&1

#查看计划任务

crontab -l

使用systemctl is-enabled chronyd检查是否为enabled的,如果在运行则关闭该服务,不然ntp在系统重启的时候不会启动

systemctl disable chronyd.service

systemctl enable ntpd.service

systemctl restart ntpd

ntpstat #查看是否同步

从节点已同步到主节点上

最后所有服务器检查一下时间是否一致

3、 Cloudera Manager安装

修改仓库文件cloudera-manager.repo,把版本号加上

cd ~/soft/ #根据前面说的,所有文件均在此目录下

vim cloudera-manager.repo

[cloudera-manager]name = Cloudera Manager

baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/ #主要改这里的版本号

gpgkey = https://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera

gpgcheck = 1

开始server01的安装:

yum localinstall --nogpgcheck *.rpm

从机server02~05安装

yum localinstall --nogpgcheck *.rpm

最后在server01~06节点检查我们安装包

yum list | grep cloudera


server01


server02~05

进入server01的cloudera-manager-installer.bin所在目录 

设置安装权限:

chmod u+x cloudera-manager-installer.bin

执行安装命令:

./cloudera-manager-installer.bin

如果提示需要删除配置文件,则删除该文件

rm -rf /etc/cloudera-scm-server/db.properties

重新执行安装命令,根据安装向导一路next。注意,如果之前master上没有手动安装rpm包此时就会联网下载,下载速度一般都较慢,太费时间。

相同配置下顺利安装时间在1分钟内即可完成。 

然后我们在web浏览器访问 http://192.168.242.51:7180/,看是否能打开页面即可,先不要进行登录操作。

注意:CDH server服务器启动需要一些时间,等1分钟左右。

如果能访问,那证明 cloudera manager安装正常。

4、CDH服务安装

前面完成cloudera manager安装之后server01会在/opt目录下生成cloudera文件夹,将之前下载好的CDH-*文件移动到parcel-repo文件夹中

mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel /opt/cloudera/parcel-repo/

mv  CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha #注意这里有重命名

将cloudera manager的用户授权给/opt和日志目录:

chown cloudera-scm.cloudera-scm /opt -R

chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R

重启cloudera-scm-server(重要

/etc/init.d/cloudera-scm-server restart

重启速度较慢,约1分钟后访问 http://192.168.242.51:7180/ 登陆,账号密码都是:admin 

选择免费版本,根据自身需要一路next安装。

输入集群服务器名
选择要安装的版本

这样安装成功了

5、错误

1.查看日志,日志文件在/var/log,查询相应的模块日志

2.cloudera-manager-agent和cloudera-manager-daemons要安装最新版的,不然会出现报错

3.如果选择了单用户模式,则要给cloudera-scm用户添加root权限,并使用命令:usermod -s /bin/bash cloudera-scm

4.从节点时间没有同步主节点的话,关闭主节点,再同步

systemctl stop ntpd

/usr/sbin/ntpdate cn.pool.ntp.org

systemctl restart ntpd

ntpstat

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容