系统参数
系统centos:CentOS Linux release 7.5.1804 (Core)
JDK:jdk-8u162-linux-x64
Cloudera Manager:5.15.0
服务器5台,内存16g,磁盘50g,其中主节点磁盘不要小于50g,其他的可适当减少或增加配置
1、提前下载各个离线安装包文件
由于在线安装速度很慢,最好还是先把安装包先下载下载,为了方便安装以下安装包放在server01服务器上的/root/soft/目录下,在通过scp命令将cloudera-manager-agent、cloudera-manager-daemons、cloudera-manager.repo这三个文件拷贝到server02~05的/root/soft/目录下
jdk1.8(自行下载)
CM软件包(除了里面jdk的rpm包,其他的都下载下来)
cloudera-manager-installer.bin
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1
2、系统参数配置
所有节点修改hostname,第一台服务器命名为server01,依次命名
hostnamectl --static set-hostname server01
修改hosts:
vim /etc/hosts
根据自己的6台服务器IP地址,在最后面增加:
192.168.242.51 server01
192.168.242.52 server02
192.168.242.53 server03
192.168.242.54 server04
192.168.242.55 server05
所有节点关闭防火墙和selinux
systemctl stop firewalld.service #停止
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
vim /etc/selinux/config #找到SELINUX改为:SELINUX=disabled
所有节点ssh无密码登录
先在server01上执行:
ssh-keygen -t rsa #一路回车到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #将公钥拷贝到本机的authorized_keys上
再在其他节点分别执行以下命令:
ssh-keygen -t rsa #一路回车到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #注意此处不变,将公钥拷贝到server01的authorized_keys上
在server01上,将authorized_keys分发到其他节点服务器:
scp ~/.ssh/authorized_keys root@server02:~/.ssh/
scp ~/.ssh/authorized_keys root@server03:~/.ssh/
scp ~/.ssh/authorized_keys root@server04:~/.ssh/
scp ~/.ssh/authorized_keys root@server05:~/.ssh/
scp ~/.ssh/authorized_keys root@server06:~/.ssh/
JDK安装
rpm -qa |grep java #如果有就卸载。没有就不用执行下面
yum remove java* #删除自带的java
切换到jdk所在目录,执行安装命令
tar zxvf jdk-8u171-linux-x64.tar.gz
设置环境变量:
vim /etc/profile
在最后面增加:
JAVA_HOME=/usr/java/jdk1.8.0_171JRE_HOME=${JAVA_HOME}/jreCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libPATH=${JAVA_HOME}/bin:$PATH
退出保存,执行以下命令使环境变量生效,并验证JDK安装是否正确
source /etc/profile #使环境变量生效
java -version #查看JDK是否安装正确
安装ntp时间同步软件
yum install ntp -y
vim /etc/ntp.conf
添加如下配置:
restrict 192.168.242.0 mask 255.255.255.0 nomodify notrap
server cn.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
restrict 2.cn.pool.ntp.org nomodify notrap noquery
restrict 1.asia.pool.ntp.org nomodify notrap noquery
restrict 2.asia.pool.ntp.org nomodify notrap noquery
server 127.0.0.1
fudge 127.0.0.1 stratum 10
时间同步
/usr/sbin/ntpdate cn.pool.ntp.org
在server02~06上,修改/etc/ntp.conf配置改为以下
server 192.168.242.51
restrict 192.168.242.51 nomodify notrap noquery
server 127.0.0.1
fudge 127.0.0.1 stratum 10
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
子节点需要定期同步主节点的时间,所以需要在各个子节点增加一个定时任务:
#每个从节点,从master节点同步时间
ntpdate server01
#做一个计划任务(从节点)
crontab -e
#表示每3小时同步一次时间
00 */3 * * * /usr/sbin/ntpdate server01 >> /root/ntpdate.log 2>&1
#查看计划任务
crontab -l
使用systemctl is-enabled chronyd检查是否为enabled的,如果在运行则关闭该服务,不然ntp在系统重启的时候不会启动
systemctl disable chronyd.service
systemctl enable ntpd.service
systemctl restart ntpd
ntpstat #查看是否同步
最后所有服务器检查一下时间是否一致
3、 Cloudera Manager安装
修改仓库文件cloudera-manager.repo,把版本号加上
cd ~/soft/ #根据前面说的,所有文件均在此目录下
vim cloudera-manager.repo
[cloudera-manager]name = Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/ #主要改这里的版本号
gpgkey = https://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1
开始server01的安装:
yum localinstall --nogpgcheck *.rpm
从机server02~05安装
yum localinstall --nogpgcheck *.rpm
最后在server01~06节点检查我们安装包
yum list | grep cloudera
进入server01的cloudera-manager-installer.bin所在目录
设置安装权限:
chmod u+x cloudera-manager-installer.bin
执行安装命令:
./cloudera-manager-installer.bin
如果提示需要删除配置文件,则删除该文件
rm -rf /etc/cloudera-scm-server/db.properties
重新执行安装命令,根据安装向导一路next。注意,如果之前master上没有手动安装rpm包此时就会联网下载,下载速度一般都较慢,太费时间。
相同配置下顺利安装时间在1分钟内即可完成。
然后我们在web浏览器访问 http://192.168.242.51:7180/,看是否能打开页面即可,先不要进行登录操作。
注意:CDH server服务器启动需要一些时间,等1分钟左右。
如果能访问,那证明 cloudera manager安装正常。
4、CDH服务安装
前面完成cloudera manager安装之后server01会在/opt目录下生成cloudera文件夹,将之前下载好的CDH-*文件移动到parcel-repo文件夹中
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel /opt/cloudera/parcel-repo/
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha #注意这里有重命名
将cloudera manager的用户授权给/opt和日志目录:
chown cloudera-scm.cloudera-scm /opt -R
chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R
重启cloudera-scm-server(重要)
/etc/init.d/cloudera-scm-server restart
重启速度较慢,约1分钟后访问 http://192.168.242.51:7180/ 登陆,账号密码都是:admin
选择免费版本,根据自身需要一路next安装。
这样安装成功了
5、错误
1.查看日志,日志文件在/var/log,查询相应的模块日志
2.cloudera-manager-agent和cloudera-manager-daemons要安装最新版的,不然会出现报错
3.如果选择了单用户模式,则要给cloudera-scm用户添加root权限,并使用命令:usermod -s /bin/bash cloudera-scm
4.从节点时间没有同步主节点的话,关闭主节点,再同步
systemctl stop ntpd
/usr/sbin/ntpdate cn.pool.ntp.org
systemctl restart ntpd
ntpstat