centos7.3-cdh5.14-cloudera-manager-installer.bin方式离线安装

说明:本篇安装教程使用root用户进行操作,其实使用普通用户进行操作也是可以的,只是要求用户可以不输入密码使用sudo权限,其实安装过程中基本所有的步骤都需要有root权限普通用户进行操作的时候需要加上sudo,sudo操作其实就等于使用root用户操作,然后再切换到普通用户,多此一举,所以全部操作都使用root进行操作了。
环境要求
系统:centos7.3系统,要求主机之间时间同步
Cloudera:CM5.14.2 + CDH 5.14.2
内存:各个节点的物理内存最好大于8G,磁盘容量大于20G
主机:192.168.157.11
192.168.157.12
192.168.157.13

一 环境准备工作,需要在所有节点上操作
1.修改静态IP

     vi /etc/sysconfig/network-scripts/ifcfg-ens33

按照下面的进行修改,可能有些人的不是ens-33,找类似的修改。


I_KANGOEXNT_P$5S)I_$711.png

第二行的BOOTPROTO修改成static,最后一行的ONBOOT修改成yes
然后在后面追加设置的静态IP地址,网关,DNS和网关保持一样就可以,网络是网通的可能后来会有异常,这里可以把DNS 服务器设置为8.8.8.8,避免后来的一个域名解析的异常。设置完成之后,重启网络服务

    systemctl restart network.service
    ping www.baidu.com -c 3

如果类似下面,就证明可以连接外网。


7~FUR6HV_MYZBY54RH{NKX9.png

2.更换网易源,我这里阿里云源的速度没有网易源的速度块,从http://mirrors.163.com/下载CentOS7-Base-163.repo上传到/etc/yum.repos.d目录下,有些版本包含了阿里和网易的源,不需要更换。

cd /etc/yum.repos.d
rm -rf ./*
上传CentOS7-Base-163.repo到/etc/yum.repos.d目录下
yum clean all && yum makecache

3.修改主机名,使用hostnamectl命令依次为3个主机设置主机名

    hostnamectl set-hostname cdh1.posinda.com->chd3.posinda.com
    hostname
    cdh1.posinda.com
    cdh1.posinda.com
    cdh1.posinda.com

设置完成之后,可以使用hostname命令查看是否设置成功

4.关闭防火墙

    systemctl stop firewalld.service
    systemctl disable firewalld.service
    systemctl status firewalld.service

5.安装ntp服务,以进行节点之间的时间同步,可以参考https://www.jianshu.com/p/f0eda9a93ef2选择设计目标二进行安装ntp服务的安装配置

6.设置主机名解析

    vi  /etc/hosts

按照自己的实际情况进行内容添加:

    192.168.157.11 cdh1.posinda.com  cdh1  
    192.168.157.12 cdh2.posinda.com  cdh2
    192.168.157.13 cdh3.posinda.com  cdh3

7.主机之间的ssh免密码登陆,保证两两主机之间可以免密码连接

8.关闭SELinux
关闭selinux,可以使用setenforce 0命令来临时关闭,也可以通过修改配置文件来永久关闭,永久关闭需要重启操作系统才能生效,下面是永久关闭的操作方法:

    vi  /etc/sysconfig/selinux

修改为SELINUX=disabled,重启后可以检查selinux的状态

    sestatus -v

SELinux status: disabled,表示已经关闭了

9.安装完CDH后,CDH Manager一般会提示用户需要做一些Linux系统层面的优化,主要包括两类:禁止透明大页面及交换分区设置,这里预先进行设置。

交换分区的设置
inux内核参数vm.swappiness,值的范围为0-100,表示系统什么时候开始进行物理内存与虚拟内存的交换。举个例子,系统总内存为64G,vm.swappiness为60,表示在系统内存使用64*0.4=25.6G的时候开始物理内存与虚拟内存的交换,这个动作势必会影响系统的性能。因此,Cloudera建议把这个值修改为1~10。按照下面进行设置,保证重启后不会恢复原来的60.

  echo "vm.swappiness=10" >> /etc/sysctl.conf

禁止透明大页面:
找到/etc/rc.d/rc.local文件,添加下面两行

    echo never > /sys/kernel/mm/transparent_hugepage/defrag
    echo never > /sys/kernel/mm/transparent_hugepage/enabled

并为/etc/rc.d/rc.local添加执行权限

    chmod +x /etc/rc.d/rc.local

重启生效。
下载MySQL驱动包,上传到主节点的/usr/share/java目录,该目录需要手动进行创建,下载的驱动包的版本不要太高,以免出现连接错误,我下载的版本是5.1.35,下载完成之后,重命名,上传到创建的/usr/share/java目录

    mv mysql-connector-java-5.1.35.jar mysql-connector-java.jar

二.软件准备:
cloudera-manager.repo
下载地址:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/,下载完成之后按照下面修改一下具体的版本。

 [cloudera-manager]
 # Packages for Cloudera Manager, Version 5, on RedHat or CentOS 7 x86_64                 
 name=Cloudera Manager
 baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.2/
 gpgkey =https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera    
 gpgcheck = 1

cloudera-manager-installer.bin
下载地址:http://archive.cloudera.com/cm5/installer/5.14.2/

cloudera-manager-agent-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
cloudera-manager-daemons-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
cloudera-manager-server-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
cloudera-manager-server-db-2-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
enterprise-debuginfo-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
jdk-6u31-linux-amd64.rpm
oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
下载地址:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.2/RPMS/x86_64/

CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
mainfest.json
下载地址:http://archive.cloudera.com/cdh5/parcels/5.14.2/
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha由下载的CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1重命名得到,查看文件的具体内容可以看到 8d7a3d19e0f9c3c457f008653603fad4552c06af,验证下载得到的CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel的完整性

/usr/bin/sha1sum CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel

如果得出的结果和文件的内容一致,证明文件没有损坏。

下面进入主题:
以下步骤要在所有节点上执行:
1.将cloudera-manager.repo文件拷贝到所有节点的/etc/yum.repos.d/文件夹下,验证文件是否有效

    yum list|grep cloudera

2.将下载完成的下列文件:
cloudera-manager-agent-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
cloudera-manager-daemons-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
cloudera-manager-server-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
cloudera-manager-server-db-2-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
enterprise-debuginfo-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
jdk-6u31-linux-amd64.rpm
oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
上传到所有节点,目录名任意,例如/opt/rpms目录,切换到创建的目录,安装上面列出的rpm文件

    yum localinstall *.rpm -y

3.创建/opt/cloudera/parcel-repo,将下载完成的下列文件:
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
mainfest.json
上传到该目录
4.这一步只需要在主节点执行。上传下载完成的cloudera-manager-installer.bin到任意目录,加上执行权限。

    chmod a+x cloudera-manager-installer.bin

5.执行cloudera-manager-installer.bin

    ./cloudera-manager-installer.bin

这一步指定需要root用户进行操作
出现安装界面,一路yes,next就可以了,其中一步需要删除/etc/cloudera-scm-server/db.properties文件,按照说明删除即可。安装完成之后cloudera-scm-server,cloudera-scm-server-db,cloudera-scm-agent服务自动启动,可以查看cm server的日志文件查看状态

    tail -f /var/log/cloudera-scm-server/clouder-scm-server.log

CDH默认使用postgresql来存储cloudera manager运行所需要的状态,但是一般生产环境使用外部数据库,至于怎么更换为mysql数据库,查看https://www.jianshu.com/p/399fd230cb56

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容