CDH5.7.0离线安装

系统环境:CentOS 6.5
内存:主节点4G及以上,其他节点2G及以上

准备工作

以下步骤要在所有节点上执行

1.修改hostname

vi /etc/sysconfig/network

2.关闭SELinux

vi /etc/selinux/config
#修改SELinux=disabled

3.关闭防火墙

sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list

4.配置网络

vi /etc/sysconfig/network-script/ifcfg-eth0
#修改NM_CONTROLLED="no",ONBOOT="yes"
service network restart
#重启服务
vi /etc/sysconfig/network-scripts/ifcfg-eth0
#配置静态IP

5.修改Hosts文件

127.0.0.1          localhost

192.168.1.101  master
192.168.1.102   slave1
192.168.1.102   slave2

6.配置ssh免登陆

#生成ssh免登陆密钥
ssh-keygen -t rsa
#执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
#将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#或
ssh-copy-id -i localhost

7.重启主机

reboot -f

下载安装文件

1.下载cloudera-manager.repo

[cloudera-manager]
    # Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64                  
    name=Cloudera Manager
    baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/
    gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera    
    gpgcheck = 1

2.下载CM install
3.下载CM rpms
4.下载CDH Parcel文件,只需要下载

注意:.sha1文件后缀更改为.sha,同时把内容只保留hash码部分。

Cloudera Manager安装

以下步骤在所有节点执行:

  1. 将cloudera-manager.repo文件拷贝到所有节点的/etc/yum.repos.d/文件夹下
  2. 验证repo文件是否起效
yum list|grep cloudera
#如果列出的不是你安装的版本,执行下面命令重试
yum clean all 
yum list | grep cloudera

3.将之前下载的rpms文件拷贝到所有节点下(任意目录)
切换到rpms目录下,执行

yum -y install *.rpm

4.将之前下载的Parcel那3个文件拷贝到/opt/cloudera/parcel-repo目录下(如果没有该目录,请自行创建)
至此,/opt/cloudera/parcel-repo下面有三个文件: CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel
mainfest.json
CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel.sha

以下步骤请只在主节点上执行:

1.将下载好的bin文件拷贝到主节点任意目录下
2.进入该目录,给bin文件赋予可执行权限,并安装

sudo chmod +x ./cloudera-manager-installer.bin
./cloudera-manager-installer.bin

CDH集群安装

CM安装成功后浏览器输入http://ip:7180,ip是CM安装的主机ip或者主机名。显示如下界面,用户名和密码都输入admin,进入web管理界面。

1.选择部署的版本,这里我们选择免费版的就可以了。
2.一直继续,在选择添加主机界面。输入主机ip或者主机名,点击搜索。



这里如果选择一系列主机可以输入如下的内容:

192.168.1.[101-105]
slave[1-3].com.cn

勾选要添加的主机,继续下一步
3.选择存储库,选择我们下好的版本就行了,其他全选无, JDK不需要勾选。
4.提供SSH登陆凭据,由于CDH会自动管理所有主机间的SSH通讯,所以我们之前并没有手动配置各个节点间的SSH免密登录。在这里统一设置就行了,设置好密码点继续。
5.集群安装,等就好了。
6.安装Parcel到所有主机上,时间会比较长继续等。
7.主机检查
8.安装服务
CDH5提供了你可能需要的各种服务,需要什么启动什么就行了。这里我选择了自定义,添加HBase,HDFS,MapReduce和ZooKeeper,这里大家按照自己的需求选。



9.角色分配



10.数据库设置
CDH默认内嵌了一个数据库,如果你需要MySQL或者Oracle请选择使用自定义数据库,点击测试连接,成功后点继续。

11.审核更改,默认就行了,到这里集群已经安装部署完成了,CDH会自动对你选择的服务进行初始化设置,你也可以稍后自行开启。

初始化完成后,将进入主页面
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容