系统环境:CentOS 6.5
内存:主节点4G及以上,其他节点2G及以上
准备工作
以下步骤要在所有节点上执行
1.修改hostname
vi /etc/sysconfig/network
2.关闭SELinux
vi /etc/selinux/config
#修改SELinux=disabled
3.关闭防火墙
sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list
4.配置网络
vi /etc/sysconfig/network-script/ifcfg-eth0
#修改NM_CONTROLLED="no",ONBOOT="yes"
service network restart
#重启服务
vi /etc/sysconfig/network-scripts/ifcfg-eth0
#配置静态IP
5.修改Hosts文件
127.0.0.1 localhost
192.168.1.101 master
192.168.1.102 slave1
192.168.1.102 slave2
6.配置ssh免登陆
#生成ssh免登陆密钥
ssh-keygen -t rsa
#执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
#将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#或
ssh-copy-id -i localhost
7.重启主机
reboot -f
下载安装文件
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/
gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
2.下载CM install
3.下载CM rpms
4.下载CDH Parcel文件,只需要下载
- CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
- CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
-
manifest.json
这三个文件。
注意:.sha1文件后缀更改为.sha,同时把内容只保留hash码部分。
Cloudera Manager安装
以下步骤在所有节点执行:
- 将cloudera-manager.repo文件拷贝到所有节点的/etc/yum.repos.d/文件夹下
- 验证repo文件是否起效
yum list|grep cloudera
#如果列出的不是你安装的版本,执行下面命令重试
yum clean all
yum list | grep cloudera
3.将之前下载的rpms文件拷贝到所有节点下(任意目录)
切换到rpms目录下,执行
yum -y install *.rpm
4.将之前下载的Parcel那3个文件拷贝到/opt/cloudera/parcel-repo目录下(如果没有该目录,请自行创建)
至此,/opt/cloudera/parcel-repo下面有三个文件: CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel
mainfest.json
CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel.sha
以下步骤请只在主节点上执行:
1.将下载好的bin文件拷贝到主节点任意目录下
2.进入该目录,给bin文件赋予可执行权限,并安装
sudo chmod +x ./cloudera-manager-installer.bin
./cloudera-manager-installer.bin
CDH集群安装
CM安装成功后浏览器输入
http://ip:7180
,ip是CM安装的主机ip或者主机名。显示如下界面,用户名和密码都输入admin,进入web管理界面。
1.选择部署的版本,这里我们选择免费版的就可以了。
2.一直继续,在选择添加主机界面。输入主机ip或者主机名,点击搜索。
这里如果选择一系列主机可以输入如下的内容:
192.168.1.[101-105]
slave[1-3].com.cn
勾选要添加的主机,继续下一步
3.选择存储库,选择我们下好的版本就行了,其他全选无, JDK不需要勾选。
4.提供SSH登陆凭据,由于CDH会自动管理所有主机间的SSH通讯,所以我们之前并没有手动配置各个节点间的SSH免密登录。在这里统一设置就行了,设置好密码点继续。
5.集群安装,等就好了。
6.安装Parcel到所有主机上,时间会比较长继续等。
7.主机检查
8.安装服务
CDH5提供了你可能需要的各种服务,需要什么启动什么就行了。这里我选择了自定义,添加HBase,HDFS,MapReduce和ZooKeeper,这里大家按照自己的需求选。
9.角色分配
10.数据库设置
CDH默认内嵌了一个数据库,如果你需要MySQL或者Oracle请选择使用自定义数据库,点击测试连接,成功后点继续。
11.审核更改,默认就行了,到这里集群已经安装部署完成了,CDH会自动对你选择的服务进行初始化设置,你也可以稍后自行开启。
初始化完成后,将进入主页面