前言： cloudera集群的搭建，采用parcels方式安装，在真实IBM服务器环境下成功安装
cloudera集群搭四部曲：
- 一、集群服务器配置
- 二、外部数据库安装
- 三、安装cloudera manager
- 四、安装CDH
部署环境
操作系统：RedHat 6.4
cloudera manager版本：5.6.0
CDH版本：5.6.0
parcels版本：5.6.0
三个节点：
10.143.222.8 master
10.143.223.4 datanode1
10.143.223.12 datanode2
软件包下载地址
cloudera manager：https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.6.0/
CDH：https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.6.0/
parcels:https://archive.cloudera.com/cdh5/parcels/5.6.0/
parcels只需要下载三个文件
CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel
CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha1
manifest.json
注意：将CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha1后缀名改为sha
一、集群服务器配置
1.1 设置主机名
$ vim /etc/sysconfig/network
分别设置三个节点主机名
HOSTNAME=master
HOSTNAME=datanode1
HOSTNAME=datanode2
$ hostname master
$ hostname datanode1
$ hostname datanode2
1.2 编辑/etc/hosts
$ vim /etc/hosts
10.143.222.8 master
10.143.223.4 datanode1
10.143.223.12 datanode2
然后用scp把hosts文件拷贝到其它节点
1.3 关闭iptables
$ service iptables stop
$ chkconfig iptables off
1.4 关闭SELINUX
$ vim /etc/selinux/config
$ SELINUX=disabled
1.5 httpd服务
master节点：
将redhat6.4、cloudera manager、CDH和parcels上传到/var/www/html目录下
目录结构：
/var/www/html/cloudera-manager/5.6.0
/var/www/html/cloudera-cdh5/5.6.0
/var/www/html/redhat6.4
/var/www/html/parcels/5.6.0
如果安装包路径下没有repodata和RPMS目录则执行$> createrepo .例如：
$ cd /var/www/html/cloudera-manager/5.6.0
$ createrepo .
$ cd /var/www/html/cloudera-cdh5/5.6.0
$ createrepo .
注意：cloudera 5.6.0版本、redhat6.4和parcels不需要重新创建
启动httpd服务
$ service httpd start
$ chkconfig httpd on
1.6 创建yum源
$ vim /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name=cloudera manager
baseurl=http://master/cloudera-manager/5.6.0
enabled=1
gpgcheck = 0
$ vim /etc/yum.repos.d/cloudera-cdh5.repo
[cloudera-cdh5]
name=cloudera cdh5
baseurl=http://master/cloudera-cdh5/5.6.0
enabled=1
gpgcheck = 0
$ vim /etc/yum.repos.d/rhel-source.repo
[rhel-source]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://10.143.222.8/redhat6.4/
enabled=1
gpgcheck=0
将文件同步到datanode1和datanode2
$ scp /etc/yum.repos.d/* datanode1:/etc/yum.repos.d/
$ scp /etc/yum.repos.d/* datanode2:/etc/yum.repos.d/
重新生成yum缓存
$ yum clean all
$ yum makecache
1.7 ntp时间同步服务
1.7.1 修改时区
将时区修改为上海
$ cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
1.7.2 修改/etc/sysconfig/clock文件
$ vim /etc/sysconfig/clock
ZONE="Asia/Shanghai"
UTC=false
ARC=false
1.7.3 设置当前时间
根据当前时间进行设置，例如：
$ date -s "2016-09-14 11:58:00"
1.7.4 修改master节点ntp.conf配置文件
$ vim /etc/ntp.conf
将下面这行
restrict default kod nomodify notrap nopeer noquery
改成：
restrict default kod nomodify notrap nopeer
将下面三行
server 0.rhel.pool.ntp.org
server 1.rhel.pool.ntp.org
server 2.rhel.pool.ntp.org
修改为：
server 127.127.1.0
fudge 127.127.1.0 stratum 8
1.7.5 修改其他节点ntp.conf配置文件
$ vim /etc/ntp.conf
将下面三行
server 0.rhel.pool.ntp.org
server 1.rhel.pool.ntp.org
server 2.rhel.pool.ntp.org
修改为：
server 10.143.222.8
所有节点：
$ service ntpd start
$ chkconfig ntpd on
手动同步，例如：
$ ntpdate -u 10.143.222.8
二、外部数据库安装
2.1 安装mysql
这里采用mysql数据库，具体安装方法请看cloudera集群搭建1:准备步骤之mysql数据库搭建
2.2 创建所需要的数据库和用户
mysql> create database scm default character set utf8;
mysql> grant all on scm.* TO 'scm'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> create database amon default character set utf8;
mysql> grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> create database rman default character set utf8;
mysql> grant all on rman.* TO 'rman'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> create database metastore default character set utf8;
mysql> grant all PRIVILEGES on metastore.* TO 'hive'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> create database sentry default character set utf8;
mysql> grant all PRIVILEGES on sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> create database nav default character set utf8;
mysql> grant all PRIVILEGES on nav.* TO 'nav'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> create database navms default character set utf8;
mysql> grant all PRIVILEGES on navms.* TO 'navms'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> flush privileges;
三、安装cloudera agent和cloudera manager
3.1 安装JDK
所有节点：
$ yum install oracle-j2sdk1.7
配置Java环境变量，执行：
$ ln -s /usr/java/jdk1.7.0_67-cloudera /usr/java/default
$ echo -e 'export JAVA_HOME=/usr/java/default' >> /etc/profile
$ echo -e 'export PATH=$JAVA_HOME/bin:$PATH'>> /etc/profile
$ echo -e 'export CLASSPATH=.:$JAVA_HOME/lib'>> /etc/profile
$ source /etc/profile
3.2 安装cloudera manger agent
所有节点：
$ yum -y install cloudera-manager-agent
修改 cloudera-manager-agent配置文件,将server_host修改为master
$ vim /etc/cloudera-scm-agent/config.ini
server_host=master
3.2 安装cloudera manager server
master节点:
$ yum install cloudera-manager-server cloudera-manager-deamons
将parcels复制到/opt/cloudera/parcel-repo
$ cp /var/www/html/parcels/5.6.0/*.* /opt/cloudera/parcel-repo
3.3 需要访问mysql的节点上安装mysql-connector-java.jar
将数据库驱动mysql-connector-java.jar放到/usr/share/java目录下，用于cloudera manager连接mysql数据库
注意： 下载的mysql驱动要改名为mysql-connector-java.jar或者用ln命令建立链接
3.4 为cloudera manager配置外部数据库
$ /usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm 123456
3.5 启动服务
所有节点：
$ service cloudera-scm-agent start
master节点：
$ service cloudera-scm-server start
3.6 禁用大页
$ echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
$ echo never > /sys/kernel/mm/transparent_hugepage/enabled
$ echo never > /sys/kernel/mm/transparent_hugepage/defrag
在/etc/rc.local中添加
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
3.7 swappiness设置为0
$ vim /etc/sysctl.conf
在sysctl.conf中添加：
vm.swappiness = 0
然后执行：
$ sysctl -p
四、安装CDH
地址：http://master:7180
账号：admin
密码：admin
4.1 选择安装集群的版本
这里选择试用版
4.2 选择需要安装CDH的节点
4.3 选择parcels方式
点击更多，设置URL
本地地址：/opt/cloudera/parcel-repo
远程地址：http://10.143.222.8/parcels/5.6.0/
4.4 检查主机正确性
在parcels安装完后就到了这里
如果检查出现任何潜在问题，你可以到集群中进行修复，修复后点击“重新运行”
解决所有问题后，点击“继续”
]
4.5 选择要安装的服务
自定义服务：HDFS和YARN
之后如果还需要其他服务再另外添加
4.6 选择具体分配的角色
NameNode：master节点
SecondaryNameNode：datanode1节点
DataNode选择所有主机
其他默认选择master节点，然后点击“继续”
4.7 数据库设置
4.8 审核更改
默认值，点击“继续”
4.9 启动集群
完成后点击“继续”
如果没有错误就完成了安装
