CDH大数据集群搭建

目录
一.安装虚拟机
二.配置CentOS6.7环境
三.环境准备:
    3.1私有网络软件仓库
    3.2挂载网络镜像
    3.3创建CM和CDH网络镜像
    3.4安装时钟服务器
    3.5安装mysql
四.CM安装
    4.1配置CM的yum源
    4.2安装CM
    4.3修改CM源数据库
五.CDH集群安装
    5.1
    5.2 CDH和CM的具体网络位置的选择

一.安装虚拟机(见另一篇文章):

二.配置CentOS6.7环境:

1.关闭防火墙(三台虚拟机):
service iptables stop 

service iptables status
2.关闭防火墙自动运行(三台虚拟机):
chkconfig iptables off

验证:

chkconfig --list | grep iptables
3.修改主机名(三台虚拟机):
vi /etc/sysconfig/network

修改内容:

NETWORKING=yes
hostname=cdh1
4.将IP与主机名绑定,修改hosts(三台虚拟机)
vi /etc/hosts

修改内容:

192.168.0.131 cdh1
192.168.0.132 cdh2
192.168.0.133 cdh3
5.增加开机自启项(三台虚拟机)
vi /etc/rc.local

添加:

echo 0 >  /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
swapoff -a
6.关闭seliunx模块(三台虚拟机):
vi /etc/selinux/config

修改内容:

SELINUX=disabled
7.设置ssh免密登陆(三台虚拟机):
ssh-keygen -t rsa         //三次回车

三次回车:

ssh-copy-id -i ~/.ssh/id_rsa.pub  root@cdh1

ssh-copy-id -i ~/.ssh/id_rsa.pub  root@cdh2

ssh-copy-id -i ~/.ssh/id_rsa.pub  root@cdh3

三.环境准备:

3.1私有网络软件仓库(cdh1一台虚拟机):

1.上传CentOS镜像到cdh1虚拟机下的/disk目录下
cd /

mkdir disk             //将镜像上传到此目录下
2.挂载镜像:

(1)首先创建文件夹

mkdir -p /media/CentOS

(2)挂载镜像:

mount -o loop /disk/CentOS-6.7-x86_64-bin-DVD1.iso /media/CentOS/

(3)进入目录/etc/yum.repos.d/

cd /etc/yum.repos.d/

(4)修改CentOS-Base.repo的名称:

mv CentOS-Base.repo CentOS-Base.repo.bak

(5)修改CentOS-Media.repo

vi CentOS-Media.repo

修改内容:

enabled=1

(6)清除yum的缓存

yum clean metadata

yum clean dbcache

(7)查看是否挂载成功:

yum list | wc -l
3.安装http

(1)安装

yum -y install httpd

(2)检查是否安装成功

service httpd status

(3)启动http服务,并让http开机自启

service httpd start

chkconfig httpd on

(4)验证:浏览器输入:

192.168.0.131:80
4.安装createrepo
yum -y install createrepo

3.2挂载网络镜像

1.创建网络系统镜像:

(1)将从镜像中挂载的文件拷贝到软件仓库的目录中

scp -r /media/CentOS /var/www/html/

(2)删除目录repodata

cd /var/www/html/CentOS

rm -rf ./repodata

(3)生成新的软件路径目录repodata

createrepo .

(4)通过网络查看:

192.168.0.131/CentOS

(5)创建网络镜像成功

2.使用网络镜像

(1)接触对镜像文件的挂载:

umount /media/CentOS

验证

ll /media/CentOS/

(2)修改文件CentOS-Media.repo让其指向刚才创建的网络镜像

vi /etc/yum.repos.d/CentOS-Media.repo

修改内容

baseurl=http://192.168.0.131/CentOS/

(3)清除yum缓存:

yum clean metadata

yum clean dbcache

(4)查看是否挂载成功:

yum list | wc -l

超过3000个及挂载成功

3.3创建CM和CDH网络镜像

1.将下载好的cdh和cm安装包上传到/var/www/html/目录下:

验证:通过浏览器访问

2.子节点挂载网络镜像:

(1)将修改好的repo分发到其他两台子节点虚拟机:

scp -r /etc/yum.repos.d/CentOS-Media.repo root@cdh2:/etc/yum.repos.d/ 

scp -r /etc/yum.repos.d/CentOS-Media.repo root@cdh3:/etc/yum.repos.d/ 

(2)两台子节点修改文件:

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

(3)两台子节点清除缓存:

yum clean metadata

yum clean dbcache

(4)两台子节点查看是否挂载成功:

yum list | wc -l

3.4 安装时钟服务器

所有节点都得安装时钟服务。
时钟服务器安装在主节点上,子节点的时钟服服务全部同步到主节点的时钟服务器上。

1.主节点(cdh1)安装时钟服务器

(1)安装时钟服务ntp

yum -y install ntp

(2)启动,并注册到开机自启

service ntpd start

chkconfig ntpd on

(3)配置时钟服务器,编辑/etc/ntp.conf

vi /etc/ntp.conf

修改内容:

restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap

server 127.127.1.0
fudge 127.127.1.0 statum 10

(4)重启ntp服务

service ntpd restart
2.子节点安装ntp时钟服务器并同步到主节点

(1)和上面一样,处了修改ntp.conf文件不同:

(2)修改ntp.conf

vi /etc/ntp.conf

修改内容:

restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap

server cdh1
修改后

(3)重启ntp服务

service ntpd restart

(4)验证是否同步:

ntpstat

3.5安装mysql(主节点cdh1)

1.安装

(1)安装

yum -y install mysql-server

(2).启动并设置开机启动:

service mysqld start

chkconfig mysqld on
2.修改root密码:

(1)修改root密码

mysqladmin -u root password "root"

(2)登陆mysql

mysql -uroot -proot
3.创建相关数据库

(1)CM元数据库:

create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

(2)Hive元数据库:

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

(3)Cloudera的元数据库:

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

(4)oozie的元数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

(5)开启远程访问
选择mysql数据库

use mysql;

修改访问权限表:

grant all privileges on *.* to "root"@"%" identified by "root" with grant option;

grant all on scm.* TO "root"@"cdh1" identified by "root";

grant all on scm.* TO "root"@"cdh2" identified by "root";

grant all on scm.* TO "root"@"cdh3" identified by "root";

grant all on hive.* TO "root"@"cdh1" identified by "root";

grant all on hive.* TO "root"@"cdh2" identified by "root";

grant all on hive.* TO "root"@"cdh3" identified by "root";

grant all on amon.* TO "root"@"cdh1" identified by "root";

grant all on amon.* TO "root"@"cdh2" identified by "root";

grant all on amon.* TO "root"@"cdh3" identified by "root";

grant all on oozie.* TO "root"@"cdh1" identified by "root";

grant all on oozie.* TO "root"@"cdh2" identified by "root";

grant all on oozie.* TO "root"@"cdh3" identified by "root";
flush privileges;

查看是否开启远程访问:

select user,password,host from user;

四.CM安装(cdh1一个虚拟机)

4.1配置CM的yum源:

1.拷贝cloudera-cm.repo到/etc/yum.repos.d/目录下:

cd /var/www/html/cm5.14/

cp cloudera-manager.repo /etc/yum.repos.d/ 

2.进入目录/etc/yum.repos.d/ ,修改cloudera-manager.repo

cd /etc/yum.repos.d/

vi cloudera-manager.repo
修改前

修改内容:

baseurl=http://192.168.0.131/cm5.14/
gpgkey =http://192.168.0.131/cm5.14/RPM-GPG-KEY-cloudera

修改后:

修改后

3.制作一个备份:

cp cloudera-manager.repo cloudera-manager111.repo

4.测试:

yum repolist

4.2安装CM

1.找到CM安装的引导文件:cloudera-manager-installer.bin,上传到/opt目录下

2.赋予权限:

chmod 755 cloudera-manager-installer.bin

3.执行

/opt/cloudera-manager-installer.bin

4.查看是否启动:

service cloudera-scm-server status

5.通过浏览器访问cm的页面控制台:

http://192.168.0.131:7180

用户名和密码都是admin,进入cdh集群安装页面,至此cm安装成功

4.3修改CM源数据库:

1.将mysql驱动放入/usr/share/cmf/lib/目录下

2.修改数据库:

/usr/share/cmf/schema/scm_prepare_database.sh mysql scm root root
修改数据库

五.CDH集群安装

5.1

1.在登录了后,进入的第一个界面是cloudera的最终用户许可条款和条件:

钩上是的,点击继续

勾选是的,再点继续,进入CDH版本选择界面,
2.这里选择免费版, 再点击继续,进入感谢界面:

选择免费,点击继续

3.点击继续,进入节点选择界面

点击继续

输入节点主机名:cdh1,cdh2,cdh3点击搜索

选中节点,点击继续

5.2 CDH和CM的具体网络位置的选择

1.选中CDH的位置

先点击 更多选项,进入CDH网络位置选择界面

修改成自己的CDH网络软件镜像的地址, 而自己的CDH的地址为

因此修改如下,多余的删掉:

点击保存更改,这时CDH和CM的网络位置选择界面变为

选择自己设置的CDH版本就完成了,对CDH的选择。接下来选择CM。

2.选择CM的位置

其实呢,就是把配置cloudera-cm.repo的配置拿出来,在界面上填一遍,我们的填写如下:


填写完成后,就会进入给每个节点安装cloudera-scm-agent的界面,再点击继续前,我们需要将hadoop-cm中安装CM时安装的JDK文件分发到每个子节点,不然子节点在安装cloudera-scm-agent会包错。

3.分发jdk:

在cdh1安装CM时,CM会将JDK安装到/usr/java/目录下:
因此我们把cdh1整个java目录分发给所有的子节点就好了,在hadoop-4下执行:

scp -r /usr/java root@cdh2:/usr/

scp -r /usr/java root@cdh3:/usr/
4.Agent的安装和配置:

Jdk分发完成后,点击继续,进入jdk安装选项:
由于我们已经分发,这个就不需要勾选,直接点击继续,进入选择是否启动单用户模式

点击继续,jdk之前装过了
点击继续,不选择单用户
填写root用户的密码,点击继续
点击继续
点击继续
全绿则选择继续
选择自定义服务,因为虚拟机资源不够,最好一个一个安装
选择后继续
填写正确数据库主机名,数据库名称,用户名密码,测试连接成功后点击继续
点击继续
点击继续
点击完成
5.搭建成功:
成功
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容