Ambari安装与搭建Hadoop

Ambari简介

以下内容摘自百度百科

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

Ambari主要取得了以下成绩:

  • 通过一步一步的安装向导简化了集群供应。
  • 预先配置好关键的运维指标(metrics),可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase、Hive和HCatalog)是否健康。
  • 支持作业与任务执行的可视化与分析,能够更好地查看依赖和性能。
  • 通过一个完整的RESTful API把监控信息暴露出来,集成了现有的运维工具。
  • 用户界面非常直观,用户可以轻松有效地查看信息并控制集群。

准备工作

需要的工具有:yum rpm scp curl wget pdsh 前几个一般系统都自带了,pdsh需要自己装 

使用如下命令:

sudo yum -y install epel-release 
sudo yum install pdsh
配置hosts

执行命令:

sudo vi /etc/hosts

添加如下内容(根据情况修改,dn1这名字最好和节点服务器的主机名相同,以防后期可能会出主机名不一致的错):

192.168.1.49 master master.hadoop.test 
192.168.1.48 dn1 dn1.hadoop.test 
192.168.1.47 dn2 dn2.hadoop.test
配置ssh免登录

选定master.hadoop.test作为ambari server,需要配置该节点到其它节点的ssh免登录

cd ~  
ssh-keygen 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

一直敲回车,遇到(y/n)?敲y 回车

chmod 700 ~/.ssh  
chmod 600 ~/.ssh/authorized_keys 

配置本地的免登录

scp ~/.ssh/authorized_keys root@dn1:/root/.ssh/ 
scp ~/.ssh/authorized_keys root@dn2:/root/.ssh/ 
其他
setenforce 0  
chkconfig iptables off  
/etc/init.d/iptables stop  
umask 022  

安装Ambari Server

添加yum资源库
wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.1/ambari.reposud
cp ambari.repo /etc/yum.repos.d 
yum repolist 
开始安装
sudo yum install ambari-server 
ambari-server setup 

以上两个可能会因为网络原因,Python版本,jdk安装等原因失败
中途会出现选择数据库的选项,选择推荐的
在执行ambari-server setup时出现错误或者感觉里面的选项错误时要重新执行时先执行 ambari-server reset 后在执行 ambari-server setup

启动服务
ambari-server start 

服务启动成功后打开浏览器访问http://本机ip:8080 如: (http://192.168.1.46:8080)
用户名和密码:admin/admin
出现Running server: ***(一些java参数) 可能是jdk的问题
出现启动成功,但是却访问不了的情况,查看日志文件会发现java抛了找不到host的异常,在/etc/hosts里加入 本机ip 主机名 (192.168.1.46 likun)

Hadoop集群搭建搭

搭建集群的按钮


QQ截图20160715103303.png
新建集群

输入集群名称,名字不支持 -号空格等


QQ截图20160715103916.png

版本号选择


QQ截图20160715104258.png

系统的版本不同悬着的os版本也不同
QQ截图20160715104613.png

创建ssh免登陆时,.ssh文件夹下有该文件


QQ截图20160715110426.png

这一步很容易因为配置文件的原因出错(可能节点服务器没设置好dns,导致yum不能使用,也可能节点主机名和先前填写的主机名不一致)
QQ截图20160715113759.png

选择要安装哪些
QQ截图20160715133129.png

要在什么机器上装什么自己选
![QQ截图20160715133847.png](http://upload-images.jianshu.io/upload_images/2429262-a86030429a33580f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
QQ截图20160715133952.png
QQ截图20160715134037.png
QQ截图20160715134048.png

正在安装


QQ截图20160715134057.png
QQ截图20160715141753.png

监控页面


QQ截图20160715141933.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,302评论 5 470
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,232评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,337评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,977评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,920评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,194评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,638评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,319评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,455评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,379评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,426评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,106评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,696评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,786评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,996评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,467评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,043评论 2 341

推荐阅读更多精彩内容