Cloudera Manager的安装

title: Cloudera Manager的安装
tags: CM Cloudera Manager cdh

一、Linux系统的安装

  1. 安装Linux CentOS 7.1系统

  2. 设置网络

    1. 配置IP与主机之间的映射，命令如下:

    vi /etc/hosts

    10.187.113.41 cdh01
    10.187.113.42 cdh02
    10.187.113.43 cdh03
    10.187.113.44 cdh04
    10.187.113.45 cdh05

    1. 禁用IPv6

    echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
    echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

  3. 增加普通用户

    useradd hadoop（增加用户）
    passwd hadoop（修改用户密码）

  4. 配置普通用户的sudo权限

    vi /etc/sudoers
    hadoop ALL=(root)NOPASSWD:ALL

  5. 关闭防火墙
    centos6.5关闭防火墙

    service iptables stop （暂时关闭）
    chkconfig iptables off（永久性关闭)

    centos7关闭防火墙

    systemctl stop firewalld.service #停止firewall
    systemctl disable firewalld.service #禁止firewall开机启动

  6. 禁用Selinux

    vi /etc/sysconfig/selinux
    SELINUX=disabled

  7. 设置文件打开数量和用户最大进程数

    查看文件打开数量 ulimit -a
    查看用户最大进程数 ulimit -u

    vi /etc/security/limits.conf
    增加以下内容：

    soft nofile 65535
    hard nofile 65535
    soft nproc 32000
    hard nproc 32000

  8. yum源更换和添加

    1. 更换yum 源为163,请执行以下命令

      cd /etc/yum.repos.d

      yum install -y wget （下载资源命令）
      rename .repo .repo.bak *
      wget http://mirrors.163.com/.help/CentOS7-Base-163.repo
      yum clean all
      yum makecache
      yum install lrzsz

    2. 添加cloudera-manager.repo源 【所有节点都要】

      cd /etc/yum.repos.d/
      vi cloudera-manager.repo 添加以下内容后保存退出

      [cloudera-manager]
      name=Cloudera Manager
      baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/
      gpgkey =https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera
      gpgcheck = 1

  9. 卸载CentOS自带的jdk

    sudo rpm -qa|grep jdk 或 sudo rpm -qa|grep java
    sudo rpm -e --nodeps xxx yyy zzz

  10. 安装jdk
    安装jdk命令：rpm -ivh jdk-8u151-linux-x64.rpm
    jdk下载地址：jdk-8u151-linux-x64.rpm

  11. 设置将 /proc/sys/vm/swappiness 设置为 0 (修改swap空间的swappiness，降低对硬盘的缓存 )
    （root用户）输入：echo "vm.swappiness=0" >> /etc/sysctl.conf ）

  12. 集群时间同步

    1. rpm -qa |grep ntpd >>没有安装则需要安装此服务 >>yum install ntp

    2. 去掉这个注释，将地址改成网段地址

      restrict 10.187.113.41mask 255.255.255.0 nomodify notrap

      注释掉这几个

      server 0.centos.pool.ntp.org iburst
      server 1.centos.pool.ntp.org iburst
      server 2.centos.pool.ntp.org iburst
      server 3.centos.pool.ntp.org iburst

      添加一下内容

      server 10.187.113.41 prefer
      server 127.127.1.0
      fudge 127.127.1.0 stratum 10

    3. 配置boot时间和系统时间同步

      vi /etc/sysconfig/ntpd
      SYNC_HWCLOCK=yes

    4. 客户机配置（从节点）

      注释掉这几个
      server 0.centos.pool.ntp.org iburst
      server 1.centos.pool.ntp.org iburst
      server 2.centos.pool.ntp.org iburst
      server 3.centos.pool.ntp.org iburst
      加入
      server 10.187.114.41

    5. 启动ntpd服务器（主+从）
      centos7

      systemctl start ntpd.service
      systemctl status ntpd.service

      centos6.5

      service ntpd start
      service ntpd status

  13. 配置免密登录
    配置主机之间的免密ssh登陆（每个节点都要配置、密钥自身也要拷贝）
    假如 cdh01 要登陆 cdh02
    在cdh01上操作：
    首先生成密钥对，命令如下：
    ssh-keygen (提示时，直接回车即可)
    将生产的秘钥copy到mini2上，命令如下
    ssh-copy-id cdh02
    如果出现 ssh-copy-id: command not found 需要执行该命令yum -y install openssh-clients

二、cdh安装

1.安装mysql（需要root权限）并创建CDH相关的表【只需要在 cdh01节点安装】

  1. 查看CentOS自带mysql是否已安装。
    输入：sudo yum list installed | grep mysql
  2. 若有自带安装的mysql，如何卸载CentOS系统自带mysql数据库？
    输入：sudo yum -y remove mysql-libs.x86_64，若有多个依赖文件则依次卸载。
    当结果显示为Complete！即卸载完毕。
  3. 使用离线的RPM包安装mysql

    1. 解压安装包

      tar -xvf mysql-5.7.20-1.el7.x86_64.rpm-bundle.tar

    2. 安装顺序

      rpm -ivh mysql-community-common-5.7.20-1.el7.x86_64.rpm
      rpm -ivh mysql-community-libs-5.7.20-1.el7.x86_64.rpm
      rpm -ivh mysql-community-client-5.7.20-1.el7.x86_64.rpm
      rpm -ivh mysql-community-server-5.7.20-1.el7.x86_64.rpm
      rpm -ivh mysql-community-devel-5.7.20-1.el7.x86_64.rpm

    3. 启动Mysql服务

      systemctl start mysqld.service

    4. 修改管理员密码
      安装好mysql的初始密码，需要进行重置，进入msyql将密码修改为你自己的，我这里将密码修改成root

      grep 'temporary password' /var/log/mysqld.log

      如果修改密码过于简单就会报错Your password does not satisfy the current policy requirements
      做如下修改

      mysql -uroot
      mysql>use mysql;
      mysql>set global validate_password_policy=0;
      mysql>set global validate_password_length=1;
      mysql>set password for 'root'@'%'=password('root');
      mysql> flush privileges;

    5. 修改mysql的访问权限
      输入：

      mysql -uroot -proot
      mysql> grant all privileges on . to 'root'@'%' identified by 'root';
      mysql> flush privileges;

    6. 创建表cdh相关默认库（也可以后创建）
      输入命令；mysql -uroot -proot 进入mysql，执行以下sql建库语句

      mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
      mysql> create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
      mysql> create database navigatoraudit DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
      mysql> create database navigatormetadata DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

2.在主节点【cdh01】Cloudera Manager Server ，以下方式随便选择一种【建议选择离线安装】

  1. 在线安装sudo yum install cloudera-manager-daemons cloudera-manager-server

  2. 离线安装
    资源下载地址：https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/
    上传三个server的资源包到mini1节点上
    cloudera-manager-server-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm
    cloudera-manager-server-db-2-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm
    cloudera-manager-daemons-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm

    安装

    yum install -y postgresql-server（我这里是安装server-db的时候缺少这个依赖然后用yum安装的）
    rpm -ivh cloudera-manager-daemons-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm
    rpm -ivh cloudera-manager-server-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm
    rpm -ivh cloudera-manager-server-db-2-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm

3. 拷贝mysql的连接驱动【mysql-connector-java-5.1.40.jar】到该目录下 /usr/share/cmf/lib

4. 在主节点【cdh01】初始化CM5的数据库

/usr/share/cmf/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm root root

5. 上传CHD5大数据服务组件资源包

下载地址：http://archive.cloudera.com/cdh5/parcels/latest/

cd /opt/cloudera/parcel-repo

上传：CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel和CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha以及manifest.json 这个目录下 /opt/cloudera/parcel-repo
使用 chmod -R guo+wr xxx 给上述三个文件配置可写可读的权限

6. 主节点【cdh01】上启动Cloudera Manager Server

systectl start cloudera-scm-server

7. 使用netstat-nltp命令查看【cdh01】端口7180 是否启动成功，如果出现这个端口可以使用浏览器访问http://cdh01:7180 (windows下hosts做主机映射)

8. 在节点【cdh01,cdh02,cdh03,cdh04,cdh05】Cloudera Manager agent ，以下方式随便选择一种【建议选择离线安装】

  1. 在线安装

    sudo yum install cloudera-manager-agent cloudera-manager-daemons

  2. 离线安装
    上传两个server的资源包到mini1节点上
    资源下载地址：https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/
    cloudera-manager-agent-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm
    cloudera-manager-daemons-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm

    安装顺序

    rpm -ivh cloudera-manager-daemons-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm
    rpm -ivh cloudera-manager-agent-5.11.0-1.cm5110.p0.101.el7.x86_64.rpm

9. 修改agent所在的节点【cdh01,cdh02,cdh03,cdh04,cdh05】配置文件config.ini内容

sudo vi /etc/cloudera-scm-agent/config.ini
server_host=cdh01 （这里我是以cdh01作为server节点）

10. 启动Cloudera Manager

在从节点【cdh01,cdh02,cdh03,cdh04,cdh05】上启动Cloudera Manager Agent

sudo service cloudera-scm-agent start

三、Clouder Manager Server和agent 安装过程异常情况处理

  1. 已启用“透明大页面”，它可能会导致重大的性能问题。版本为“CentOS release 7.1 (Final)”且版本为“2.6.32-279.el7.x86_64”的 Kernel 已将 enabled 设置为“[always] never”，并将 defrag 设置为“[always] never”。请运行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到一个 init 脚本中，如 /etc/rc.local，这样当系统重启时就会设置它
    解决方案:

    echo never > /sys/kernel/mm/transparent_hugepage/defrag
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
    echo never >> /etc/rc.local

  2. Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：
    解决方案：

    echo 0 > /proc/sys/vm/swappiness
    sysctl vm/swappiness
    echo 'vm.swappiness = 0'>/etc/sysctl.conf
    sysctl -p

  3. 异常3
    pstree: 未找到命令
    解决方案

    yum install -y psmisc

  4. 找不到jdk

    输入：sudo vi /etc/sudoers ，在sudoers最后面添加以下内容
    Defaults env_keep+=JAVA_HOME
    输入：sudo vi /etc/default/bigtop-utils 在 bigtop-utils 文件中添加以下内容
    export JAVA_HOME=/usr/java/latest
    然后执行以下命令
    source /etc/default/bigtop-utilssource /etc/default/bigtop-utils

  1. 异常
    如果出现agent主机不良状况

    Error, CM server guid updated, expected 85587073-270d-43d9-a44a-e213d9f7e45b, received 4c1402a5-8364-4598-a382-0c760710e897
    尝试运行以下命令
    rm -rf /var/lib/cloudera-scm-agent/cm_guid
    之后重启agent
    service cloudera-scm-agent restart

四、Cloudera Manager首次启动

1. 登录Cloudera Manager的管理界面

cdh01:7180
账号:admin
密码:admin

登录界面

2. 用户许可条件
用户许可

3.选择部署版本
部署版本

4.为集群安装指定主机
选择主机

5. 群集安装

主机检查没有问题再进行下一步

pacel.png
cdh分配激活.png
主机检查.png

6. 安装Cloudera Management Server服务
cmserver1.png

cmserver2.png
cmserver3.png

五、Cloudera Manager基本搭建完成

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,482评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,377评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,762评论 0赞 342
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,273评论 1赞 279
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,289评论 5赞 373
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,046评论 1赞 285
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,351评论 3赞 400
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,988评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,476评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,948评论 2赞 324
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,064评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,712评论 4赞 323
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,261评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,264评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,486评论 1赞 262
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,511评论 2赞 354
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,802评论 2赞 345