Hadoop 总结 二 环境搭建(一)

2.1. 准备虚拟机模板

1. 本系列采用Linux系统环境 CentOS-7版本

2. 基本参数配置内存3-4G,硬盘20G-50G,进行小规模的测试,cpu 2核心

3. 关于网络,如果是一台真实主机安装虚拟机那么就采用nat网络模式,如果是真实的主机那么保证外网互相能联通或者局域网内能联通.

4. 准备环境

   #1.测试能联网
   ping www.baidu.com
   
   #2.安装必要的组件
   yum install -y epel-release
   yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
   
   #3.关闭防火墙 以及禁用防火墙自启
   systemctl stop firewalld
   systemctl disable firewalld
   
   #4.创建集群间测试的用户 尽量保证集群间的集群用户统一
   useradd test(用户名)
   passwd test(密码)
   
   #5.配置用户可提升root权限 方便sudo指令的提权操作
   vim /etc/sudoers
   
   #修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行
   test  ALL=(ALL)   NOPASSWD:ALL
   
   #6.在/opt目录下创建文件夹,并修改所属的主和用户,此文件用于集中安装Hadoop等软件,方便集中管理
   mkdir /opt/module (安装目录)
   mkdir /opt/software (软件包存放目录)
   chown test:test /opt/module
   chown test:test /opt/software 
   
   #查看所属主所属组是否修改正确
   cd /opt
   ll
   #7.卸载自带的openJDK
   rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps
   
   #8.重启虚拟机
   reboot
   

2.2. 克隆虚拟机

1. 使用上诉准备的虚拟机 克隆三台或者以上的虚拟机

   模板虚拟机不要动,以克隆出来的虚拟机为基础分别配置主机名hadoop102-hadoop104,ip地址分别为102,103,104,目的是为了方便管理

2. 修改虚拟机IP

   vim /ect/sysconfig/network-scripts/ifcfg-ens33
   
   #其中关于IP和网段以及DNS需要查看自己的虚拟机的虚拟网络编辑器,根据虚拟网络编辑器中的IP地址修改
   
   DEVICE=ens33
   
   TYPE=Ethernet
   
   ONBOOT=yes
   
   BOOTPROTO=*static*
   
   NAME="ens33"
   
   IPADDR=*192.168.1.102*
   
   PREFIX=24
   
   GATEWAY=*192.168.1.2*
   
   DNS1=*192.168.1.2*
   

3. 查看虚拟网络编辑器:

   编辑->虚拟网络编辑器->VMnet8

image

4. 修改虚拟的的主机名

   1. su root
   2. vim /etc/hostname #在文件中把主机名修改,hadoop102对应ip(192.168.1.102) 以此类推

5. 配置克隆主机的host文件

   vim /etc/hosts

   192.168.1.101 hadoop101

   192.168.1.102 hadoop102

   192.168.1.103 hadoop103

   192.168.1.104 hadoop104

   192.168.1.105 hadoop105

   192.168.1.106 hadoop106

   192.168.1.107 hadoop107

   192.168.1.108 hadoop108

6. 重启虚拟机,同样修改其他克隆机

7. 修改widows的主机hosts文件

   1. 先在C:\Windows\System32\drivers\etc复制hosts文件到桌面,将5.的内容复制粘贴到hosts文件中
   2. 再把hosts文件粘贴回去,进行覆盖