伪分布式配置手册

linux环境配置、linux环境下hadoop环境配置、linux静态ip设置

系统环境

• VMWare 10.0.1
• Mac
• CentOS7 64bit
• JDK7
• hadoop 2.6.5
  

一、Mac 下面修改VMnet8网关地址

1. 进入文件夹

cd /Library/Preferences/VMware\ Fusion/vmnet8

2. 进入之后，打开nat.conf文件就可以查看到vmnet8的网关地址

# NAT gateway address
ip = 192.168.121.1
netmask = 255.255.255.0

二、固定linux的IP地址

1. 进入文件夹,编辑ifcfg-ens33文件

cd /etc/sysconfig/network-scripts
ls

2. 编辑ifcfg-ens33文件

vi ifcfg-ens33

添加信息

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b12ada89-a560-44ea-94cb-c01b0213dfde
DEVICE=ens33

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.121.100
NETMASK=255.255.255.0
GATEWAY=192.168.121.1
DNS1=8.8.8.8

配置好了之后，重启网络

systemctl restart network

检查是否能够ping通。Mac终端里面pingCentOS

ping 192.168.121.100

如果能够ping通，就可以在Mac中使用secureCRT了

三、给hadoop添加sudo

1、使用命令visudo

visudo

2、添加

# 在 root 用户之后添加（请根据实际情况赋予权限）
    root    ALL=(ALL)       ALL
    hadoop   ALL=(ALL)       ALL

四、修改主机名以及建立对应关系

1. 修改主机名

sudo hostnamectl set-hostname spark

2. 修改/etc/hosts,建立对应关系

sudo vi /etc/hosts

添加

192.168.121.100 spark

五、关闭防火墙

1. 查看防火墙状态。centos7中的防火墙指令和centos6不一样了

   firewall-cmd --state
   

2. 关闭防火墙

   systemctl stop firewalld.service #停止firewall
   systemctl disable firewalld.service #禁止firewall开机启动
   

六、安装JDK

可以使用两种方式来上传JDK到CentOS中。

1. filezilla 直接把文件拖拽到CentOS中即可

2. 使用命令行的方式。

   在secureCRT中按快捷键 shift+cmd+p 打开sftp。
   put 源地址 目的地址

   put /Users/Downloads/jdk-7u80-linux-x64.tar.gz /home/hadoop/
   

   以上两种，上传JDK到CentOS中都可以。

3. 配置JAVA_HOME

   • 解压JDK.

   mkdir app
   tar -zxvf jdk-7u80-linux-x64.tar.gz  -C app/
   

   • 修改/etc/profile

   sudo vi /etc/profile
   

   最后一行,添加

   export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80
   export PATH=$PATH:$JAVA_HOME/bin
   

七、安装Hadoop

1. 上传hadoop。使用命令行方式来上传,shift+cmd+p

   put /Users/Downloads/hadoop-2.6.5.tar.gz 
   

   不指定目的目录，会上传到用户的主目录。
2. 解压

   tar -zxvf hadoop-2.6.5.tar.gz  -C app/
   

3. 配置HADOOP_HOME
   • 修改/etc/profile

   sudo vi /etc/profile
   

   最后一行，新加HADOOP_HOME这一行。修改(其实是添加)PATH

   export  HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5
   export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

八、配置hadoop的几个文件

1. 配置 hadoop-env.sh

   sudo vi hadoop-env.sh
   

   找到export JAVA_HOME=$(JAVA_HOME)修改为

   export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80
   

2. 配置core-site.xml。找到<configuration>

   <configuration>
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://spark:9000</value>
   </property>
   <property>
   <name>hadoop.tmp.dir</name>
   <value>/home/hadoop/app/hadoop-2.6.5/data/</value>
   </property>
   </configuration>
   

3. 配置hdfs-site.xml

   <configuration>
   <property>
   <name>dfs.repulication</name>#副本
   <value>1</value>#伪分布式陪1，全分布式一般为3
   </property>
   </configuration>
   

   到这里hdfs是可以启动了，但是为了方便，一次性把其他文件也配置了
4. 配置mapred-site.xml.template
   先修改名字

   mv mapred-site.xml.template mapred-site.xml
   
   <configuration>
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>
   </configuration>
   

5. 配置yarn-site.xml

   <configuration>
   <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>spark</value>
   </property>
   </configuration>
   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
   </property>
   </configuration>
   

6. 格式化，第一次配置格式化。

   hadoop namenode -format
   

   如果格式化成功，大概在倒数10-20左右会看到一个

   17/11/11 03:02:19 INFO common.Storage: Storage directory /home/hadoop/app/hadoop-2.6.5/data/dfs/name has been successfully formatted.
   

7. 启动hdfs

   start-dfs.sh
   

   第一次会提示你输入yes或者no。yes的话以后每次启动hdfs都会要求输入密码。no以后就不用输入密码。启动之后输入jps

   jps
   

   看到

   4715 SecondaryNameNode
   4478 NameNode
   4564 DataNode
   4838 Jps
   

   则启动成功，配置正确。