准备工作
1.共享文件的设置:
进入VMware station,进入编辑虚拟机设置界面 选项-共享文件夹,点击右边的添加,设置你的共享文件夹的路径,此文件夹的内容都和Ubuntu共享。
然后进入虚拟机,打开终端输入以下命令:
sudo apt-get install open-vm-dkms 一路按enter键通过。
sudo mount -t vmhgfs .host:/ /mnt/hgfs 这样/mnt/hgfs下便有了与windows的共享目录
为了每次开机自动挂载共享目录,在/etc/init.d/open-vm-tools末尾增加一行:
sudo mount -t vmhgfs .host:/ /mnt/hgfs (host:/ 处有空格)
设置好共享文件夹后,打开你的Ubuntu,在/mnt/hgfs路径下出现你的文件,说明共享文件夹设置成功。
2.固定IP地址
在虚拟机的System-Settings(设置),点network,打开 wired-options-IPV4
Settings-method:manual,->
Address 192.168.228.200
netmask 255.255.255.0
gateway 192.168,228.2
一、安装JDK
在Windows下,前往官网下载JDK(当前官网的最新版本jdk1.8.0_05)并把下载好的JDK放在设置的共享文件夹下
1.在Ubuntu中,在 /mnt/hgfs下找到JDK压缩包进行解压:
sudo tar zxvf jdk-8u5-linux-x64.gz /usr/local/
2.修改环境变量
sudo gedit /etc/profile
然后在根据提示输入用户密码即可,然后在文件最下面添加如下:
export JAVA_HOME=/usr/local/jdk1.8.0_101
export PATH=${JAVA_HOME}/bin:$PATH
保存退出。
3.配置默认jdk版本
sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/java 300
sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/javac 300
sudo update-alternatives --config java
4.验证JDK安装是否成功
java -version
若出现以下提示信息,表明安装成功。
二.安装hadoop
同样,首先在Windows下,前往官网下载好hadoop的压缩包,放于共享文件夹下
1.在Ubuntu中对其进行解压,并解压到相应目录。
sudo tar zxvf hadoop2.7.1.gz /usr/local/
2.配置hadoop的jdk路径
cd /home/hadoop/hadoop-2.7.1/etc/Hadoop
打开hadoop-env.sh文件
sudo gedit hadoop-env.sh
3.打开后
替换exportJAVA_HOME=${JAVA_HOME}为如下:
export JAVA_HOME=/usr/local/jdk1.8.0_05
同样,配置yarn-env.sh,在里面加入:
export JAVA_HOME=/usr/local/jdk1.8.0_05
三.配置Hadoop环境变量(配置xml文件)
在core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件中做相应配置:
四 . 格式化Hadoop文件系统HDFS并启动Hadoop
- HDFS格式化
初次运行的初始化:
进入hadoop的根目录:
cd hadoop/hadoop-2.6
初始化:
./bin/hdfs namenode -format
2.启动hadoop
sbin/start-dfs.sh
sbin/start-yarn.sh
或
sbin/start-all.sh
3.如果安装成功,在master机上输入jps后结果如下:
4.测试 (此环节容易浏览器不能上网 解决方法:固定IP)
在Ubuntu里,找到浏览器并输入网址 http://master:50070 可以看到hdfs的信息。
在浏览其中输入:http://master:8088 可以看到hadoop的信息
五.安装免密码登录SSH
- 修改主机名
sudo gedit /etc/network/interfaces
(1)临时修改
sudo hostname master
(2)永久修改:
sudo gedit /etc/hostname 修改后重启生效
2.记下本机的ip
查看本机ip:
ifconfig
3.配置主机信息:
sudo gedit /etc/hosts
把本机的ip地址和主机名进行修改
4.关闭防火墙
若要关闭Ubuntu系统的防火墙功能,则执行命令:
sudo ufw disable
之后,系统提示“防火墙在系统启动时自动禁用”。
执行以下命令,重新启动虚拟机。
sudo reboot now
- 安装SSH服务
sudo apt-get install openssh-server
- 检查SSH服务是否启动
sudo ps -e | grep sshd
- 生成RSA密钥(包括私钥和公钥)
ssh-keygen -t rsa
- 写入秘钥信息
cd ~/.ssh
cat id_rsa.pub >> authorized_keys (把id_rsa.pub追加到授权的key里面去)
scp authorized_keys master:~/.ssh/ (将生成的authorized_keys文件拷贝到slave1主机相同的文件夹下)
成功安装后,即可主节点切换到从节点可不用输密码,效果为:
1.首先必须启动主节点和从节点的hadoop,并jps出现相应节点:
主节点:
从节点:
2.SSH主节点切换到从节点: