一、基础环境搭建:
1、安装虚拟机及linux环境
虚拟机软件:可选择vmware或者virtualbox;
linux系统:可选择ubuntu或者centos;
2、安装安装JDK并配置环境变量;
JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
安装JDK:rpm -ihv jdk-7u71-linux-x64.rpm
配置环境变量:export JAVA_HOME=/usr/java/jdk1.7.0_71
export PATH=$PATH:$JAVA_HOME/bin
3、修改主机名,并关闭防火墙:
修改主机名:vi /etc/sysconfig/network
关闭防火墙:service iptables stop
chkconfig iptables off
4、配置免密码登陆:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
二、安装hadoop:
1、下载hadoop2.60安装包,并解压;
tar -zxvf hadoop-2.6.0.tar.gz
2、修改配置文件,可查看文档;
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
hdfs-site.xml
<property>
<name></name>
</property>
dfs.replication1dfs.permissionsfalse
3、格式化namenode;
hdfs namenode -format
4、执行脚本,启动进程,配置环境变量。
./start-dfs.sh ./start-yarn.sh
三、hadoop命令介绍:
可查看官网:hadoop.apache.org
版本:http://archive.apache.org/dist
常见命令:hadoop、hdfs、mapred
提交任务、查看命令状态、杀任务等。