单机部署 进程没有
伪分布式部署 进程存在+1节点 开发
集群部署 进程存在+n节点 开发/生产
1、解压编译过的hadoop压缩包,(告诉大家一个秘密,通常文件名带src的是源码,不带src或者带bin的是编译过得),我这里使用的是hadoop-2.8.1.tar.gz
tar -zxvf hadoop-2.8.1.tar.gz
2、解压后的目录
bin 执行命令的shell
etc 配置文件
lib 库
sbin 启动和关闭hadoop
share jar
3、配置环境变量
vi /etc/profile
source /etc/profile
which hadoop看一下配置的环境变量有没有生效
已生效
4、配置文件 core-site.xml
core-site.xml文件
fs.defaultFS是hdfs的地址,
hdfs-site.xml文件
dfs.replication是hdfs的副本数量,因为是伪分布式只有1台服务器,所以只有1个副本。
5、ssh无密码登录
命令框输入:ssh-keygen,一直回车
安装完成;
id_rsa是私钥,id_rsa.pub是公钥,将公钥写入到授权库中,即可实现ssh无密码登录,
cat id_rsa.pub >> authorized_keys;
已经可以无密码登录,使用exit退出
6、格式化hdfs节点
bin/hdfs namenode -format;
将hdfs存储区域,格式化为hdfs需要用的文件格式;
JAVA_HOME找不到我们配置一下,
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64
7、启动服务
sbin/start-dfs.sh
输入jps命令:
部署成功!!!!!