Ubuntu18.04 + docker + hadoop + spark 搭建分布式集群

物料说明

  • 宿主机 ubuntu 18.04
  • docker
  • jdk 1.8.0_211
  • hadoop 3.2
  • spark 2.4.3

约定

  • 操作的路径为/home/bigdata/

step 0 安装docker容器

# 删除可能有的旧版本
sudo apt-get remove docker docker-engine docker.io containerd runc
# 更新apt
sudo apt-get update
# 让apt支持https
sudo apt-get install apt-transport-https  ca-certificates  curl  gnupg-agent  software-properties-common
# 安装官方GPG密钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
// 阿里云
// curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
// sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# 安装docker-ce
sudo apt-get update
sudo apt-get install docker-ce
sudo apt-get install docker-ce-cli
sudo apt-get install containerd.io

附：卸载docker

# 卸载docker
sudo apt-get purge docker-ce
sudo rm -rf /var/lib/docker

附：docker的常用命令

# 重启docker服务 
sudo service docker restart
# 关闭docker服务 
sudo service docker stop
# 开启docker服务
sudo service docker start

# 拉取ubuntu 18.04镜像
sudo docker pull ubuntu:18.04
# docker create 命令为指定的镜像（image）添加了一个可读写层，构成了一个新的容器。注意，这个容器并没有运行。 
sudo docker create <image-id>
# docker run = docker create + docker start
sudo docker run  -p 宿主机端口:docker端口 <image-id> 
# 后台运行
sudo docker run -dit <image-id>
# 运行直接进入bash，退出后后台不运行
sudo docker run -it <image-id> /bin/bash 
# 查看本地镜像
sudo docker images
# 删除镜像
sudo docker rmi <image-id>

# docker start命令为容器文件系统创建了一个进程隔离空间。注意，每一个容器只能够有一个进程隔离空间。 
docker start <container-id>
# 查看当前运行的容器
docker ps
# 查询存在的容器
docker ps -a
# 删除容器
docker rm  <container-id>
# 强制删除容器
docker rm -f  <container-id>
# 不能够删除一个正在运行的容器，会报错。需要先停止容器。
# 进入容器内部
sudo docker exec -it (container name or id) /bin/bash
# 退出容器
exit
# 容器重命名
docker container rename <container-id> newname

# 提交
docker commit <container-id> <image-name>

Step 1 在docker中拉取ubuntu 18.04镜像并创建容器

# 拉取ubuntu 18.04镜像
sudo docker pull ubuntu:18.04
# 查找拉取的镜像id
sudo docker images
# 启动一个master容器
sudo docker run -dit -h master <image-id>
# 查找创建的容器id
sudo docker ps
# 进入容器
sudo docker exec -it <container-id> /bin/bash

为了后续方便，创建容器的时候一并把端口也绑定了

sudo docker run -dit -h master -p 9870:9870 -p 8080:8080 -p 4040:4040 -p 8088:8088 -p 8099:8099 <image-id>

step 2 配置master容器

基本配置

# 更新apt
apt-get update
apt-get pagrade
# 安装net-tools
apt-get install net-tools
# 安装nano或vim
apt-get install nano
apt-get install vim
# 安装ssh，配置无密码登录
apt-get install openssh-server
ssh-keygen -t rsa -P ''
回车
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 查询是否开启ssh
/etc/init.d/ssh status
# 开启ssh
/etc/init.d/ssh start
# 配置开机启动
nano /etc/rc.local
# 在exit 0语句前加入
/etc/init.d/ssh start

安装java

# 下载java https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
# 解压
tar -zxvf <file_name>
# 重命名
mv <dir_name> jdk1.8
# 修改环境变量
nano ~/.bashrc
# 添加以下代码
# java
export JAVA_HOME=/home/bigdata/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
# 生效
source ~/.bashrc

安装hadoop

# 安装hadoop
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
# 解压
tar -zxvf hadoop-3.2.0.tar.gz
# 重命名
mv  hadoop-3.2.0 hadoop
# 添加环境变量
sudo nano ~/.bashrc
# 添加以下代码
# hadoop
export HADOOP_HOME=/home/bigdata/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 生效
sudo source ~/.bashrc

配置分布式hadoop

# 当前路径为/home/bigdata/hadoop/
# 创建三个文件夹备用
mkdir -p hdfs/{data,name,tmp}

修改各项配置文件

cd /home/bigdata/hadoop/etc/hadoop

修改hadoop-env.sh

# 只改这一行
export JAVA_HOME=/home/bigdata/jdk1.8

修改core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/hdfs/tmp</value>
        </property>        
</configuration>

修改hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/hadoop/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/hadoop/hdfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

创建并编辑masters文件

touch masters
nano masters
# 添加
master

创建并编辑slaves 文件

touch slaves 
nano slaves 
# 添加
master
slave01
slave02

格式化hdfs

cd /home/bigdata/hadoop/bin
# 该命令只需运行一次
hdfs namenode -format

修改运行文件

cd /home/bigdata/hadoop/sbin
# 在start-dfs.sh，stop-dfs.sh文件顶部加入以下配置
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

# 在start-yarn.sh，stop-yarn.sh文件顶部加入以下配置
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

安装Scala

wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz
tar -zxvf scala-2.11.8.tgz
mv scala-2.11.8 scala
# 添加环境变量
sudo nano ~/.bashrc
# 添加以下代码
# scala
export SCALA_HOME=/home/bigdata/scala
export PATH=$PATH:$SCALA_HOME/bin
# 生效
source ~/.bashrc

安装spark

wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
mv spark-2.4.3-bin-hadoop2.7 spark

# 添加环境变量
sudo nano ~/.bashrc
# 添加以下代码
# spark
export SPARK_HOME=/home/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin
# 生效
source ~/.bashrc

修改配置文件

cd /home/bigdata/spark/conf
cp spark-env.sh.template spark-env.sh
# 添加以下代码
export JAVA_HOME=/home/bigdata/jdk1.8
export HADOOP_HOME=/home/bigdata/hadoop
export HADOOP_CONF_DIR=/home/bigdata/hadoop/etc/hadoop
export SCALA_HOME=/home/bigdata/scala
export SPARK_HOME=/home/bigdata/spark
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

cp slaves.template slaves
# 添加以下代码
master
slave01
slave02

step 3 提交master并克隆出slaves

# 退出容器
exit
# 提交容器更改
sudo docker commit <container-id> ubuntu-hadoop-spark:1.0
# 用刚刚提交的ubuntu-hadoop-spark:1.0创建两个slave
sudo docker run -dit -h slave01 <image-id>
sudo docker run -dit -h slave02 <image-id>
# 运行两个slave
sudo docker exec -it slave01 /bin/bash
sudo docker exec -it slave02 /bin/bash

step 4 hosts配置

分别进入master、slave01和slave02，用ifconfig命令找出相应的ip，并分别修改hosts文件

nano /etc/hosts
# 添加
xxx.xxx.xxx.xx1   master 
xxx.xxx.xxx.xx2   slave01
xxx.xxx.xxx.xx3   slave02

step 5 启动

分别进入三个容器，启动命令相同

# 启动hadoop
cd /home/bigdata/hadoop/sbin
./start-dfs.sh
./start-yarn.sh
# 启动spark
cd /home/bigdata/spark/sbin
./start-all/sh

启动后可分别用jps检查启动情况

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 194,491评论 5赞 459
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 81,856评论 2赞 371
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 141,745评论 0赞 319
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 52,196评论 1赞 263
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 61,073评论 4赞 355
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 46,112评论 1赞 272
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 36,531评论 3赞 381
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 35,215评论 0赞 253
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 39,485评论 1赞 290
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,578评论 2赞 309
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,356评论 1赞 326
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,215评论 3赞 312
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 37,583评论 3赞 299
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,898评论 0赞 17
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1赞 250
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 41,497评论 2赞 341
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 40,697评论 2赞 335