一.安装jdk
- Centos的yum源更换为国内的阿里云源
$wget -O /etc/yum.repos.d/CentOS-Base.repo \
http://mirrors.aliyun.com/repo/Centos-7.repo
$yum makecache
- rpm -qa|grep jdk
- yum -y install java-1.8.0-openjdk*
- 设置环境变量：
$jhometip='# add JAVA_HOME'
$jhomescript='export JAVA_HOME=/etc/alternatives/java_sdk_1.8.0'
$sudo echo $jhometip >> /etc/rc.d/rc.local
$sudo echo $jhomescript >> /etc/rc.d/rc.local
$source /etc/rc.d/rc.local
二.安装docker
参照官网文档:
- Uninstall old versions
$sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine
- SET UP THE REPOSITORY
$ yum install -y yum-utils \
device-mapper-persistent-data \
lvm2
$ yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
$ sudo yum-config-manager --enable docker-ce-edge
$ sudo yum-config-manager --enable docker-ce-test
- INSTALL DOCKER CE
$ sudo yum install docker-ce
- Start Docker
$ sudo systemctl start docker
5）安装遇到的问题：
docker 安装报错 container-selinux >= 2.9 ,错误信息如下:
Error: Package: docker-ce-18.03.1.ce-1.el7.centos.x86_64 (docker-ce-edge)
Requires: container-selinux >= 2.9
You could try using --skip-broken to work around the problem
You could try running: rpm -Va --nofiles --nodigest
这个报错是container-selinux版本低或者是没安装的原因;
yum 安装container-selinux 一般的yum源又找不到这个包;
需要安装epel源 才能yum安装container-selinux,然后在安装docker-ce。
命令如下：
$ wget -O /etc/yum.repos.d/CentOS-Base.repo \
http://mirrors.aliyun.com/repo/Centos-7.repo
$ yum install epel-release
#阿里云上的epel源
$ yum install container-selinux
三、安装CDH
- 拉取cloudera 镜像
$docker pull cloudera/quickstart:latest
docker images查看镜像
运行镜像
Cloudera 的 docker 版本分成两部分启动：
a.大礼包的启动 /usr/bin/docker-quickstart;
b.Cloudera manager 本身的启动/home/cloudera/cloudera-manager.
$docker run -d --name cdh --hostname=quickstart.cloudera --privileged=true -t -i -p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 cloudera/quickstart /bin/bash -c '/usr/bin/docker-quickstart && /home/cloudera/cloudera-manager --express && service ntpd start'
- 写这么多端口映射也是为了方便我们外面的机器可以方面的访问 docker 内部的这些端口，访问这些服务。
- Cloudera 本身的manager 是 7180 端口。当这些启动起来之后就可以访问目标机器 ip 的 7180 端口访问 Cloudera manager了。
- linux 机器的 docker 用命令起起来后，docker 内的实例不能访问外网，配置一下docker 创建容器时候的参数增加-net host 即可。
- 也可以在宿主机器上在 /etc/default/docker 文件。并且配置上 DOCKER_OPTS="--dns host_ip" 即可。
- 进入镜像，运行cloudera服务
$docker exec -it container_id bash #进入docker运行命令，t返回伪终端,bash 命令
$ sudo /home/cloudera/cloudera-manager --express
>service cloudera-scm-server restart
>service cloudera-scm-server status
四、安装kafka
1.下载镜像
sudo docker pull wurstmeister/zookeeper
sudo docker pull wurstmeister/kafka
2.启动镜像
$ docker run -d --name zookeeper --publish 2181:2181 \
--volume /etc/localtime:/etc/localtime wurstmeister/zookeeper:latest
$ docker run -d --name kafka --publish 9092:9092 --link zookeeper:zk --env KAFKA_ZOOKEEPER_CONNECT=(zk所在宿主机的IP):2181 --env KAFKA_ADVERTISED_HOST_NAME=(kafka所在宿主机的IP) --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest
(kafka所在宿主机的IP)
3.测试发送消息
//执行Docker ps，找到kafka的Container ID，进入容器内部：
docker exec -it ${CONTAINER ID} /bin/bash
//进入kafka默认目录
cd opt/kafka_2.12-2.1.0/
//创建一个主题：
bin/kafka-topics.sh --create --zookeeper (zk所在宿主机的IP):2181 --replication-factor 1 --partitions 1 --topic myKafka
//运行一个消息生产者，指定topic为刚刚创建的主题
bin/kafka-console-producer.sh --broker-list (kafka所在宿主机的IP):9092 --topic myKafka
//运行一个消费者，指定同样的主题
bin/kafka-console-consumer.sh --bootstrap-server (kafka所在宿主机的IP):9092 --topic myKafka --from-beginning
