生成 docker镜像
-
下载链接中的配置文件
参考:
https://github.com/apache/flink/tree/release-1.8/flink-container/docker
首先将用户jar包下载下来到本地,如 WorkCount.jar
将flink 安装包下载下来,或者配置好配置文件后达成tgz文件
执行如下命令则生成 flink-job:latest的docker镜像
sh build.sh --job-jar WordCount.jar --from-archive flink-1.8.0-bin-scala_2.11.tgz
创建standalone flink 任务集群
1.下载链接中的配置文件到本地
参考:
https://github.com/apache/flink/tree/release-1.8/flink-container/kubernetes
2.执行下面的命令:
(1) 创建service
kubectl create -f job-cluster-service.yaml
(2) 创建jobmanager
FLINK_IMAGE_NAME=flink-job:latest FLINK_JOB_PARALLELISM=1 envsubst < job-cluster-job.yaml.template | kubectl create -f -
注意: 这里的FLINK_JOB_PARALLELISM 是指flink-job的并行度
(3)创建taskmanager
FLINK_IMAGE_NAME=flink-job:latest FLINK_JOB_PARALLELISM=1 envsubst < task-manager-deployment.yaml.template | kubectl create -f -
注意: 这里的FLINK_JOB_PARALLELISM 指的是taskmanager的个数
执行结果如下:
最后:
登录ip:30081即可查看flink页面
删除任务
任务执行结束,jobmanager是completed,而taskmanager因为是deployment,所以还是Running状态。因此需要手动深处任务。
kubectl delete job flink-job-cluster
kubectl delete deployment flink-task-manager
kubectl delete service flink-job-cluster
其他
- 相关问题:standalone flink on k8s 部署问题
- 不同版本执行的执行的命令略有不同,具体的还是看github链接上的命令,本文中使用的是1.8版本