我的博客： 菱歌's Blog | 听见美好
笔记原文地址：使用Fabric自动化部署Hadoop和Spark集群
Hadoop和Spark是常用的大数据集群系统，对于小团队/院校实验室而言，没有专职IT运维，因此每次需要初始化部署的时候都非常头疼。
之前都是按照网上搜索的教程一步步配置，非常繁琐+枯燥。写的比较清晰的教程有以下几个：
但是实际上，其中大部分工作都是重复体力活，尤其是在面对十来台甚至更多机器的时候，重复敲命令非常痛苦。
而使用Fabric可以实现自动执行命令，完成部署。因此，只要我们写好部署脚本就可以一劳永逸。这里以Hadoop和Spark的部署为例，讲解一下Fabric自动化脚本的编写和使用。在实际应用中，可以将其应用于任何需要大规模、重复执行命令的场景。
安装Fabric
Fabric现在已经支持Python 2.7和3.4以上版本了，因此不需要考虑Python版本的问题，个人习惯使用Python3。
同时，现在Fabric也已经更新到了2.x版本，通常只需要使用pip进行安装即可：
pip install fabric
如果想同时使用1.x和2.x版本的Fabric可以指定安装：
pip install fabric2
在这个过程中会安装paramiko等依赖，事实上Fabric也是基于paramiko进行SSH操作。
编写脚本
对于需要sudo权限的操作，比如在配置集群中需要用到的更改hosts文件，我们采用sudo进行操作。脚本生成需要更改的字符串后echo到指定文件中。
@task
def add_host(c):
host_cmd = '''sh -c "echo '{}' >> /etc/hosts"'''.format(
generate_hosts(config.server.hosts, config.server.hostnames))
sudo_conn.sudo(host_cmd, pty=True)
对于普通操作，我们直接使用run进行命令执行，例如Hadoop的安装等。
@task
def install_hadoop(c):
hadoop_source = os.path.join('/home', config.server.username, 'hadoop.tar.gz')
hadoop_path = os.path.join('/home', config.server.username, config.server.hadoop_path)
print('put hadoop...')
conn.put(config.server.hadoop_source, hadoop_source)
print('install hadoop...')
conn.run("tar -zxf {}".format(hadoop_source), pty=True)
print('configure bashrc...')
conn.run("echo 'export HADOOP_HOME={}'>>~/.bashrc".format(hadoop_path), pty=True)
conn.run("echo 'export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH'>>~/.bashrc", pty=True)
# clean
print('clean...')
conn.run("rm {}".format(hadoop_source), pty=True)
因为在内置的顺序操作中，缺少sudo, get, put等操作，我们在原有SerialGroup类的基础上实现了GroupHelper用于对多个机器操作。
其他具体脚本可以见文章末尾的Github链接。
执行脚本实现自动化部署
填写配置文件
配置文件主要包括一些个人的口令和服务器的IP，hostnames，各个需要安装的程序的源路径和目标路径等，另外还有一些Hadoop和Spark的配置信息也可以通过配置文件来调整。
执行脚本
根据编写的脚本函数名称，将其按照需要运行的顺序依次排列：
#!/usr/bin/env bash
# init order
fab remove-user create-user clean-host add-host clean-key add-key install-jdk install-scala set-ntp install-hadoop configure-hadoop format-hadoop start-hadoop install-spark configure-spark start-spark
休息&等待
喝杯奶茶or咖啡or可乐...
测试
等待部署完成后，可以测试一下能否正常运行spark的示例程序：
# test
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://sparkmaster:7077 examples/jars/spark-examples_2.11-2.4.4.jar 100
总结
使用Fabric进行部署既可以省掉很多时间和重复劳动，也可以很大程度避免多次执行命令过程中的错误，可以说是事半功倍。个人认为以下场景都很适合使用：
- 面向多个服务器/集群进行配置
- 需要自动、定期、不需要干预地进行命令执行
- 需要经常重复执行某些操作
本文使用的代码以及配置文件模板已上传到Github：auto_init_cluster：用于自动部署Hadoop和Spark集群。
