上一篇 storm 单词计数, 主要结合一个单词计数案例来从代码层面认识storm,本篇主要讲解storm 集群搭建。
直接开干吧。
节点规划 centos 6.5-minimal
192.168.0.16(nimbus/supervisor/ui)、192.168.0.17(supervisor)、192.168.0.18(supervisor)
准备环境
安装Java 7 和 Python 2.6.6 和 zookeeper,这里就不展开讲解了。
下载 storm
cd /usr/local && wget http://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz && tar -zxvf apache-storm-1.1.0.tar.gz -C ./ && mv apache-storm-1.1.0 storm
配置环境变量
vim ~/.bashrc
刷新配置
source ~/.bashrc
创建 storm dir 目录
mkdir /var/storm
修改 storm 配置文件
vim /usr/local/storm/conf/storm.yaml
配置 zookeeper 列表
storm.zookeeper.servers:
- "192.168.0.16"
- "192.168.0.17"
- "192.168.0.18"
配置 nimbus
nimbus.seeds: ["192.168.0.16"]
配置 storm 本地 dir
storm.local.dir: "/var/storm"
配置 supervisor.slots.ports(指定每个机器上可以启动多少个worker,一个端口号代表一个worker)
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
配置完毕!,所有节点都按以上方式执行(建议scp )。
启动storm集群
启动 zookeeper 集群
略
启动nimbus (192.168.0.16)
storm nimbus >/dev/null 2>&1 &
启动 supervisor (192.168.0.16,192.168.0.17,192.168.0.18)
storm supervisor >/dev/null 2>&1 &
启动 storm ui 监控界面(192.168.0.16)
storm ui >/dev/null 2>&1 &
打开浏览器,访问 http://192.168.0.16:8080 即可
以上就是本章内容,如有不对的地方,请多多指教,谢谢!
为了方便有需要的人,本系列全部软件都在 https://pan.baidu.com/s/1qYsJZfY
下章预告:主要 “如何将代码打包部署到storm 集群运行”
作者:逐暗者 (转载请注明出处)